빅데이터를 지배하는 통계의 힘

니시우치 히로무 지음 | 신현호 옮김

비전코리아 2023년 06월 09일 출간 종이책 : 2023년 05월 12일 출간

작품소개

책소개

영화 〈마이너리티 리포트〉에는 사람들이 쇼핑센터를 지날 때 고객의 동공을 스캔해서 인식한 광고판이 각각의 사람에게 지금 당장 필요한 물건을 파악하여 사라고 말하며 호객행위를 한다. 이러한 마케팅의 뒤에는 고객의 기호도, 감정 상태, 소비 패턴 등의 저장된 빅데이터를 활용한 고객 분석 기법이 존재한다. 빅데이터란 일차적으로 데이터의 양이 방대해 종래의 방법으로는 수집, 저장, 검색, 분석하기 어려운 것을 말한다. 이차적으로는 그런 큰 데이터를 여러 기법을 이용해 유의미한 정보로 만들어내는 과정까지를 포함한다.

《빅데이터를 지배하는 통계의 힘》에서 니시우치 히로무 저자는 이러한 빅데이터 시대에 해독 능력을 위한 통계적 사고를 강조한다. 모든 분야에서 데이터를 모아 분석해 가장 올바르고 빠른 답을 알려주는 실용적인 학문인 통계는 과학적 의사결정의 근거가 되기에 현대 비즈니스맨이 지녀야 할 최강의 무기라는 것이다.
이 책은 일본에서 통계 관련 서적으로는 이례적으로 출간 3개월 만에 40만 부가 팔리는 이례적인 현상을 불러일으키며 상반기 경제경영 분야 베스트셀러 1위에 올랐다. 문제 해결에 있어서의 ‘최선의 척도’로 통계의 역할을 새롭게 인식한 이 책은 통계학을 공부하려는 사람을 위한 책이 아니라, 지금 이 순간 당신의 업무와 기업에서 업무 비용을 줄이고 창조적인 경영을 계획할 수 있게 하는 최고의 활용서이다.

목차

| 추천의 말: 빅데이터 시대, 최강의 무기 통계학
| 저자의 말: 한국의 독자들에게

제1장 빅데이터, 통계학에서부터 시작하라
01 _ 실생활과 밀접한 통계 리터러시
02 _ 답을 알려주는 실용적인 학문, 통계학
03 _ 통계학은 모든 과학적 분석 방법의 기본
04 _ IT와 통계학의 기막힌 결혼

제2장 정보비용을 대폭 줄여주는 통계
05 _ 통계가가 본 빅데이터 광상곡
06 _ 뉴딜정책을 뒷받침한 통계가들
07 _ 의미 있는 오차범위와 비용

제3장 오차와 인과관계가 통계학의 핵심이다
08 _ 나이팅게일식 통계의 한계
09 _ 인과관계를 생각하지 않는 통계해석은 의미가 없다
10 _ ‘60억 엔을 버는 비결’이 담긴 리포트
11 _ 오바마가 선거에서 승리한 이유
12 _ 그것은 이익에 직결되는가?
13 _ ‘인과관계의 방향’을 밝혀내어야 한다

제4장 ‘임의화’라는 최강의 무기 활용하기
14 _ 우유가 먼저인가, 홍차가 먼저인가?
15 _ 임의화 비교실험이 사회과학을 가능하게 했다
16 _ ‘재봉틀 두 대 사면 10% 할인’으로 매출이 오를까
17 _ 임의화의 세 가지 한계

제5장 통계학은 계속 발전하고 있다
18 _ 역학의 발전이 증명한 담배의 위험
19 _ ‘평범으로의 회귀’를 분석하는 회귀분석
20 _ 천재 피셔의 또 다른 업적
21 _ 통계학의 이해도를 높여주는 단 한 장의 도표8
22 _ 다중회귀분석과 로지스틱 회귀
23 _ 통계학자가 극대화한 인과의 추론

제6장 통계학의 여섯 가지 활용 분야
24 _ 사회조사법 대 역학과 생물통계학
25 _ IQ를 탄생시킨 심리통계학
26 _ 마케팅 현장에서 생겨난 데이터마이닝
27 _ 문장을 분석하는 텍스트마이닝
28 _ ‘연역’의 계량경제학과 ‘귀납’의 통계학
29 _ 베이즈파와 빈도론파의 확률을 둘러싼 대립

제7장 에비던스 활용하기
30 _ 거인의 어깨 위에 서는 방법
31 _ 에비던스, 어떻게 찾을 것인가

| 맺음말
| 참고문헌
| 옮긴이의 말: 데이터 사회에서 살아남기 위한 무기와 교양

책 속으로

현재 ‘역학의 아버지’라 불리는 존 스노가 제시했던 ‘역학’ 관련 개념은 서서히 의학 전반에 없어서는 안 될 중요한 요소로 자리매김하게 되었다. 담배를 피우면 폐암을 비롯한 암에 걸릴 위험이 커지고, 혈압이 높으면 심장병이나 뇌졸중으로 발전될 가능성이 많아지는 것은 현대를 살아가는 우리들에게 당연한 상식이다. 그러나 불과 50년쯤 전에 미국의 프레이밍험이라는 작은 마을에서 이루어진 대규모 역학 연구 결과가 발표되기까지는 전혀 그렇지 않았다. 그때까지는 의사나 과학자 중에서도 담배나 고혈압이 건강에 어떤 영향을 미치는지에 대한 다양한 설이 있어서 저마다 각자의 주장을 굽히지 않았다. 그러나 요즘은 역학연구 결과가 그 모든 주장을 잠재워버리고 ‘암을 없애려면 우선 흡연율부터 낮춰라!’, ‘심장병을 줄이려면 혈압부터 관리해라!’라고 확실하게 말한다. 그에 따라 인간의 수명은 50년 전과 비교해 엄청나게 늘어났다. 02. 답을 알려주는 실용적인 학문, 통계학, 29p

200번 중 단 한 번밖에 당첨되지 않는 제비를 60만 번 뽑는 동안 단 한 번도 꽝이 되지 않을 확률은 어느 정도일까? 당첨된 제비를 뽑을 때마다 상자로 다시 넣는 방법(통계학 전문용어로 복원추출이라 한다)은 다시 넣지 않는 방법(비복원추출)과 비교할 때 미세하나마 확률이 높아지지만 그래도 ‘200분의 1의 60만 제곱’이라는 기적이 필요하다.
참고로 복원추출에서는 60만 번 도전할 때 ‘200분의 1’이라는 일정한 당첨확률이 줄곧 유지되지만 실제의 실업률 조사는 비복원추출이며 마지막 60만 번째 사람도 실업자일 확률은 나머지 1억 1940만 명 중 한 명이니 그것만으로도 기적에 해당하는 수치이다. 실제로는 이 64조의 10만 제곱분의 1이라는 천문학적인 값조차 아득하게 느껴질 것이다
07. 의미 있는 오차 범위와 허용, 65p

1920년대 말 영국, 햇살이 매우 강한 어느 여름 오후, 여러 명의 영국 신사와 부인들이 정원 테이블에서 홍차를 마시고 있을 때의 일이었다. 한 부인이 밀크티를 마시면서 자신은 ‘홍차를 먼저 넣은 밀크티’인지 ‘우유를 먼저 넣은 밀크티’인지를 맛으로 구별할 수 있다고 말했다. 얼핏 듣기에는 아무것도 아닌 한 부인의 주장까지도 과학적으로 실증할 수 있다는 것이 임의화 비교실험의 힘이다.
그곳에 있던 대다수 신사들은 부인의 말에 웃고 넘어갔다. 그들이 배운 과학적 지식에 근거할 때 홍차와 우유가 한 번 뒤섞이면 화학적 성질의 차이 따위는 없었다. 하지만 작은 체구에 두꺼운 안경을 걸치고 수염을 길게 기른 한 남자만이 부인의 설명을 재미있게 여기고 ‘그렇다면 한번 시험해보고 싶습니다’ 하며 제안을 했다. 이 남자가 바로 현대 통계학의 아버지 로널드 A. 피셔이다.
14. 우유가 먼저인가? 홍차가 먼저인가?, 108~109p

스포츠 결과는 실력만으로 결정되지 않는다. 100미터 달리기처럼 단순한 경기조차, 대회마다 기록은 천차만별이다. 만일 그 불규칙성을 좌우하는 것이 컨디션이라 한다면, 올림픽 직전 대회에서 우연히 좋은 기록을 냈던 사람의 상당수는 당시 본인조차도 상상하기 힘들 정도로 최고의 컨디션이었을 가능성이 높다. 하지만 이 기록을 바탕으로 실전 결과를 예측하는 것은 ‘때마침 기적이 두 번 일어난다’는 것을 믿고 좋은 결과를 바라는 마음일 뿐이다. 그런 선수들이 실전에서는 기적적인 호기록보다 ‘평균값으로 회귀’할 가능성이 높다. 물론 반대로 대회 직전에는 몸 상태가 안 좋았더라도, 정작 본 대회에서는 평균값으로의 회귀가 역방향으로 나타날 수도 있다. 19. 평범으로의 회귀를 분석하는 회귀분석, 156p

다중회귀분석이나 로지스틱 회귀 같은 회귀모델은 데이터의 관련성을 찾을 때 요즘 가장 자주 쓰이는 편리한 기법이다. 플라스틱모델은 플라스틱을 재료로 사용해 현실에 있는 자동차나 비행기를 ‘잘 나타내고 있는 대체물’이라는 뜻인데, 이와 마찬가지로 회귀모델은 현실세계에 존재하는 눈에 보이지 않는 인과관계를 ‘잘 나타내는 대체물’에 회귀분석을 사용한다는 뜻에서 붙여진 이름이다. 그러나 회귀모델에 의해 꼭 인과관계가 적절히 추정된다고 장담할 수는 없다. 그렇다고 회귀모델이 무가치하다고 말할 것까지는 없고, 잘못을 최소화해 데이터를 해석하는 데 도움이 되는 것만큼은 분명하다.
23. 통계학자가 극대화한 인과의 추론, 190p

통계학을 연구나 업무에 이용하는 전문가나 통계학적 기법 자체를 연구하는 통계학자도 이처럼 분야 간에 존재하는 관점의 차이를 이해하는 사람은 많지 않다. 통계학 자체는 광범위한 분야에 응용할 수 있지만, 현대의 모든 학문은 세분화가 진행되고 있어서 한 분야의 전문가가 다른 전문 분야의 관점을 이해하는 것이 어려운 일인지도 모른다.
이 장에서는 여러분이 앞으로 통계학을 다룰 때 쓸데없는 혼란에 빠지지 않도록 도움이 되는 내용을 전하고자 한다. 다음에 제시된 통계학의 여섯 가지 특징을 이해하면 지금 전 세계에 통용되는 대부분의 통계학 이론에 대해 자신의 입장이 분명히 정리되리라고 본다.

① 실태를 파악하는 사회조사법
② 원인을 규명하는 역학ㆍ생물통계학
③ 추상적인 것을 측정하는 심리통계학
④ 기계적 분류를 위한 데이터마이닝
⑤ 자연언어 처리를 위한 텍스트마이닝
⑥ 연역에 관심을 두는 계량경제학
24. 사회조사법 대 역학과 생물통계학, 200p

출판사 서평

빅데이터 시대의 최강의 무기, 통계를 다시 말하다
통계란 어떤 현상을 종합적으로 한눈에 알아보기 쉽게 일정한 체계에 따라 숫자로 나타내는 것을 말하고 통계 해석이란 조사를 통해 밝혀낸 수치가 어느 정도의 신뢰성과 유의미성을 갖는지, 인과관계의 방향은 어떠한지, 어떤 사실 관계를 알 수 있는지 등을 밝혀내는 것이다. 그래서 빅데이터를 이해하려면 먼저 100년 이상 다양한 기법을 축적해온 통계의 본질을 알아야 하며, 그런 의미에서도 “통계학은 최강의 학문이다”라는 게 이 책의 주장이다.
저자는 현대를 살아가는 모든 사람이 통계를 읽는 힘을 갖춰야 하는 이유와 빅데이터 시대에 실제로 응용 가능한 통계 활용법을 친절하게 설명하는데, 특히 저자가 통계를 이용해 실제 기업 컨설팅을 해준 사례는 통계가 어떻게 정답을 찾아주고, 이익을 만들어내는지 명확하게 보여준다. DM 발송 방식을 변경하는 사소한 조정으로 60억 엔의 추가 이익을 얻어낸 기업 사례, 통계의 기본 개념인 오차를 모르고서 단순히 0.1퍼센트의 수치 상승에 기뻐하며 의사결정을 내려 낭패한 국가 정책 사례는 최고결정자의 감이나 경험보다 우선해야 할 통계적 사고의 중요성을 다시 한번 강조한다. 또한 오바마 캠프의 승리 이유나 ‘재봉틀 두 대 사면 10퍼센트 할인’이라는 엉뚱한 착상이 매출을 3배 이상 끌어올린 사례, 맥주와 기저귀의 구매 분석 등은 통계의 힘이 승자의 전략, 승리의 포인트라는 점을 다시금 알게 해준다.


비전공자들까지 쉽게 이해하도록 통계의 원리와 구체적인 활용 방법을 소개

언제 어디서나 거의 무료로 데이터 이용이 가능한 현대의 환경에서는 그러한 데이터를 찾아내고, 이해하면서 가치를 끌어내어 그 결과를 다른 사람과 소통할 수 있는 능력을 갖춘 전문 데이터 분석가가 경쟁에서 살아남는다. 이전 시대가 정보를 수집하는 사람이 승자였다면, 이제는 “통계를 지배하는 자가 세계를 지배하는 시대”가 된 것이다.
이 책은 통계와 관련된 역사적 사건부터 업무에 꼭 필요한 통계 기법, 그리고 다양한 활용 분야를 알려준다. 특히 저자가 직접 경험한 사례들을 이용해 통계의 원리와 구체적인 활용 방법, 그리고 6가지 주요 분야인 사회조사법, 역학생물통계학, 심리통계학, 데이터마이닝, 텍스트마이닝, 계량경제학 등의 개념을 비전공자도 이해하기 쉽게 설명하는 게 이 책의 매력이다.
통계와 관련된 전문용어와 수치가 자주 등장해서 얼핏 보기엔 어려워 보여도 기업이나 사회 각 분야에서 통계를 활용한 사례를 설명하는 방식으로 구성되어 독자는 자신에게 필요한 기법이 무엇인지 바로 알 수 있고, 활용 역시 쉽다. 또한 통계가들의 관점 차이로 빚어진 논쟁과 빈도론파와 베이즈파의 확률을 둘러싼 대립이 에피소드 형식으로 소개되어 통계라는 분야를 이해하는 또 다른 재미를 더한다. 아울러 유용한 데이터를 얻기 위한 검색 요령도 마지막 부분에 간략하게 다룬다.

작가정보

저자(글) 니시우치 히로무

1981년 출생. 도쿄대학교 의학부 졸업(생물통계학 전공). 도쿄대학 대학원 의학연구과 의료 커뮤니케이션학 분야 조교수, 대학원 의료정보네트워크 연구센터 부센터장, 다나 파버 하버드암연구센터(Dana-Farber Cancer Institute, DFCI) 객원연구원을 거쳐 현재는 데이터를 바탕으로 사회 혁신을 일으키는 다양한 프로젝트에 참가하며 조사, 분석, 시스템 개발과 전략 입안을 컨설팅하고 있다.
저서로 《빅데이터를 지배하는 통계의 힘》, 《가위바위보 무조건 이기는 법》, 《1억 명의 사람을 위한 통계분석》, 《엑셀에 있는 간단한 통계분석의 기본》, 《직장인 고민, 답은 이미 나와 있다》, 《콜레라가 가르쳐준 것》,《세상에서 가장 알기 쉬운 의료통계》 등이 있다.

번역 신현호

단국대학교 경제학과를 졸업하고 일본 와세다대학교 대학원에서 상학석사 학위 취득. 주 일본경제연구소 소장을 역임했고, 한일정보교류 지킴이 ‘나루지기’를 주재하며 전문 번역가로 활동 중이다.
옮긴 책으로는 《빅데이터를 지배하는 통계의 힘》, 《가위바위보 무조건 이기는 법》, 《2시간 만에 이해하는 중국》, 《경제학자의 영광과 패배》, 《세계사를 지배한 경제학자 이야기》, 《꿈을 이루어주는 한 권의 수첩》, 《회계 무작정 따라하기》, 《블루오션 재팬리포트》, 《케인스 VS 슘페터》 등 다수가 있다.