신호와 소음(개정판) : 불확실성 시대, 미래를 포착하는 예측의 비밀

불확실성 시대, 미래를 포착하는 예측의 비밀

네이트 실버 지음 | 이경식 옮김

더퀘스트 2021년 02월 03일 출간 종이책 : 2021년 01월 05일 출간

작품소개

책소개

돌아온 예측 천재의 ‘더 정확한 예측을 위한 제안’

2012년 미국 대선에서 오바마가 승리한 직후, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 운영하는 네이트 실버의 화제작 《신호와 소음》은 일약 베스트셀러로 떠오른다. 통계와 확률의 세계를 파고들어 미래예측의 패러다임을 뒤흔든 이 책에서, 네이트 실버는 데이터가 폭발적으로 늘어나고 소음으로 가득한 이 세상에서 진짜 신호를 가려내는 방법을 다양한 분야에서 탐사한다.
수많은 사람이 갖가지 예측을 쏟아놓지만, 이들 예측 대다수는 사회에 엄청난 비용만 안긴 채 실패로 돌아간다. 이유는 간단하다. 우리 대다수가 확률과 불확실성을 제대로 이해하지 못하기 때문이다. 인간은 신호를 포착하려고 애쓰지만 ‘자신감 넘치는 예측’을 ‘더 정확한 예측’으로 착각한다. 하지만 때로 자기과신은 실패의 원인이 된다. 불확실성을 지금보다 더 온전하게 이해한다면, 우리의 예측은 한결 정확해질 것이다. 족집게 같은 예측을 선보이며 ‘예측의 천재’로 급부상한 네이트 실버도 2016년 트럼프의 대선 승리로 그 명성이 한차례 흔들렸다. 힐러리를 공개 지지하던 실버는 타 매체나 조사기관에 비해 트럼프의 당선 가능성을 상대적으로 높게(28.6%) 예측하며 끊임없이 ‘트럼프가 판을 뒤집을 가능성’을 경고했으나 극적인 반전을 결정적으로 내다보지는 못했다. 이번 개정판의 서문에는 당시의 과정과 더불어 본격적인 팬데믹의 시기에 예측 전문가로서 갖는 소회와 성찰, 각오가 드러나 있다.
2020년에 이르러 전 세계를 휩쓴 코로나19 팬데믹을 목도하며, 실버는 다시 한번 뼈아프게 《신호와 소음》 초판에 담았던 예의 질문을 던진다. “전문가의 예측은 왜 이토록 자주 빗나가며, 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할까?” 이어 개정판 서문을 통해 ‘좀 더 나은 확률적 사고’에 필요한 것으로 ‘느리게 생각하기thinking slow’와 ‘대세 편승을 경계하기’라는 두 가지 역량을 꼽는다. 예측은 역설적이다. 자신의 예측 능력을 겸손하게 생각하면 할수록, 그리고 자기가 저지르는 실수에서 기꺼이 더 많은 것을 배우려는 마음먹을수록, 더 많은 정보를 지식으로 바꿀 수 있고 우리 손에 있는 데이터는 미래를 내다보는 통찰로 바뀔 것이라고 네이트 실버는 다시 한번 강조한다.

분명하게 밝히지만 내가 이 책에서 주장하려는 것은 누군가가 나서서 코로나19가 전 세계적인 팬데믹 재앙이 될 것임을 여러 달 전에 예측했어야 한다거나 트럼프의 승리가 확실하다고 예측했어야 한다는 게 아니다. 매우 중요한 결과가 빚어질 일들이 일어날 가능성이 상당히 높은데도 이런 리스크들이 거의 대부분 무시되고 만다는 것이 내가 주장하려는 점이다. 이렇게 되는 이유가 뭘까?

목차

｜추천사｜여기에 당신의 미래가 보인다 _ 송길영
｜개정 서문｜더 나은 확률적 사고를 위한 두 가지 제안
필수지만 어려운 일, ‘느리게 생각하기’｜대세 편승을 경계하라
｜들어가며｜신호와 소음
정보 폭발의 빛과 그림자｜컴퓨터 시대의 ‘생산성 역설’｜빅데이터 시대의 약속과 함정｜왜 미래는 늘 우리를 놀래는가｜예측을 위한 해법｜우리가 다룰 것들

Ⅰ. 예측에 대한 근본적인 의문들
1. 금융위기│경제 붕괴를 둘러싼 예측의 대실패
불행에 관한 최악의 예측｜“그들은 음악이 멈추길 바라지 않았던 거죠”｜신용평가사들이 일을 제대로 망친 방법｜1막: 주택 거품, 내 집을 둘러싼 환상｜2막: 레버리지, 하우스푸어를 양산하다｜인터미션: ‘공포’는 ‘탐욕’의 새 이름｜3막: 파멸, 새로운 상황이 펼쳐지다｜네 가지 예측 실패의 공통점｜실패한 예측의 공식: 표본 외 예측의 문제｜무엇을 배울 수 있을까

2. 정치│내가 선거 결과를 맞힌 비법
정치학자들은 TV에 나오는 전문가 패널들보다 나을까?｜더 나은 예측을 위한 올바른 태도: 여우가 돼라｜왜 고슴도치는 TV 패널로 더 환영받을까?｜엉터리 예측이 횡행하는 이유｜정치 예측에 뛰어들다｜여우의 원칙 1: 확률적으로 생각하라｜여우의 원칙 2: 날마다 새로운 예측을 하라｜여우의 원칙 3: 합의를 구하라｜‘마법의 탄환’식 예측을 믿지 마라｜질적 정보에 가중치를 두는 방법｜객관적이 되기는 쉽지 않다

3. 야구│야구 경기는 왜 모든 ‘예측’의 모델이 되는가
야구 예측 시스템을 구축하다｜세상에서 가장 풍성한 데이터세트｜노화곡선: 그 선수는 언제까지 뛸 수 있을까｜‘계산기’와 ‘직감’의 싸움｜페코타 대 스카우터: 스카우터 승｜보이지 않는 요소｜빨리 달리고 세게 던진다고 이기는 건 아니다｜게임의 이름은 ‘정보’｜페드로이아의 미래가 어두웠던 이유｜그리고 그는 어떻게 역경을 이겨냈나｜머니볼의 진정한 교훈과 야구의 미래

Ⅱ. 움직이는 과녁을 맞혀라!
4. 기상│예측의 성공 스토리, 기상 예보의 진전
슈퍼컴퓨터는 정말 쓸모가 있을까｜기상 예보의 아주 간략한 역사｜매트릭스, 새로운 기상 예측법의 탄생｜토네이도와 농구 선수의 공통점｜사람의 눈은 아직 중요하다｜기상청의 성공과 민간업체의 도전｜더 나은 예측은 어떻게 만들어지는가?｜경쟁이 예측을 더 엉망으로 만들 때｜오차보정이 필요한 순간｜태풍의 눈과 카오스의 원뿔

5. 지진│필사적으로, 신호를 찾아서
발밑이 흔들릴 때 우리가 하는 일｜마법의 두꺼비와 성배 찾기｜지진은 어떻게 움직이는가: 멱법칙 분포｜소음 속에서 우리를 유혹하는 신호｜실패한 예측의 행진｜진퇴양난｜과적합에 주목하라｜동일본 대지진은 과적합의 대표 사례｜우리는 지진에 관해 어디까지 알 수 있을까｜신호와 소음이 빚어내는 아름다움｜과학은 언제나 시험 중이다

6. 경제 예측│불확실성, 변동성, 편향에 대처하는 법
불확실성에 관해 얘기해야 하는 이유｜경제학자들은 이성적인가?｜“그 누구도 단서를 가지고 있지 않습니다”｜인과관계 없는 상관관계｜경제 예측은 움직이는 표적을 맞히는 문제｜소음투성이 경제 데이터｜나비효과｜편향이 합리적 선택일 때｜편향에 대처하는 두 가지 대안

7. 전염병│모든 모델은 빗나가지만 몇몇 모델은 유용하다
‘신종플루 대실패’의 후속편인가?｜외삽이 위험해질 때｜자기충족적 예측과 자기부정적 예측｜‘정교한’ 단순함｜심플루SimFlu｜예측이 빗나갈 수밖에 없을 때 해야 할 일

Ⅲ. 예측의 질을 높여 미래를 포착하는 법
8. 베이즈 정리│조금씩 조금씩 덜 틀리는 법
이기는 도박꾼은 어떻게 베팅하는가｜토머스 베이즈의 별난 유산｜확률과 진보｜베이즈 정리의 간단한 수학｜거짓 양성 문제｜빈도주의가 베이즈주의를 반박하다｜맥락 없는 데이터는 무용지물이다｜베이즈주의 도박사, 밥｜진리로 수렴하는 베이즈주의

9. 체스│컴퓨터가 인간처럼 미래를 내다볼 수 있을까
체스를 두는 컴퓨터｜체스, 예측, 그리고 휴리스틱｜카스파로프와 딥블루｜게임이 시작되다｜체스 선수의 딜레마: 폭이냐 깊이냐｜전략 대 전술｜종말의 첫 조짐｜기계가 인간을 이기다｜체스 고수를 버벅거리게 만드는 법｜버그일까, 비장의 무기일까?｜컴퓨터가 잘하는 것｜구글 검색 엔진: 대규모 시행착오가 가능할 때｜기술의 사각지대를 넘어서

10. 포커│상대의 허풍을 간파하는 법
포커 드림의 시작｜패 읽기의 기술｜확률적으로 사고하라｜슈뢰딩거의 포커 패｜상대를 혼란스럽게 하는 법｜예측의 파레토법칙｜고수와 호구: 포커 거품의 경제학｜거품이 꺼지다｜운이냐 실력이냐｜착각의 늪｜우리가 평정심을 잃는 이유｜결과보다 과정에 초점을 맞춰라

Ⅳ. 보이지 않는 손이 세상을 움직인다
11. 주식│개인이 결코 시장을 이길 수 없다

출판사 서평

정치, 경제, 스포츠, 기후, 전쟁, 테러, 전염병, 도박…
소음이 가득한 세상에서 의미 있는 신호를 찾아라
경제위기 대처에서 질병퇴치 역량의 확보에 이르기까지, 이제 모든 것은 미래를 얼마나 정확하게 예측할 수 있느냐, 즉 예측의 질이 얼마나 향상될 수 있느냐에 달려 있다. 삶의 속도가 점점 빨라지고 예상을 뛰어넘는 사건이 늘어날수록 우리는 예전보다 더 자주, 더 신속하게 계획과 전략을 세워야 한다.
네이트 실버는 ‘더 나은’ 즉 더 정확한 예측을 한 사람들에게 공통으로 나타나는 요소를 파악하기 위해 국립기상연구소에서 메이저리그 야구장으로, 포커판에서 주식시장으로, 국회의사당에서 NBA 경기장으로 다양한 분야를 누비며 예측의 성공 사례뿐 아니라 실패 사례까지 찾아간다. 이 책을 쓰기 위해 노벨 경제학상 수상자 조지 애컬로프, 래리 서머스 전 재무장관, 도널드 럼스펠드 전 국방장관 등 미국을 움직이는 리더들을 인터뷰했고, 프로 도박사나 스카우터., 기상예보관, 전염병 전문가 등의 전문인들을 심도 있게 취재했으며, 관련 분야 논문과 기사들을 샅샅이 찾아 공부했다(엄청난 분량의 주註를 참고하기 바란다).

COVID-19 팬데믹, 2016년 미국 대선에서 우리가 놓친 것은 무엇인가?
지구온난화와 기상이변 같은 21세기의 과제를 확률적 사고로 해결할 수 있을까?
프로 스포츠와 포커판의 예측 고수들에게 어떤 예측 기술을 배울 수 있을까?
주식이나 부동산 시장에서 거품은 왜 그렇게 잘 깨지지 않는가?

각 분야의 선구자들이 남긴 혁신의 성과가 설혹 미미하더라도 우리는 그들이 구사한 방법론들로부터 많은 것을 얻을 수 있다. 어떻게 하면 확률적으로 생각하는 법을 익힐 수 있을까? 베이즈라는 18세기 영국인의 통찰을 응용해서 지구온난화와 기상이변 같은 21세기의 과제를 해결할 수 있을까? 미래에 대해서 더 많이 알게 되면, 현재의 의사결정을 더 현명하게 할 수 있을까?

움직이는 과녁을 맞히는 예측의 과학과 기술
“수많은 예측이 실패하는데 왜 어떤 예측은 적중할까?” 날마다 엄청난 데이터가 생성되는 ‘빅데이터’ 시대에 왜 많은 예측이 그토록 심하게 빗나갈까? ‘빅데이터 시대’를 맞아 인류는 엄청난 양의 데이터와 맞닥뜨렸지만, 그만큼 쓸모없는 ‘소음’도 어마어마하게 많아졌기 때문이다. 《신호와 소음: 불확실성 시대, 미래를 포착하는 예측의 비밀》에서 말하는 데이터 분석의 관건이란, 이 ‘소음’들을 효과적으로 제거해 의미 있는 ‘신호’를 찾아내는 것이다. 책은 크게 두 부분으로 나뉜다. 1부와 2부에서는 예측에 따르는 문제를 진단하고, 3부와 4부에서는 베이즈주의적 해법을 적용하고 탐구한다.
1부에서는 최근의 금융위기를 둘러싼 예측의 실패, 야구 분야의 예측 성공, 접근방법론에 따라 예측의 성공과 실패가 갈리는 정치 분야를 다룬다. ‘예측’에 내재하는 가장 근본적인 몇 가지 의문을 깊이 탐구한다.
2부에서는 기상 변화, 지진 예측, 경제 동향, 전염병 확산 등을 둘러싸고 몇 가지 역동적 체계를 하나씩 들여다본다. 내로라하는 과학자들이 오랜 시간에 걸쳐 이 체계들을 연구하고 있지만, 체계 자체가 역동적인 까닭에 예측은 한층 어렵고 까다롭다. 그런 만큼 이들 분야에서 예측이 언제나 잘 맞을 수는 없다.
3부에서는 통계 확률 기법을 이용한 해결책에 주목한다. 네이트 실버가 신호와 소음을 구분하기 위해 사용하는 도구 중 가장 중요한 것은 통계학의 ‘베이즈 정리(Bayes’s theorem)’다. 이는 사전 확률을 도출한 뒤 새 정보가 나오면 가장 가능성 있는 것을 골라 적용해 사후 확률을 개선해 나가는 방법이다. 베이즈 정리를 활용해서 승승장구하는 프로 스포츠 도박사를 소개하는 데 이어 체스와 포커 게임을 다룬다. 스포츠와 게임은 명확한 규칙을 따른다는 점에서 우리의 여러 예측 기술을 검증하는 실험실 역할을 톡톡히 해낸다. 우리는 이들 분야를 통해 무작위성과 불확실성을 좀 더 온전하게 이해하고, 정보를 지식으로 변환하는 방식도 통찰할 수 있을 것이다.
4부에서는 베이즈 정리를 좀 더 실존적인 유형의 문제에 적용하여 지구온난화, 테러, 금융시장 거품 문제를 다룬다. 이들은 사회 전체에 위협적인 과제임은 물론 예측 전문가들에게는 까다로운 과제다. 해결방법이 전혀 없지는 않다. 이 같은 과제에 기꺼이 맞설 각오가 서 있기만 하다면, 우리가 사는 나라와 우리의 경제권 그리고 우리의 지구는 지금보다 한층 안전한 곳이 될 수 있다.
이 책은 네이트 실버의 예측 철학과 기법을 보여줌과 동시에 불확실한 미래를 어떻게 받아들이고 대응해야 하는지에 대해 깊은 성찰을 던져준다. 세상의 지각변동을 가져오는 모든 요소를 시시각각 눈여겨보는 오피니언 리더와 끝없이 시장과 소비자의 욕망을 예측해야 하는 기업가는 물론, 사회 변동에 깊

작가정보

저자(글) 네이트 실버

저자 : 네이트 실버
Nate Silver

왜 어떤 예측은 빗나가는데
그의 예측은 적중하는가

《패스트컴퍼니》 선정
‘가장 창조적인 인물 1위’
《타임스》 선정
‘전 세계에서 가장 영향력 있는 100인’

네이트 실버는 시카고대학교에서 경제학을 전공한 뒤 2002년 회계컨설팅회사 KPMG에 입사했다. 그는 곧 엉뚱한 일을 벌이기 시작했는데, 자신이 좋아하는 메이저리그 야구선수의 성적을 예측하는 시스템인 페코타PECOTA를 개발한 것이다. 놀라운 적중률로 명성을 얻은 실버는 카지노에서 통계 확률 기법을 전략적으로 이용해 단번에 1만 5천 달러를 따고 회사를 그만뒀다. 이후 포커판에서 수십만 달러를 긁어모으고는, 그동안 쌓인 통계학과 예측의 노하우를 활용해 2008년, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 개설했다.
《뉴욕타임스》의 자매 블로그가 된 파이브서티에이트는 2008년 대선에서 미국의 50개 주 중 49개 주의 결과를 정확히 예측했고, 총선에서도 상원 당선자 35명 전원의 당선 결과를 맞혔다. 이 때문에 네이트 실버는 하루아침에 인지도가 급상승했고, 많은 사람들이 그의 예측에 주목하기 시작했다. 2012년 미국 대선에서는 그가 블로그에 글을 올릴 때마다 공화당과 민주당이 비중 있는 논평을 내놓기에 바빴다. 오바마와 롬니가 박빙으로 경쟁하는 와중에 첫 후보 간 토론회가 열렸고 뒤이어 여론조사기관 대부분이 롬니의 승리를 예측했다. 그러나 실버는 오바마의 승리를 점쳤고, 결과는 이번에도 50개 주의 결과를 모두 맞힌 그의 승리로 끝났다. 그해 대선 직전에 자신의 통계학과 예측 철학을 담아 출간한 《신호와 소음》 역시 《뉴욕타임스》 15주 연속 베스트셀러에 오르고 아마존 논픽션 부문 ‘올해의 책’에 선정되는 등 슈퍼 베스트셀러가 되었다.
그 결과 네이트 실버와 함께 일하려는 매체들의 경쟁이 치열해졌고 그는 2013년에 결국 《뉴욕타임스》 고위층의 만류에도 불구하고 ESPN으로 소속을 옮겼다. 그는 현재 ESPN뿐만 아니라 자매 채널인 ABC에서 정치, 경제, 스포츠 등 여러 분야에서 자신만의 ‘예측 비법’을 펼쳐나가고 있으며, 정치인과 경제 전문가를 비롯해 많은 사람들이 그의 예측 하나하나에 귀를 기울이고 있다.

번역 이경식