빅 데이터가 만드는 세상

데이터는 알고 있다

빅토르 마이어 쇤버거 , 케네스 쿠키어 지음 | 이지연 옮김

21세기북스 2013년 05월 15일 출간 종이책 : 2013년 05월 16일 출간

작품소개

책소개

불확실한 미래, 빅 데이터에 드러나는 진실과 마주하라!

『빅 데이터가 만드는 세상』은 빅 데이터가 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있는 오늘날, 빅 데이터에 정통한 두 전문가가 빅 데이터가 무엇이며, 그것이 우리의 삶을 어떻게 바꿔놓을지에 관해 이야기한다. 더불어 덜 정밀하지만 더 많은 데이터를 이용하여 발생할 수 있는 빅 데이터의 위험과 이로부터 우리를 지킬 수 있는 방법은 무엇인지도 함께 살펴본다.

앞으로 빅 데이터가 새로운 경제적 가치와 혁신의 원천이 될 것이라고 말하는 저자들은 빅 데이터가 기후 변화 대처, 질병 근절, 바람직한 정부 구조 개발, 경제 발전 등 무수한 방식으로 사회에 혜택을 가져올 것이라고 예측한다. 하지만 데이터의 한계를 제대로 인식하지 않고 맹목적으로 데이터에 의존한다면 인간의 자유와 존엄성을 보호받지 못할 수도 있다고 경고한다. 이에 저자들은 빅 데이터 시대에는 새로운 원칙이 필요하며, 빅 데이터의 위험을 최소화하거나 완화할 수 있는 구체적인 방법까지 제시한다.

이 책에서 저자들은 빅 데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들에 대해 그것은 잘못된 판단이라고 말한다. 빅 데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이기 때문이다. 이러한 데이터의 방대한 크기 때문에 인간이 아닌 기계가 결정을 내리는 경우가 늘어날 수 있다는 점을 간과해서는 안 될 것이다.

목차

Chapter 1 현재
데이터로 하여금 말하게 하라｜들쭉날쭉하지만 더 많아서 괜찮은 데이터
Chapter 2 많아진 데이터
일부에서 전체로
Chapter 3 들쭉날쭉한 데이터
질보다 양｜들쭉날쭉한 데이터의 실제 모습
Chapter 4 인과성과 상관성
예측과 선호｜환영과 깨달음｜폭발하는 맨홀｜이론의 종말?
Chapter 5 데이터화
세상의 수량화｜단어들이 데이터가 될 때｜위치가 데이터가 될 때｜소통이 데이터가 될 때｜모든 것의 데이터화
Chapter 6 가치
데이터의 ‘옵션 가치’｜데이터의 재사용｜재조합형 데이터｜확장 가능한 데이터｜가치가 하락하는 데이터｜데이터 잔해의 가치｜오픈 데이터의 가치｜값을 매길 수 없는 가치
Chapter 7 영향
빅 데이터의 가치 사슬｜새로운 데이터 중개인｜전문가의 종말｜효용의 문제
Chapter 8 리스크
사생활 마비｜확률과 처벌｜데이터의 독재｜빅 데이터의 어두운 면
Chapter 9 통제
동의에서 책임으로｜사람 vs 예측｜블랙박스 깨기｜알고리즈미스트의 부상｜외부 알고리즈미스트｜내부 알고리즈미스트｜데이터 왕에 대한 규제
Chapter 10 다음
데이터가 말을 할 때｜빅 데이터보다 더 큰 데이터

감사의 말
옮긴이의 말
주석

책 속으로

무작위 샘플링은 엄청난 성공을 거두었고 현대적인 대규모 조사의 근간이 됐다. 하지만 이것은 어디까지나 전체 데이터를 수집하고 분석하는 것에 대한 차선의 대안일 뿐이다. 무작위 샘플링은 수많은 약점을 동반한다. 무작위 샘플링 조사의 정확성은 샘플 데이터를 수집할 때 무작위성을 얼마나 확보할 수 있는지에 달려 있다. 그런데 이 무작위성을 얻는 것은 쉬운 일이 아니다. 데이터를 수집하는 방식에 체계적 편향이 있을 경우 산정된 결과치는 완전히 다른 수치가 나올 수도 있다. _「Chapter 2 많아진 데이터」에서

우리는 일상생활에서 워낙 자주 인과적으로 생각하다 보니 인과성을 밝히는 일이 쉽다고 믿을지 모른다. 하지만 진실은 그렇게 안이하지 않다. 상관성을 계산하는 수학은 상대적으로 간단하다. 하지만 인과성을 ‘증명’하는 뚜렷한 수학적 방법이란 없다. 심지어 인과적 관계는 기본적 등식으로 표현조차 안 된다. 그러니 힘들게 천천히 생각하더라도 확정적인 인과적 관계를 찾는 일은 쉽지 않다. 우리는 정보가 부족한 세상에 익숙해져 있기 때문에 제한된 데이터로도 추론을 해보려는 유혹을 느낀다. 하지만 어느 결과를 특정 원인 탓으로 돌리기에는 지나치게 많은 요소가 개입되어 있는 경우가 너무 많다. _「Chapter 4 인과성과 상관성」에서

궁극적으로 데이터의 가치는 그것을 이용하는 사람에 달려 있다. 어떤 방식이 되었건 가능한 쓰임새를 찾아내 가치를 끌어내면 그것이 곧 그 데이터의 가치다. 무한한 듯 보이는 이 잠재적 용도는 마치 옵션과 같다. 금융 상품을 말하는 것이 아니라 선택 가능성을 뜻하는 일상적 의미의 옵션 말이다. 데이터의 가치는 이런 선택 가능성들의 총계이고, 이것이 말하자면 데이터의 ‘옵션 가치’다. 과거에는 데이터의 주된 용도가 달성되고 나면 그 데이터는 임무를 다한 것으로, 그래서 지우면 되는 것으로 생각한 경우가 많았다. 핵심적 가치를 뽑아낸 걸로 보였으니까 말이다. 하지만 빅 데이터 시대에 데이터는 마치 마법의 다이아몬드 광산과 같다. 주된 가치는 이미 다 꺼내 쓴 지 오래지만 아직도 파면 팔수록 계속 뭔가 나오는 다이아몬드 광산 말이다. 데이터의 옵션 가치를 깨우는 강력한 방법이 세 가지 있다. 바로 기본적 재사용, 데이터 집합 합치기, ‘반값 할인’ 찾기다. _「Chapter 6 가치」에서

많은 상황에서 데이터 분석은 이미 예방이라는 이름으로 채용되어 있다. 데이터 분석은 우리를 비슷한 사람들과 동일 집단으로 묶는 데 사용되고, 우리는 자주 우리가 속한 그 집단에 따라 특징지어진다. 보험 계리인의 도표에는 50세 이상의 남성은 전립선암에 걸리기 쉬우므로 이 집단에 속한 사람들은 건강보험료를 더 내야 할지 모른다고 표시되어 있다. 아직 전립선암에 걸린 적은 없지만 말이다. 성적이 우수한 고등학생들은 집단으로 봤을 때 자동차 사고를 일으킬 가능성이 낮다. 그래서 성적이 낮은 일부 또래들은 보험료를 더 내야 한다. 특정한 특징을 지닌 개인들은 공항검색대를 지날 때 추가 검사를 받는다. _「Chapter 8 리스크」에서

출판사 서평

데이터가 폭발하는 거대한 변화의 소용돌이 속에서
우리는 어떻게 살아갈 것인가?
제3의 물결을 잇는 가치와 혁신의 원천,
경제ㆍ사회ㆍ과학ㆍ기술 분야를 지배하는 새로운 패러다임, 빅 데이터!
일하고 생각하는 방식이 바뀌고 있다. 빅 데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅 데이터는 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있다. 불확실하지만 스마트한 정보가 넘치는 시대에 우리는 무엇을 어떻게 준비할 것인가.

빅 데이터 혁명에 관한 긍정적이고 실용적인 시각
엄청나게 많은 복잡하고 헝클어진 정보들을 이용해 쇼핑 패턴부터 독감 발병에 이르기까지
수많은 예측을 가능하게 하는 놀라운 방법들!

중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까? 뉴욕의 공무원들은 폭발 위험이 가장 높은 맨홀 뚜껑을 어떻게 알아낼까? 구글은 대체 어떻게 신종 플루의 발병을 예측했을까?
이런 질문에, 그리고 훨씬 더 많은 질문에 답하기 위한 핵심 열쇠가 바로 ‘빅 데이터’다. 빅 데이터란 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 이 새로운 방법을 사용하면 항공권 가격부터 수백만 권의 책까지 무수한 현상을 검색 가능한 형태로 바꿀 수 있다. 빅 데이터는 급성장한 컴퓨터 연산능력을 이용해 지금까지 한 번도 알지 못한 것들을 알게 해준다. 인터넷의 발명, 심지어 인쇄기의 발명에 견줄 만한 혁명이 시작된 것이다. 앞으로 몇 년 동안 빅 데이터는 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이다. 빅 데이터는 새로운 위협이 될 수도 있다. 지금과 같은 사생활은 사라지고 빅 데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해 처벌받게 될지도 모른다.
빅 데이터에 정통한 두 전문가는 이 책에서 빅 데이터가 무엇이며, 그것이 우리의 삶을 어떻게 바꿔놓을지에 관해 분명하고 놀라운 설명을 한다. 빅 데이터가 가져올 위험으로부터 우리를 지킬 수 있는 방법은 무엇일까? 이 책은 차세대 빅 트렌드를 명쾌하고 재미있게 읽어내는 첫 대작이다.

빅 데이터가 갖는 과학적ㆍ사회적 가치뿐만 아니라 빅 데이터가 어느 정도의 경제적 가치의 원천이 될 수 있을까? 빅 데이터 세상은 다양한 방식으로 비즈니스와 과학 분야뿐만 아니라 헬스케어, 정부, 교육, 경제, 인문, 사회에 이르기까지 모든 분야를 뒤흔들 것이라는 예측은 이제 우리의 현실이 되었다. 물론 아직은 빅 데이터의 여명기이지만. 그렇다면 우리는 적극적으로 변화의 시대를 맞이할 준비를 서둘러야 한다.
빅 데이터의 핵심은 예측에 있다. 빅 데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들도 있다. 하지만 그것은 잘못된 판단이다. 빅 데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이다. 어떤 이메일이 스팸 메일일지, 무단횡단 중인 사람의 궤도와 속도로 보아 그 사람이 제때 길을 건널지, 무인 자동차가 언제 속도를 살짝 늦춰야 할지 등과 같은 것들이다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 데이터를 많이 공급받기 때문이다. 시스템이 스스로 개선될 수 있도록, 더 많은 데이터가 들어오면 어느 것이 최상의 신호이고 패턴인지 기록해나가게끔 설계되어 있기 때문이다.
미래에, 어쩌면 생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다. 운전이나 데이트 상대 고르기뿐만 아니라 훨씬 더 복잡한 일들까지도.
지금도 아마존은 우리에게 맞는 책을 추천해주고, 구글은 가장 적절한 웹사이트부터 순서대로 보여준다. 페이스북은 나의 선호를 알고 있고, 링크드인은 내가 누구와 연줄이 닿는지 꿰뚫고 있다. 똑같은 기술이 질병 진단과 치료법 추천에도 적용될 것이다. 어쩌면 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내게 될지도 모른다. 인터넷이 컴퓨터에 통신 기능을 부가하여 세상을 완전히 바꿔놓았듯, 빅 데이터도 컴퓨터에 지금까지와는 차원이 다른 양적 측면을 부가해 우리 생활의 기본 양상을 바꿔놓을 것이다.

원인을 알 필요는 없다, 데이터 스스로 진실을 드러내게 하라!
원인 대신 패턴이나 상관성을 찾아내어 새로운 이해와 통찰의 세계로 데려다놓는 빅 데이터 시대

빅 데이터는 세상을 수량화하여 이해하고 싶은 인류의 탐험에 큰 진전이 이루게 해줄 것이다. 이전에는 측정ㆍ저장ㆍ공유ㆍ분석할 수 없었던 것들이 끊임없이 데이터화되고 있다. 조그만 일부분이 아니라 방대한 양의 데이터, 덜 정밀하지만 더 많은 데이터를 이용한다면 새로운 이해의 길이 열린다. 사회는 오랫동안 선호되어온 인과관계를 버리고 상관관계의 편익에 의존할 것이다. 인과관계의 메커니즘을 이해하고 싶은 인류의 이상은 자기만족적 환상이며 빅 데이터는 이 환상을 뒤집어엎을 것이다.
우리가 굳게 믿고 있던 확실성이 또 한 번 바뀌고 있다. 이번에는 더 확실한 증거에 의해 기존의 확실성이 대체되고 있다. 그렇다면 이제 직관과 신념, 불확실성에게는 무슨 역할이 남을까? 증거에 반해 행동하고 경험에서 배우는 일은 이제 다시 일어나지 않을까? 지금의 사회와 인간관, 진보는 이성을 기초로 한 것이다. 인과성에서 상관성으로 세상이 바뀌는데 이런 것들의 기반이 송두리째 흔들리지 않고서야 다음으로 넘어갈 수 없을 것이다. 지금 우리는 어디쯤 서 있는지, 어떻게 여기까지 왔는지를 설명하고 우리 앞에 놓인 혜택과 위험에 대한 시급한 가이드를 제공하는 것이 이 책의 목적이다.
앞으로 빅 데이터는 새로운 경제적 가치와 혁신의 원천이 된다. 빅 데이터의 부상은 곧 정보 분석 방법의 변화를 불러오고 우리가 사회를 이해하고 조직하는 방법을 바꿔놓을 것이다. 새로운 세상은 더 많은 데이터를 분석할 수 있다. 이전의 샘플링 방식으로 도저히 알아낼 수 없는 하위 범주와 하위 시장들을 찾게 되는 것이다. 두 번째 변화는 방대한 데이터를 들여다보게 됨으로써 정밀성에 대한 욕구가 줄어들 것이다. 빅 데이터는 들쭉날쭉하고, 속성이 서로 다르며, 전 세계 수많은 서버에 산재해 있는 경우가 많다. 그래서 빅 데이터를 사용할 때는 센티미터 단위, 원 단위, 분자 단위까지 현상을 이해하기보다 일반적 방향성으로 만족해야 할 때도 많을 것이다. 이것은 정밀성을 전부 내다버린다는 것이 아니라 정밀성만 고집하지 않는다는 뜻이다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는 것이다. 이러한 변화에서 ‘인과관계 추구’라는 오래된 습관에서 멀어지는 결과를 낳는다. 빅 데이터 세상에서는 인과관계에 얽매일 필요가 없다. 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻으면 된다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지를 설명하지 못할지도 모르지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 어떤 현상의 원인을 항상 알아야 할 필요는 없다. 데이터 스스로 진실을 드러내게 하면 된다.

왜 그런 결정을 내리게 되었는지 이유를 설명할 수 없다고?
누가 범죄를 저지르고, 심장마비에 걸릴 것인지를 알아내는 알고리즘이 등장하고
비즈니스와 시장, 사회의 본질이 변화하면서 새로운 제도와 규칙 마련해야

인간은 수천 년 동안 데이터를 분석해왔다. 고대 메소포타미아에서 글이 발달한 것은 관리들이 정보를 파악하고 기록할 효율적 도구가 필요했기 때문이다. 성서 시대 이후 여러 정부는 주민들에 관한 데이터를 수집하기 위해 인구조사를 실시했다. 지난 200년간 보험 계리사들은 리스크를 알아내거나 피하기 위해 많은 데이터를 수집했다. 그러나 아날로그 시대에는 데이터를 수집하고 분석하는 데 엄청난 비용과 시간이 소요됐다. 새로운 의문점이 생기면 데이터를 새로 수집해야 했고 처음부터 다시 분석해야 하는 경우가 많았다.
디지털화의 도래로 효율적 정보처리에 큰 진척이 일어났다. 아날로그 정보를 컴퓨터가 읽을 수 있게 만들자, 더 쉽고 저렴하게 정보를 저장하고 처리할 수

작가정보

저자(글) 빅토르 마이어 쇤버거

저자 빅토르 마이어 쇤버거(Viktor Mayer-Schonberger)는 옥스퍼드 대학 내 옥스퍼드 인터넷 연구소에서 인터넷 관리 규제를 강의하고 있다. 빅 데이터 분야의 세계적인 권위자로 100편이 넘는 글과 여덟 권의 책을 출간했다. 최근작으로는 『잊어질 권리Delete: The Virtue of Forgetting in the Digital Age』가 있다. 마이크로소프트와 세계경제포럼을 비롯한 세계 각지의 기업 및 단체에서 고문으로 활동하고 있다.

저자(글) 케네스 쿠키어

저자 케네스 쿠키어(Kenneth Cukier)는 ≪이코노미스트≫의 데이터 편집자로 빅 데이터에 관한 저명한 논평가다. ≪포린 어페어≫, ≪뉴욕타임스≫, ≪파이낸셜 타임스≫ 등에 비즈니스 및 경제에 관한 글을 쓰고 있다.

번역 이지연

역자 이지연은 서울대학교 철학과를 졸업한 뒤 삼성전자 기획 및 마케팅 부서에서 일했다. 지금은 인트랜스에서 전문 번역가로 활동하고 있다. 옮긴 책으로 『똑똑한 바보들』, 『킬 더 컴퍼니』, 『마담 투소 : 프랑스 혁명에 관한 이야기』, 『2012 세계경제대전망』(공역), 『거짓말을 간파하는 기술』 등이 있다.