빅데이터 인문학: 진격의 서막

800만 권의 책에서 배울 수 있는 것들

에레즈 에이든 , 장바티스트 미셸 지음 | 김재중 옮김

사계절 2015년 03월 07일 출간 종이책 : 2015년 01월 23일 출간

작품소개

책소개

빅데이터, 전 세계 인문학계를 발칵 뒤집어놓다!

현대인들의 일거수일투족은 디지털 기록으로 남는다. 사람뿐만 아니라 도서관이나 박물관에서 잠자고 있던 옛 문헌들, 그림과 지도, 심지어 유물과 유적까지 속속들이 디지털 세계로 진입하고 있다. 이 어마어마한 양의 디지털 기록, 즉 빅데이터라는 새로운 환경이 바로 인문학이 맞닥뜨리게 될 기록의 현장이다. 바야흐로 인간을 이해하기 위해서는 책을 넘어 데이터를 읽어야 하는 시대가 온 것이다.

이 책의 저자인 에레즈 에이든과 장바티스트 미셸은 클릭 한 번으로 800만 권의 책을 검색하는 ‘구글 엔그램 뷰어’라는 도구를 개발하고, 이 도구로 인문학이 인간을 바라보는 방식의 혁명적 전환을 제안한다. ‘구글 엔그램 뷰어’는 검색창에 단어를 입력하고 버튼 하나를 클릭하면, 순식간에 800만 권의 책을 검색해 해당 단어가 지난 500년간 사용된 빈도의 추이를 그래프로 보여주는 프로그램이다.

30대 초반의 두 과학자는 첨단과학기술이 제공하는 도구를 사용한다면, 인문학이 인간에 관해 그동안 알지 못했던 새로운 사실들을 밝혀낼 수 있으리라 전망한다. ‘구글 엔그램 뷰어’에 의하면, 19세기 초 1000단어 당 1회 정도 언급되던 ‘신God’은 19세기 말에 이르러 언급되는 횟수가 절반 이하로 줄었으며, 1973년을 기점으로 ‘데이터Data’에게 우위를 내주었다. 이와 같은 데이터를 통해 우리는 인간의 역사와 문화에 대한 다양한 추론과 상상을 해볼 수 있다.

목차

chapter 1 빅데이터가 일으킬 인문학 혁명 _ 8 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
역사적 변화를 측정하는 현미경이 있다면 | 디지털 지문 | 빅데이터 | 연구자들의 신대륙, 디지털 데이터 | 구글의 야심, 단 하나의 도서관 | 롱데이터 | 더 많은 데이터, 더 많은 문제들 | 컬처로믹스
Episode 1 그림 한 점은 단어 몇 개의 가치와 맞먹을까? _ 36

chapter 2 데이터 오디세이: 언어는 어떻게 진화하는가 _ 38 <<<<<<<<<<<<<<<<<<<<<<<
장기적 관점 | 문자언어, 빅데이터의 가장 오래된 조상 | 1937: 데이터 오디세이 | 멱법칙 | 언어 진화의 화석, 불규칙동사 | 2005: 또 다른 데이터 오디세이 | 불규칙동사의 반감기 | 존 하버드의 반들반들한 구두 | 색인은 죽지 않았다 | 장미를 분해해 꽃잎 세기
Episode 2 불규칙동사의 배신 _ 68

chapter 3 데이터로 사전 만들기 _ 70 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
29세 억만장자의 심리학 | 페이지의 페이지들 | 빅데이터와 저작권 문제 | 그림자 데이터 만들기 | 저작권 문제의 돌파구, 엔그램 | 단어란 무엇인가 | 사전편찬, 인간의 오래된 그러나 불완전한 기술 | DIY 사전 | 사전이 발견하지 못한 단어들 | 빅데이터로 보는 언어의 성장과 죽음
Episode 3 baby와 sitter가 만나기까지 _ 102

chapter 4 사람은 어떻게 유명해지는가 _ 104 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
데이터 청소하기 | 스티븐 핑커의 명성을 사다 | 명성은 어떻게 찾아오는가 | 라이트 형제의 바람터널 | 거의 유명하면 충분히 유명하다 | 명성을 질병처럼 다루기 | 명예의 전당 | 더 빨리, 더 많이 유명해지는 만큼 더 빨리 잊힌다 | 어떻게 유명해질 것인가: 직업 선택을 위한 가이드 | 지난 200년 동안 가장 유명한 사람
Episode 4 버즈 올드린을 아십니까? _ 150

chapter 5 침묵의 소리: 빅데이터가 말하는 억압과 검열의 역사 _ 152 <<<<<<<<<<<<<<<
샤갈의 명성 | 퇴폐 미술전 | 나치의 분서 정책 | 사라진 이름들 | 검열을 자동으로 추적할 수 있을까 | 억압과 검열을 넘어 백만 개의 통로로 스며들다 | 후기
Episode 5 권리는 또 다른 권리를 낳고 - 사상의 번식과 진화 _ 182

chapter 6 기억과 망각의 속도 _ 184 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<
기억 실험 | 집단기억과 집단망각에 관한 연구 | 망각곡선 | 오래된 것들의 퇴장, 새로운 것들의 입장 | 큰 아이디어는 천천히 움직인다 | 누가 언제 발명했는가 | 발명품이 널리 확산되기까지 | 사회는 점점 더 빨리 배우고 있다 | 문화를 수량화할 수 있을까 | 데이터가 그리는 아름다운 곡선 | 엔그램 중독자들
Episode 6 화성인들은 화성에서 오지 않았다 _ 216

chapter 7 유토피아, 디스토피아, 데이터토피아 _ 220 <<<<<<<<<<<<<<<<<<<<<<<<<<<<<
과거의 디지털-책, 신문, 미출간 원고, 물건들 | 현재의 디지털 | 미래의 디지털 | 디지털 기록의 양면성 | 데이터는 권력이다 | 과학과 인문학, 지평을 공유하다 | 데이터는 사회과학의 오랜 꿈을 실현할 수 있을까

부록 | 빅데이터로 보는 문화사 : 1800~2000
감사의 말 _278
도표에 대하여 _286
주 _288
특별좌담_인문학을 위한 빅데이터 사용 설명서 _341
찾아보기 _370

책 속으로

장차 우리를 압도하고 우리를 사로잡을 이상한 매혹을 수백만 명이 공유하게 될 혁명이 어디선가 일어나고 있었다. 그 핵심에는 인류가 벌인 활동에 관한 역사적 기록의 창조 및 보존과 연관된 빅데이터 혁명이 있었다. 이 혁명의 결과물은 우리가 우리 자신을 바라보는 방법을 바꿀 것이다. 또 우리 사회의 본질을 더 효율적으로 탐색할 수 있는 관찰도구를 창조하게 해줄 것이다. 빅데이터는 인문학을 바꾸고, 사회과학을 변형시키고, 상업 세계와 상아탑 사이의 관계를 재조정할 것이다. _ 17쪽

요약하자면 이 책은 로봇이 말하는 역사, 디지털 렌즈로 들여다봤을 때 보이는 인류의 과거에 관한 책이다. 오늘날 엔그램 뷰어가 이상하고 예외적으로 보일지라도 이 디지털 렌즈는 수세기 전 광학렌즈가 그랬던 것처럼 번창하고 있다. 이 새로운 관찰도구는 급성장하는 디지털 발자국에 힘입어 역사학과 지리학, 전염병학, 사회학, 언어학, 인류학, 나아가 생물학과 물리학에 이르기까지 가려져 있던 측면들을 매일 새로이 드러내 보이고 있다. 세상은 변하고 있다. 우리가 세상을 보는 방식도 변하고 있다. 우리가 그러한 변화를 보는 방식들 역시, 음, 변하고 있다. _ 34~35쪽

우리의 통계적 검열-탐지 기술은 전통적인 방법을 이용하는 전통적인 역사학자의 그것과 질적으로 비슷한 결과를 가져다준다. 그러나 전통적인 방법들과는 다르게, 우리의 분석은 컴퓨터를 이용해 거의 즉각적으로 수행될 수 있다. (중략)
점점 더 많은 정보가 생산되면서 모든 것, 심지어 모든 것 가운데 중요한 조각조차 읽는 것이 불가능해지고 있다. 우리에겐 대안이 필요하다. 빅데이터는 강력하다.
흥미롭게도 위키피디아는 최근 편견을 탐지하는 방법의 일환으로 빅데이터의 장점을 취하기 시작했다. 위키피디아의 여성 적대적 편견에 대해서 오랫동안 논의가 있었는데, 이는 분명 위키피디아의 편집자 대부분이 남성이라는 점에서 비롯되었다. 이 논의는 주로 입증되지 않은 증거들에 의존했다. 이제 이 논의에 통계적 방법론과 엔그램 데이터를 도입하려는 새로운 시도가 진행되고 있다. 이 일의 목표는 문제가 있는 추세와 글을 명확하게 구분해서 그 결점에 대처할 수 있도록 하는 것이다.
미래에는 이런 방법들이 선의를 가진 자원 봉사자들로 움직이는 웹사이트에만 국한되지는 않을 것이다. 정부가 정직해지도록 이끌고, 국민과 사상을 자유롭게 하는 데에도 사용될 것이다. _ 177~178쪽

사람들은 이미 끝나버린 연도에 대한 관심을 얼마나 빨리 잃어버리는가? 이 질문에 대한 단순한 접근법은 집단기억의 반감기, 즉 어떤 연도의 빈도가 그것이 도달했던 최고치에 비해 절반으로 떨어지는 데 얼마나 오래 걸리는지를 보는 것이다. 이 값은 연도마다 다르다. 1872년의 빈도는 1896년에 절반으로 줄어들었다. 그 반면에 1973년은 겨우 10년 뒤인 1983년에 절반으로 떨어졌다.
1973년이 보여준 좀 더 빠른 감소는 일반적인 현상의 징후였다. 세월이 흐를수록 집단망각의 반감기는 점점 더 짧아졌다. 이런 관측은 과거에 대한 우리 사회의 태도가 변하고 있음을 시사한다. 우리는 점점 더 빨리 과거의 사건에 흥미를 잃고 있다.
무엇이 이런 변화를 일으켰는가? 우리는 모른다. 우리가 가진 것은 새로운 관찰도구의 디지털 렌즈를 통해 집단기억을 들여다보고 알아낸 발가벗은 상관관계들뿐이다. 그 밑에 흐르는 메커니즘을 밝혀내려면 시간이 더 걸릴 것이다. 이것은 최전선에 선 과학이다. 우리에겐 지도도 없고 추측과 막다른 골목들만 수두룩하지만, 이보다 나은 곳은 없다. _ 196~197쪽

역사 기록을 디지털화하는 문제는 인문학에서도 거대과학 스타일의 작업을 할 수 있는 전례 없는 기회를 제시한다. 우리가 과학에서 수십억 달러짜리 프로젝트를 정당화할 수 있다면, 우리 역사의 가장 중요하고 부서지기 쉬운 파편들을 우리 자신과 우리 아이들이 널리 자유롭게 사용할 수 있도록 기록하고, 보존하고, 공유하는 것을 목표로 하는 수십억 달러짜리 프로젝트의 잠재적 영향력도 고려해야 한다. 과학자, 인문학자, 기술자가 함께 팀을 이뤄 일하면 놀라운 힘을 가진

출판사 서평

데이터의 우아한 곡선, 인문학을 가로지르다

2007년의 어느 날 하버드의 두 젊은 과학자가
구글이 구축한 디지털 바벨의 도서관으로 걸어 들어갔다
그들은 클릭 한 번으로 800만 권의 책을 검색하는 ‘구글 엔그램 뷰어’를 개발했다
검색창에 단어 하나를 입력하고, 엔터!
데이터가 그리는 아름다운 곡선이 전 세계 인문학계를 발칵 뒤집어놓았다

깜짝 놀랄 만큼 뛰어나고, 사랑스러울 정도로 겸손하며, 무한한 창의력을 지닌 두 젊은 과학자가 아이디어의 세계에서 지난 수십 년간 가장 흥미진진한 발전 가운데 하나를 위풍당당하게 내놓았다. _ 스티븐 핑커(하버드대학교 교수, 『타임』 선정 ‘가장 영향력 있는 100인’)

굉장히 잘된 스토리텔링이다. 무협지 같은 서사가 있다. 이 책이 시금석이 되어 인문학과 기술이 만난다면, 좀 더 높은 수준의 협업이 가능해질 것이다. _ 송길영((주)다음소프트 부사장)

빅데이터가 일으킬 인문학 혁명
오늘날 우리의 일거수일투족은 디지털 기록으로 남는다. 교통카드와 신용카드 사용 내역, 페이스북에서 누른 ‘좋아요’, 구글 검색, 이메일과 문자 메시지, 그리고 이 모든 것을 찍고 있는 CCTV. 이 기록들만으로도 우리의 하루를 재구성할 수 있을 만큼, 현대인은 수없이 많은 디지털 지문과 발자국을 남기며 살고 있다. 뿐만 아니라 도서관이나 박물관에서 잠자고 있던 옛 문헌들, 그림과 지도, 심지어 유물과 유적까지 과거인의 삶도 속속들이 디지털 세계로 진입하고 있다. 짧은 시간에 기하급수적으로 불어나는, 형태도 제각각이고 가치나 질도 제각각인 이 엄청난 양의 디지털 기록, 즉 빅데이터가 바로 인문학이 새롭게 맞닥뜨린 기록의 현장이다. 인간을 이해하기 위해서는 이제 책을 넘어서 데이터를 읽어야 하는 시대가 온 것이다. 디지털 시대의 인문학은 곧 데이터를 읽는 눈이다.
『빅데이터 인문학: 진격의 서막』은 지금까지 인간이 축적해온 기록 유산과는 규모 면에서 비교가 불가능한 어마어마한 양의 디지털 기록, 즉 빅데이터라는 새로운 환경에서 인문학이 맞이하게 될 혁명적인 변화를 보여주는 책이다. 30대 초반의 과학자인 두 저자는 첨단 과학기술이 제공하는 도구를 사용한다면, 인문학이 인간에 관해 지금껏 알지 못했던 새로운 사실들을 밝혀낼 수 있으리라 전망한다. 빅데이터는 그동안 물리적, 기술적 한계 때문에 접근할 수 없었던 많은 영역을 열어젖히며 인문학을 확장해나갈 것이다.

구글의 기원, 세상의 모든 책을 한 곳에!
이미 많은 연구자들이 빅데이터의 가능성에 눈뜨고 상아탑에서 빠져나와 페이스북, 구글, 아마존과 공동 작업을 시작했다. 이 책의 저자 에레즈 에이든과 장바티스트 미셸은 세상의 모든 책을 디지털화하겠다고 선언한 ‘구글 북스 라이브러리 프로젝트Google Books Library Project’의 빅데이터로 새로운 실험을 벌였다. 구글은 2004년부터 지금까지 3000만 권 이상의 책을 디지털화했다. 이는 구텐베르크 이후 출간된 책 네 권 가운데 한 권 꼴이다(2010년 추산 전 세계에는 1억 3천만 권의 책이 있다).
사이버 공간에 세상의 모든 책을 모아 자유롭게 검색하고, 책과 책 사이를 넘나들 수 있게 하자는 것은 구글의 모태가 된 아이디어였다. 1996년 스탠퍼드의 두 대학원생 래리 페이지와 세르게이 브린은 ‘스탠퍼드 디지털 도서관 테크놀로지 프로젝트’를 통해 책들의 세계를 통합하는 미래의 도서관을 구상하고 있었다. 그러나 디지털화된 책이 적었던 당시로서는 실현되기 어려운 일이었고, 결국 그들은 한 텍스트에서 다른 텍스트로 이동하게 해주는 아이디어와 테크놀로지를 작은 검색 엔진으로 전환했다. 이것이 바로 오늘날의 ‘구글’이다.
세상의 모든 책이 모여 있는 거대한 도서관은 구글의 두 설립자만 꾸었던 꿈이 아니다. 고대 이집트의 알렉산드리아 도서관에서부터 보르헤스가 상상한 ‘바벨의 도서관’, 인류의 모든 문화적 생산물을 디지털화하여 공유하는 자발적 활동인 ‘구텐베르크 프로젝트’, 유럽의 48개 공공도서관을 통합 검색할 수 있는 ‘유러피언 라이브러리’, 그리고 더 넓게는 ‘위키피디아’까지 세상의 모든 책, 모든 지식을 한 곳에 모으는 것은 인류의 오랜 꿈이었다. ‘전 세계의 정보를 조직화해 누구나 접근할 수 있는 유용한 것으로 만들겠다’는 구글의 사명에도 이런 생각이 반영되어 있다. 래리 페이지는 2004년 자신의 ‘첫사랑’인 도서관으로 돌아갔고, 그 후로 10년 동안 구글은 이 ‘보편 도서관universal library’의 꿈을 디지털 세계에 실현하기 위해 부지런히 책을 스캔해왔다.
이 책의 저자들은 외부에 쉽게 공개하지 않는 구글 북스의 데이터를 최초로 다룬 인물들로, 이들의 연구는 구글이 구축한 디지털 도서관이 단지 한 기업의 이익만을 위한 것이 아니라 인류의 지적 세계가 진일보하는 데 기여할 수 있다는 것을 보여주었다.

클릭 한 번으로 800만 권의 책을 읽는다면
2010년 12월 16일, 이 책의 두 저자와 스티븐 핑커, 마틴 노왁 등의 하버드 연구진, 구글, 아메리칸 헤리티지 사전, 브리태니커 백과사전의 전문가들이 모여 작성한 「수백만 권의 디지털화된 책들을 이용한 문화의 정량적 분석Quantitative analysis of culture using millions of digitized books」이라는 논문이 『사이언스』의 표지를 장식했다. 그와 동시에 두 저자가 개발한 구글 엔그램 뷰어 웹사이트books.google.com/ngrams가 공개되었다. 이 웹사이트는 24시간 동안 300만 명 이상이 방문하며 전 세계적인 화제가 되었다. 검색창에 단어를 입력하고 클릭 한 번이면, 순식간에 800만 권의 책을 검색해 그려내는 매끄러운 곡선의 그래프. 이는 책 읽기와 인문학 연구, 나아가 세상을 읽는 방식의 변화를 암시하는 매우 의미심장한 그림이었다. 이후 이들의 작업은 그 중요성을 인정받아 과학 전문 저널 『네이처』를 비롯해 『뉴욕 타임스』, 『보스턴 글로브』 등의 주요 매체에 커버 기사로 실리기도 했다.
‘구글 엔그램 뷰어Google Ngram Viewer’는 구글이 디지털화한 책들 가운데 800만 권(『사이언스』 발표 당시엔 500만 권이었으나 2012년 800만 권으로 업데이트됨)을 추려, 그 속의 8000억 개의 단어가 1520~2012년까지 사용된 빈도의 추이를 그래프로 보여주는 프로그램이다. 이 800만 권의 책은 전 세계 모든 책의 6퍼센트에 해당하는 양으로 영어, 프랑스어, 독일어, 스페인어, 중국어, 러시아어, 이탈리아어, 히브리어 등 8개 언어를 포함하고 있다. 저자들은 구글 엔그램 뷰어를 이용해 디지털화된 대량의 텍스트를 정량적으로 분석하는 연구 방법을 ‘컬처로믹스Culturomics’라고 명명했다. 이 용어는 유전체학geonomics에서 따온 것으로 생물학에서 DNA 염기 서열의 대규모 집합이 어떤 패턴을 드러내는 것처럼, 방대한 양의 어휘 데이터도 인간의 문화를 분석하는 데 도움을 줄 수 있다는 생각을 담고 있다.
어휘의 빈도를 통해 역사와 문화를 들여다보겠다는 아이디어는 의미의 해석을 추구해온 인문학에 데이터 과학이라는 방법론을 제안하는 것이다. 클릭 한 번으로 수백만 권의 책을 읽는 기술은 한 사람이 기껏해야 수십, 수백 권의 책을 읽으며 연구하던 방식으로는 발견할 수 없던 사실들을 새롭게 찾아낼 수 있을 것이다.
TED 강연: 500만 권의 책에서 배울 수 있는 것들
www.ted.com/talks/what_we_learned_from_5_million_books

빅데이터로 보는 문화사: 1800~2000
이 책의 부록 ‘빅데이터로 보는 문화사: 1800~2000(253~277쪽)’에 실려 있는 21개 분야, 48개의 그래프는 지난 200년간의 문화사를 문장 하나 없이, 매우 압축적이지만 풍부한 함의를 지닌, 완벽하게 새로운 방식으로 보여주고 있다. 가로축과 세로축 사이를 가르는 두 개의 곡선만으로도 우리는 인간의 역사와 문화에 대해 다양한 추론과 상상을 해볼 수 있다.
19세기 말 니체는 “신은 죽었다”라고 말했다. 정말 그럴까? 구글 엔그램 뷰어를 통해 확인해보자.

(①번 그래프 참조)

19세기 초 1000단어 당 1회 정도 언급

작가정보

저자(글) 에레즈 에이든

저자 에레즈 에이든Erez Aiden은 2010년 하버드와 MIT의 의학·공학 통합 프로그램인 HSTHealth Science and Technology에서 박사학위를 받았다. 그의 학위논문은 새로운 기술의 발명과 수학, 물리학 이론을 통합한 공로를 인정받아 ‘허츠Hertz 논문상’과 ‘미국 물리학회가 주는 최우수 박사학위 논문상’을 수상했다. 2011년에는 동료들과 함께 HI-C라는 신기술로 인간 게놈의 3차원적 구조를 규명해낸 논문이 『사이언스』의 표지를 장식했고, ‘젊은 과학자에게 수여하는 미국 대통령상’을 받았다.
수학, 분자생물학, 언어학, 웨어러블 컴퓨팅, 고분자물리학 등 여러 영역을 넘나들어 ‘과학계의 르네상스인’으로 불리는 그는 2009년 『MIT 테크놀로지 리뷰』에서 “전 세계 35세 이하 혁신가 TOP 35”로 선정되었고, 2010년에는 최고의 학생 발명가에게 주는 레멜슨-MIT 학생상을 수상했다. 수년간 하버드 명예 교우회의 특별 연구원과 구글의 방문 연구원을 지낸 뒤 현재 베일러 의과대학교의 조교수로 재직 중이다.

저자(글) 장바티스트 미셸

저자 장바티스트 미셸Jean-Baptiste Michel은 2011년 『포브스』에서 선정하는 ‘30세 이하의 주목할 만한 30인’으로 뽑혔고, 2012년 전 세계 다양한 분야의 혁신가와 개척자들의 네트워크인 ‘테드 펠로우TED Fellow’로 선정되었다. 2012년 2월 TED에서 강연한 ‘역사의 수학The Mathematics of History’은 수학이 역사의 숨은 패턴을 드러내는 데 매우 유용한 도구가 될 수 있음을 보여주며 100만에 가까운 조회 수를 기록하고 있다.
2005년 프랑스 파리의 에콜 폴리테크니크를 졸업했고, 이후 하버드대학교에서 응용수학으로 석사학위를, 시스템생물학으로 박사학위를 받았다. 세계적 석학 마틴 노왁 하버드대 교수가 이끄는 ‘진화생물학의 기초적인 질문Foundational Questions in Evolutionary Biology’ 프로젝트의 참여 연구원이자 구글의 방문 연구원을 지냈다. 인간의 삶과 밀접한 관련이 있는 현상들을 수량화하는 데 관심이 있는 그는 데이터 과학을 기반으로 한 회사인 ‘Quantified Labs’를 설립해 과학자이자 기업가로 활동하고 있다.

번역 김재중

역자 김재중은 고려대학교 영어영문학과를 졸업하고, 국제정치 석사학위를 받았다. 2001년부터 경향신문 기자로 활동하고 있다. 지은 책으로 『세계 금융위기 이후』(공저), 옮긴 책으로 『당신의 계급 사다리는 안전합니까?』(공역)가 있다.