대량살상 수학무기

어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가

캐시 오닐 지음 | 김정혜 옮김

흐름출판 2017년 10월 20일 출간 국내도서 : 2017년 09월 21일 출간

작품소개

책소개

민주주의를 위협하는, 아무도 알려주지 않았던 빅데이터 이야기!

『대량살상 수학무기』는 불평등을 확산하고, 민주주의를 위협하는 WMD의 특징을 상세한 사례와 분석을 통해 파헤친다. 알고리즘의 힘을 ‘신’ 같은 존재로 비유한다. 알고리즘의 의사결정 과정은 수학과 IT기술로 숨겨져 있어서 일반인들이 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자 들을 제외하고는 그 누구에게도 내부의 작동 방식을 알 수 없다. 페이스북의 사례에서 보듯이 오히려 인간은 알고리즘의 결정을 자발적인 선택이라고 믿는다.

WMD의 특징은 3가지로 요약된다. 첫째 불투명성이다. 2007년 워싱턴 DC 시장으로 취임한 에이드리언 펜티는 관내 학생들의 낮은 학업 성취도가 무능한 교사들 때문이라고 결론 내리고 새로운 교사 평가 시스템을 도입한다. 둘째, 확장성. 빅데이터 모형은 수천 장에 이르는 각기 다른 사연이 담긴 이력서나 대출 신청서 중에서 가장 유망한 후보자의 이름이 맨 위에 올라가도록 1~2초 안에 깔끔한 목록으로 정리할 수 있다. 마지막으로, 피해의 악순환이 있다. WMD 모형 덕분에, 어떤 학생은 잠재력을 인정받아 하버드대학교에 진학하고, 누군가는 저금리 대출을 받거나 좋은 직장을 구한다, 일부 운이 좋은 범죄자는 가벼운 양형을 받기도 한다. 하지만 일부 예외를 제외하면 고통받는 사람이 너무 많다.

2016 ‘내셔널 북어워드’ 선정작에 오르고 [뉴욕타임스]를 비롯한 수많은 매체에서 ‘올해의 책(2016)’으로 선정되는 등 독자들의 많은 관심을 받아온 이 책은 시민들은 역사상 처음으로 마주하는 수학적 알고리즘의 위험한 힘을 이해하고 그 힘을 제어하기 위해 행동에 나서야 한다고 강조하고 있다. 정부, 기업, 사회에 도입된 데이터 기반의 알고리즘 모형들은 인종차별, 빈부격차, 지역차별 등 인간의 편견과 차별, 오만을 코드화해 불평등을 확대하고, 민주주의를 위협하고 있음을 깨닫게 만든다.

목차

한국 독자들에게

서론 데이터과학자, 퀀트, 그리고 내부고발자

1장 대량살상수학무기의 탄생 : 빅데이터 시대, 알고리즘이 신을 대체하다
모형이란 무엇인가? | 과연, 알고리즘은 공정한가? | 재범위험성모형과 편견의 덫
대량살상무기의 3가지 조건

2장 셸 쇼크 : 금융과 수학의 결탁이 불러온 파국
어떻게 수학은 금융위기의 공범이 되었나 | 수학은 미래를 예언하지 못한다 | 수학 모형의 미몽에서 깨어나다
그러나 변한 것은 없었다

3장 군비 경쟁 : 데이터의 포로가 된 학교와 학생들
2류 시사 주간지의 대학 줄 세우기 | 대리 데이터가 현실을 대체하다
텍사스 크리스천 대학교의 명문대 프로젝트 | 미국 대학 등록금이 비싼 이유
“부정행위를 허용해야 공정하다” | 결국, 모두가 피해자

4장 선동 도구 : 알고리즘은 당신이 한 일을 알고 있다
약자들을 노리는 약탈적 광고 | “그들의 아픔을 공략하라” | 온라인 광고는 어떻게 우리를 스토킹하는가
탐욕스러운 기업이 빅데이터를 만나면…

5장 무고한 희생자들 : 가난이 범죄가 되는 미래
귀게 걸면 귀걸이, 코에 걸면 코걸이 | 불심검문이 오히려 범죄자를 양산한다? | 공정성 대 효과성
가난이 범죄가 되는 세상

6장 디지털 골상학 : 당신은 우리가 원하는 직원이 아닙니다
인성적성검사의 비밀 | 알고리즘은 개성을 싫어한다 | 세인트 조지 의과대학의 착각
효율성이라는 이름으로 자행되는 차별들

7장 일정의 노예 : 알고리즘의 노예가 된 노동자들
인간, 진정한 부속품이 되다 | 사다리 걷어차기 | 생산성을 점수화하기 위한 시도들 | 심슨의 역설
우리가 저항해야 하는 이유

8장 부수적 피해 : 모든 길은 신용점수로 이어진다
당신은 몇 점인가요? | ‘당신은’ 대 ‘당신과 같은 사람은’ | 취업도 대출도 사랑도 결정하는 신용평가점수
쓰레기를 넣으면 쓰레기가 나온다 | 오직 인간만이 공정성을 주입할 수 있다 | 빅데이터 시대의 아이러니

9장 안전지대는 없다 : 선의에 감춰진 보험의 민낯
자동차 보험료는 어떻게 결정되는가 | 더 이상 숨을 곳은 없다 | 행동적 부족의 탄생
당신의 건강을 관리합니다. 사생활을 침해해서라도… | 엉터리 수학의 임금 절도

10장 표적이 된 시민들 : 민주주의를 위협하는 빅데이터
세상에서 가장 거대한 실험실 | 마이크로 타기팅, 유권자 갈라치기 | 미국 정치권의 빅데이터 활용법
천사도 악마도 될 수 있다

결론 수학 모형의 여행을 마치며
후주

책 속으로

수학자이자 퀀트, 데이터과학자로서 나는 빅데이터와 인공지능이 가 진 파괴적인 힘을 수년간 목격했습니다. 이 책은 내 여정의 기록이자 내부 고발이며 전문가로서의 제안입니다. 수학, 데이터, IT기술의 결합으로 만들어진 알고리즘들은 지금 이 순간에도 곳곳에서 ‘보이지 않는 손’이 되어 무소불위의 권한을 휘두르고 있습니다. 특히 인간의 편견과 무지, 오만을 코드화한 프로그램들은 차별을 정당화하고, 민주주의를 위협합니다. 저는 이런 프로그램들이 ‘대량살상무기Weapons of Mass Destruction’만큼 위험하다고 생각합니다. 그래서 이것들에게 ‘대량살상수학무기Weapons of Math Destruction’, 줄여서 WMD란 이름을 붙였습니다. 대량살상수학무기는 이 책의 제목이기도 합니다.
- 한국 독자들에게

LSI-R 같은 재범위험성모형은 치명적인 피드백 루프를 확대재생산한다. ‘고위험군’으로 분류된 사람은 일정한 직업이 없을 뿐만 아니라 법적으로 문제가 있는 가족과 친구가 많은 환경에 서 성장했을 가능성이 높다. 게다가 이들은 재범 위험성 평가에서 받은 높은 점수가 더해져, 더욱 무거운 형을 선고받고 범죄자들에게 둘러싸인 감옥에서 사회와 격리된 채 수년을 보내게 된다. 그리고 오랜 수감 생활은 그가 다시 감옥으로 돌아갈 가능성을, 즉 재범 위험성을 확실히 증가시킨다.
이들은 마침내 형기를 마치고 출소하더라도 예전에 살던 가난한 동네로 돌아가야 하는데, 이번에는 전과자라는 별까지 단 상태라 일자리를 구하기가 훨씬 어렵다. 이런 상황에 몰려 그가 또 다시 범죄를 저지른다면 재범위험성모형은 의문의 1승을 추가하는 셈이다. 그런데 실상은 더욱 잔인하다. 재범위험성모형 자체가 그런 악순환이 발생하는 하나의 원인이며, 그런 악순환이 지속되는 데 일조한다. 이것이 바로 WMD의 대표적인 특징이다.
- 1장 중에서

미국 직장인들 사이에 최근 유행하는 신조어가 있다. ‘클로프닝 clopening’이 바로 그것이다. 이 단어는 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장 문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 것을 가리키는 신조어 다. 한 명의 종업원이 매장 문을 닫고 여는 클로프닝은 기업의 입장 에서 볼 때 물류적으로 타당한 업무 방식이다. 그러나 노동자 의 입장에서는 수면 부족과 빡빡한 일정에 쫓기는 것을 의미한다.
미국에서는 종잡을 수 없는 불규칙한 근무 일정이 갈수록 보편화되고 있다. 이 같은 업무 방식의 최대 피해자는 스타벅스, 맥도날드, 월마트 같은 기업들에서 일하는 저임금 노동자들이다. 근무 일정 조 정에 관한 통보가 적절히 이뤄지지 않기 때문에 이들의 피해는 더욱 커지고 있다. 많은 종업원이 수요일에 야간근무를 하거나 금요일 혼잡한 시간대에 근무해야 한다는 사실을 겨우 하루이틀 전에 통보받는다. 이런 일은 노동자들의 삶을 뒤죽박죽 뒤엉키게 만든다. 특히 자녀가 있는 직원의 경우, 양육 문제 때문에 재앙과 같은 혼란에 빠질 수 있다. 이런 상황에선 당연히 식사도 수면도 아무렇게나 닥치는 대로 해결할 수밖에 없다. 노동자의 불규칙한 근무 일정은 빅데이터 경제의 새로운 부산물이다.
- 7장 중에서

채용 과정의 맨 꼭대기에 있는 사람들은 컴퓨터를 결정을 내리는데 도움을 주는 유용한 도구 정도로 생각한다. 그러나 채용 과 정의 중간 지대부터는 많은 의사 결정이 자동화 시스템에 의해 처리 된다. 어쩌다 잘못된 데이터가 끼어들면(이런 일은 심심치 않게 발생한다) 아무리 잘 설계된 알고리즘이라도 잘못된 결정을 내리게 된다. 데이터 사냥꾼들 사이에서 오래전부터 전해오는 격언이 있다. “쓰레기를 넣으면 쓰레기가 나온다garbage in, garbage out, GIGO.”
자동화 과정에서 빚어진 실수는 피해자들에게 오랫동안 고통을 안겨준다. 예를 들어, 컴퓨터가 만들어낸 비행기 탑승 금지 테러리스트 명단은 오류투성이인 것으로 악명이 높다. 테러 근처에도 가본 적 없는 무고한 시민이 테러리스트 용의자와 이름이 비슷하다는 이유만으로 비행기를 이용할 때마다 번번이

출판사 서평

“굉장히 흥미롭고 대단히 심란케 하는 책”
《사피엔스》 저자 유발 하라리 강력 추천

아마존닷컴 52주 연속 분야 1위, 2016 내셔널 북어워드 선정작
[뉴욕타임스] [네이처] [보스턴글로브] [포춘] [커커스리뷰] 등
12개 주요 매체 ‘올해의 책’ 선정(2016)

수학과 데이터, IT기술의 결합으로 탄생한 빅데이터 모형은 편견에 사로잡힌 인간보다 공정하며, 개인의 권리와 이익을 보호한다고 알려져 있다. 그러나 현실은 정반대다. 정부, 기업, 사회에 도입된 데이터 기반의 알고리즘 모형들은 인종차별, 빈부격차, 지역차별 등 인간의 편견과 차별, 오만을 코드화해 불평등을 확대하고, 민주주의를 위협하고 있다.
하버드 출신의 수학자이자 세계 최고의 헤지펀드 퀀트, 실리콘밸리의 데이터과학자였던 캐시 오닐은 수학과 빅데이터의 결합으로 탄생한 ‘대량살상수학무기’가 어떻게 교육, 노동, 광고, 보험, 정치에 이르기까지 우리의 삶을 파괴하는지 날카롭게 파헤친다.

대량살상수학무기(Weapons of Math Destruction)란?
수학과 데이터, IT기술의 결합으로 탄생해 교육, 노동에서 광고, 보험, 정치에 이르기까지 우리 삶의 다양한 영역에 걸쳐 불평등을 조장하고 민주주의를 위협하는 알고리즘 모형.

“실리콘밸리에서는 절대 들려주지 않는 빅데이터 이야기”
‘보이지 않는 손’ 알고리즘의 역습이 시작됐다

《사피엔스》의 저자 유발 하라리는 “21세기 인본주의 시대에는 인간의 감정이 최고의 권위를 누렸지만, 미래에는 알고리즘이 우리 삶을 지배할 것”이라고 예측했다. 유발 하라리의 분석처럼 우리는 힘을 가지기 위해 우리 존재를 숫자와 점으로 바꾸고 평가를 알고리즘에 맡기고 있다. 우리는 이런 흐름을 ‘빅데이터’라고 부른다. 빅데이터는 방대한 양의 데이터를 논리적이고 합리적인 알고리즘으로 계산해 인간이 인지하지 못하는 질서와 규칙을 찾아낸다. 따라서 빅데이터 모형은 편견에 사로잡힌 인간보다 공정하며, 개인의 권리와 이익을 보호한다고 알려져 있다.
그런데 2016년 미국에서 출간돼 지금까지 뜨거운 논란을 일으키고 있는《대량살상수학무기》는 누가 어떤 목적으로 사용하는가에 따라 알고리즘은 전혀 다른 얼굴을 가질 수 있다고 말한다.
미국의 상하원 선거가 치러지던 2010년, 페이스북의 연구진들은 한 가지 질문을 던진다.(본문 300쪽 참조)
“페이스북 알고리즘을 조정해 정치 시스템에 영향을 줄 수 있을까?”
페이스북은 이 질문에 답을 찾기 위해 ‘투표 메가폰’이라는 캠페인을 시작했다. 연구진들은 상하원 선거 당일 투표에 참여한 페이스북 이용자가 ‘나는 투표했다’는 게시물을 올리면, 친구들의 뉴스피드에 해당 게시물이 우선적으로 노출되도록 알고리즘을 조정했다. 투표일에만 6100만 명의 페이스북 사용자가 ‘나는 투표했다’는 게시물을 올렸고 이에 자극을 받은 다른 이용자들도 경쟁적으로 페이스북에 투표 인증을 했다. 페이스북은 ‘투표 메가폰’이 약 34만 명의 유권자를 투표소로 더 불러낸 것으로 추정했다. 이는 미국 한 주의 전체 선거 결과뿐 아니라 전국적인 선거 결과에도 영향을 미칠 수 있는 숫자로, 투표 당일 페이스북의 알고리즘을 어떻게 조정하느냐에 따라 선거결과를 바꿀 수도 있음을 뜻한다.
《대량살상수학무기》는 알고리즘의 힘을 ‘신’ 같은 존재로 비유한다. 알고리즘의 의사결정 과정은 수학과 IT기술로 숨겨져 있어서 일반인들이 이해하기 힘들다. 각 영역의 최고 사제들, 즉 수학자와 컴퓨터 과학자 들을 제외하고는 그 누구에게도 내부의 작동 방식을 알 수 없다. 페이스북의 사례에서 보듯이 오히려 인간은 알고리즘의 결정을 자발적인 선택이라고 믿는다.

“굉장히 흥미롭고 대단히 심란케 하는 책” - 유발 하라리
수학자, 퀀트, 그리고 데이터과학자가 고발하는 대량살상수학무기의 진실

《대량살상수학무기》는 수학 이론, 빅데이터, IT기술이 결합해 만들어낸 빅데이터 모형이 정치는 물론 교육, 노동, 서비스, 행정, 보험 등 우리가 상상할 수 있는 모든 분야에서 막대한 영향력을 행사하고 있다고 말한다. 이 책의 저자 캐시 오닐은 빅데이터 모형 중에서도 인종차별, 빈부격차, 지역감정 등 인간이 가진 편견과 차별 의식을 그대로 코드화한 알고리즘을 사용하는 모형은 ‘대량살상무기(Weapons of Mass Destruction)’만큼 위험하다고 보고 이것들에 ‘대량살상수학무기(Weapons of Math Destruction)’, 줄여서 WMD란 이름을 붙인다.
캐시 오닐의 독특한 경력 때문에 책이 출간될 당시 미국에서는 “빅데이터 업계의 내부고발자의 책([타임] 서평)”이란 평가를 받았다. 저자는 하버드대학과 매사추세츠공대(MIT)에서 수학박사와 박사후과정을 이수한 후 젊은 나이에 수학 연구로 유명한 버나드 칼리지 종신교수가 된다. 그러나 2007년 수학을 현실 세계에 활용한다는 매력에 이끌려 교수직을 버리고 세계적인 헤지펀드 업체 디이 쇼(D.E Shaw)에서 선물거래팀을 이끈다. 저자는 그곳에서 2000년대 후반 글로벌 금융시장의 호황과 추락을 온몸으로 겪게 되는데, 특히 부동산거품을 불러온 서브프라임모기지, 신용부도스와프(CDS), 합성부채담보부증권(CDO) 등 수학과 금융 기술, 인간의 욕망이 결탁해 탄생한 금융 상품들이 어떻게 대다수 선량한 시민들의 삶을 파괴하는지 뼈저리게 깨닫게 된다.
이후 그녀는 IT업계로 자리를 옮겨 데이터과학자가 되는데 WMD가 ‘빅데이터’와 ‘인공지능’이란 이름으로 금융업계를 넘어 사회의 곳곳으로 도입되는 것을 목격하게 된다. 예를 들어, 상점이나 카페의 종업원이 밤늦게까지 일하다가 매장문을 닫고 퇴근한 다음, 불과 몇 시간 후 새벽 동도 트기 전에 다시 출근해서 매장 문을 여는 노동방식을 뜻하는 클로프닝(clopening)은 대표적인 WMD다. 기업들은 고객들의 이동정보, 날씨, 주요사건, 구매정보 등 다양한 데이터를 분석해 유연하게 노동자의 근무시간을 짜고 있다. 이는 기업 입장에서는 물류(logistics)적으로 올바른 선택이지만, 불규칙한 근무 일정에 내몰린 노동자들은 일하는 것 외에는 어떤 것도 계획을 세울 수 없게 되었다. 클로프닝은 주로 저임금 단순업무에 이용되는데 이 때문에 저소득층일수록 불규칙한 생활환경에 내몰리고 더 나은 일자리를 위한 교육과 훈련을 받을 수 없어 빈곤의 악순환을 가져오고 있다.

“알고리즘은 미래를 예언하지 못한다. 대신 미래를 만들어 낸다”
대량살상수학무기는 어떻게 불평등을 확산하고 민주주의를 위협하는가

《대량살상수학무기》는 불평등을 확산하고, 민주주의를 위협하는 WMD의 특징을 상세한 사례와 분석을 통해 파헤친다. WMD의 특징은 3가지로 요약된다.
첫째 불투명성이다. 2007년 워싱턴 DC 시장으로 취임한 에이드리언 펜티는 관내 학생들의 낮은 학업 성취도가 무능한 교사들 때문이라고 결론 내리고 새로운 교사 평가 시스템을 도입한다. ‘임팩트’라는 이 교사 평가 시스템은 ‘매스매티카’란 업체가 계발한 알고리즘 기반 모형이다.
임팩트는 전학, 가정불화, 왕따 등 학업 성취도에 영향을 주는 여러 변수는 모두 제외하고 순전히 학생들의 시험 점수만을 가지고 교사들을 평가했다. 하지만 정책 당국은 상세한 평가 기준 등은 공개하지 않았다. 누군가 알고리즘을 들여다본다 하더라도 코드화된 알고리즘에 숨겨진 평가기준은 개발자를 제외하고는 그 누구도 이해하기 힘들었다.

워싱턴 교육청의 임팩트를 포함해 이 책에서 소개할 WMD 중 상당수가 적절한 피드백을 받지 못하고 있다. 오히려 이들 모형은 스스로 현실을 정의하고, 그 결과를 정당화하기 위해 왜곡된 현실을 이용한다. (중략) 매스매티카의 평가 시스템이 와이사키와 205명의 교사들에게 실패자라는 꼬리표를 붙이자 워싱턴 교육 당국은 그들을 모두 해고했다. 그런데 이 평가 시스템에는 이 같은 결정이 옳은지에 대해 사후에 학습하는 과정이 있을까? 없다. 시스템이 교사들을 실패자라고 확신하면, 평가는 그것으로 끝이다.
(서론 중에서)

임팩트가 도입된 2년 동안 206명의 교사가 어떤 설명도 없이 평가 점수가 낮다는 이유로 교단에서 퇴출당했다. 그중에는 사라 와이사키처럼 동료 교사와 학부모들에게 절대적인 지지를 받는 헌신적

작가정보

저자(글) 캐시 오닐

저자 캐시 오닐(Cathy O’Neil)은 UC버클리를 졸업하고 1999년 하버드대학교에서 대수적 정수론으로 수학박사 학위를 받았다. 매사추세츠공과대학교(MIT)에서 박사후과정을 거친 후 컬럼비아대학교와 공동학위를 수여하는 버나드 칼리지 수학과 종신교수로 재직했다. 2007년 수학을 현실 세계에 활용한다는 아이디어에 매료되어 교수직을 버리고, 헤지펀드 디이 쇼(D.E. Shaw)의 퀀트(quant)가 된다. 디이 쇼의 선물거래팀을 이끌며 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪는다. 수학과 금융의 결탁이 불러온 파괴적 힘에 환멸을 느끼고 월스트리트를 떠났다. 이후 IT업계에서 데이터과학자로서 금융상품의 위험도, 소비자 구매 패턴 등을 예측하는 수학 모형을 개발했다.
수학자이자 퀀트, 데이터과학자로 일하면서 그녀는 장밋빛으로 포장된 빅데이터 경제가 불평등을 확산하고 민주주의를 위협한다는 사실을 깨닫게 된다. 현재는 월가점거운동(Occupy Wall Street)의 하위조직인 대안금융그룹을 이끌고 있다. 또한 알고리즘을 감사하고 위험성을 측정하는 기업 ORCAA를 설립해 빅데이터의 그림자를 세상에 알리는 데 힘쓰고 있다.

번역 김정혜

역자 김정혜는 한양대학교 화학과를 졸업하고 미국 필라델피아 커뮤니티칼리지 에서 SLP 과정을 수료했으며 버지니아의 컬럼비아 칼리지에서 유 아교육을 공부했다. 현재 바른번역 소속 번역가로 활동 중이다. 옮 긴 책으로는 《디자인 유어 라이프》 《우리는 왜 위험한 것에 끌리는 가》 《하버드 인텔리전스》 《설득의 힘》 등 여러 권이 있다.