안녕, 인간

부와 권력을 지배하는인공지능의 보이지 않는 공포가 온다

해나 프라이 지음 | 김정아 옮김

와이즈베리 2019년 07월 18일 출간 종이책 : 2019년 07월 09일 출간

작품소개

책소개

지금은 알고리즘의 막강한 권력을 깨부술 차례다!

아무것도 예측할 수 없는 인공지능 독점 시대에 알고리즘의 권력은 점점 거대해져 경제, 의료, 보안, 예술 분야까지 파고들어 부와 권력을 지배하고 있다. 비즈니스, 정부, 경찰, 마케팅과 연관해 수학 모델을 이용해 연구해온 저자 해나 프라이는 인간이 지나치게 많은 것을 객관화하고 자동화하려는 욕망 때문에 오히려 개인정보 노출과 같은 문제를 얻었다고 지적한다. 저자는 인공지능으로 인해 인간성이 어떻게 변했는지 그 핵심을 파악하고 다양한 분야의 리포트를 종합해 개인정보, 편향, 오류, 책임 소재 등의 문제에 대한 경각심과 함께 보다 현명하게 기술을 활용하는 법을 제시한다.
경계가 사라진 현시대에는 그에 걸맞은 냉철한 질문을 던지는 지혜가 필요하다. 이 책은 과학 기술을 어떻게 받아들일지에 대한 통찰과 함께 우리 자신을 지키는 것을 넘어 더 나은 미래를 만들기 위한 새로운 아이디어를 선사할 것이다.

목차

들어가기에 앞서
프롤로그

1장 인간과 기계의 힘겨루기
알고리즘이란 무엇인가
알고리즘의 분류 방법
알고리즘은 얼마나 믿을 수 있나
인간 본연의 어리석음을 만나다
알고리즘의 판단을 거부해야 할 때
팽팽한 힘겨루기

2장 전지전능한 데이터
티끌 모아 태산
목표 고객을 찾아라
데이터의 서부 개척 시대
인간을 조종하라-케임브리지 애널리티카
미세한 인간 조종의 힘
‘나를 평가하세요’

3장 알고리즘이 인간을 재판한다면
행운의 벌금형
사법 방정식
집단지성의 알고리즘
판사 대 기계의 판단
다스베이더를 찾아라
알고리즘의 ‘편견’
인간의 판단을 흐리는 요인들
믹스 앤드 매치

4장 알고리즘은 내 몸을 알고 있다
데이터와 패턴
딥러닝 알고리즘의 탄생
인간과 AI의 ‘동맹’
작은 데이터의 위력
질병 예측의 힘
디지털 의료 진단
‘왓슨’의 가능성과 과제
데이터 확보의 어려움
개인정보 보호 문제
유전자와 개인정보 유출
나의 이익과 공공의 이익 사이에서

5장 자율주행 자동차는 완벽한가
자율주행의 난제들
‘베이즈 정리’를 숭배하라
누구를 살릴 것인가
환상 속의 완벽한 자율주행
에어프랑스 참사
자동화의 역설
오류를 피할 길은 없다

6장 알고리즘 경찰관
스프링클러를 닮은 알고리즘
범죄 예측 지도
지진과 범죄의 연관성
범죄 정보원 프레드폴
범죄 예측 알고리즘의 장단점
범죄자와 닮은 얼굴
얼굴 인식을 둘러싼 쟁점
도플갱어를 찾아라
얼굴 인식 알고리즘의 두 얼굴
난감한 딜레마

7장 기계도 예술가가 될 수 있을까
‘평행우주’ 실험
흥행작을 맞혀라
작곡은 식은 죽 먹기
아름답지만 깊이는 없는 작품

에필로그
주
찾아보기

책 속으로

이 책은 인간이 어떤 존재인지, 어디로 가고 있는지, 우리에게 중요한 것이 무엇인지, 그리고 이런 개념이 기술 때문에 어떻게 바뀌고 있는지를 다룬다. 이미 이 세상에 등장해서 우리 옆에서 인간의 역량을 키우고 실수를 바로잡으며 문제를 해결하지만, 그 과정에서 새로운 문제를 일으키는 알고리즘과 어떤 관계를 맺을지 살펴본다.
또한 이 책은 우리 사회가 알고리즘으로 얻는 이익이 해로움보다 큰가 하는 물음을 다룬다. 자신의 판단보다 기계를 더 신뢰해야 할 때가 언제인지, 기계에 통제권을 맡기고 싶은 유혹을 떨쳐야 할 때가 언제인지를 알아본다.
- 프롤로그 16쪽

우리는 상황을 모 아니면 도로 보는 탓에 알고리즘을 전지전능한 통치자로 보거나, 쓸모없는 쓰레기 더미로 보는 성향이 있다. 그런데 이 성향이 첨단 기술 시대를 맞아 상당한 문제를 일으킨다. 첨단기술을 최대한 활용하고 싶다면, 우리는 알고리즘을 조금 더 객관적으로 볼 길을 찾아내야 한다. 카스파로프의 실수를 교훈 삼아 인간의 결점을 인정하고, 우리가 본능적으로 보이는 반응에 의문을 던지며, 우리를 둘러싼 알고리즘에 어떤 감정을 갖는지 더욱 주의 깊게 인식해야 한다. 다른 한편으로는 알고리즘을 무턱대고 떠받들지 말고 꼼꼼히 살핌으로써 알고리즘이 내세우는 능력이 정말로 존재하는지 따져보아야 한다. 그래야만 알고리즘이 우리가 넘긴 힘을 손에 쥘 자격이 있는지 판단할 수 있다.
- 1장 ‘인간과 기계의 힘겨루기’ 48쪽

이들은 당신의 이 모든 데이터를 결합한 뒤에 자사가 구매해 확보한 여러 정보와 서로 대조해서 당신을 상세히 알려주는 파일로 만든다. 즉 당신이 디지털 세계에 남긴 그림자를 분석해서 당신의 데이터 소개서를 만든다. 이런 브로커가 만든 데이터베이스 가운데 어떤 것은 거짓말 하나 보태지 않고 정말로 당신의 ID(물론 당신이 이 ID를 알 리는 없다)를 입력해 디지털 파일을 열면, 당신이 지금껏 디지털에 남긴 흔적을 고스란히 보여준다. 이름과 생년월일부터, 종교 성향, 정치 성향, 휴가 습관, 신용카드 명세서, 순자산, 몸무게, 키, 장애, 복용하는 약, 도박 습관, 임신 중절 여부, 부모님의 이혼 여부, 중독 취약성, 사기 취약성, 강간 피해 여부, 총기 제어에 대한 의견, 겉으로 보이는 성적 취향과 실제 성적 취향까지 모두. 달리 말해 어딘가에 숨은 서버 속에 수만 가지 파일과 범주가 저장되어 있고, 그 안에 사실상 한 사람 한 사람의 수만 가지 상세 정보가 들어 있다.
- 2장 ‘전지전능한 데이터’ 61쪽

알고리즘이 인종을 대놓고 평가인자로 명시하지는 않았지만, <프로퍼블리카>는 계산 알고리즘이 모든 사람을 똑같이 다루지는 않는다는 사실을 알아냈다. 전체 결과를 볼 때 알고리즘이 오류를 일으킬 확률은 흑인이든 백인이든 크게 다르지 않았지만, 인종에 따라 오류의 종류가 달랐다.
당신이 처음 체포된 뒤 다시는 말썽을 일으키지 않은 피고 즉 루크 스카이워커라 하자. 이때 알고리즘이 당신을 고위험군으로 잘못 분류할 확률이 백인보다 흑인일 때 두 배였다. 달리 말해, 알고리즘의 긍정 오류가 흑인에 치우쳐 있었다.
- 3장 ‘알고리즘이 인간을 재판한다면’ 108쪽

앞으로 몇 년 뒤, 당신이 자율주행 자동차를 타고 도심 거리를 신나게 달리고 있다고 해보자. 교통 신호가 빨간 불로 바뀌었는데 자동차에 이상이 생겨 차를 멈출 수가 없다. 충돌을 피할 수 없는 이 상황에서 차는 선택을 해야 한다. 도로에서 벗어나 콘크리트 벽을 들이받아 탑승자를 죽음에 이르게 할 것인가? 아니면 계속 달려 탑승자는 살리되, 횡단보도를 건너는 보행자를 칠 것인가? 우리는 이때 자율주행 알고리즘이 어떻게 작동하도록 설계해야 할까? 누가 죽을지를 어떻게 결정할까?
당신도 분명 나름대로 의견이 있을 것이다. 아주 단순하게 되도록 많은 목숨이 걸린 쪽을 구해야 한다고 생각할지도 모른다. 아니면 ‘살인하지 말라’라는 성경 구절이 어떤 계산보다 우선하므로 차량 탑승자가 결과를 받아들이도록 내버려둬야 한다고 생각할지도 모른다.
- 5장 ‘자율주행 자동차는 완벽한가’ 192쪽

내가 보기에 알고리즘을 시급히 규제해야 한다는 목소리가 범죄 수사 분야보다 크고 분명한 곳은 없다. 범죄 수사 분야에서는 이런 시스템의 존재 자체가 심각한 물음을 제기하는 데다가 답을 얻기도 쉽지 않기 때문이다. 어쨌든 우리는 이런 난감한 딜레마에 직면해야 한다. 알고리즘을 기업과 분리한다면 효과가 떨어져서 범죄율이 올라갈 것을 알면서도, 이해하거나 안을 들여다볼 수 있는 알고리즘만 받아들이기를 고집해야 할까? 편향성이 내재하거나 오류를 저지를 가능성이 입증된 수학적 시스템은 모두 무시해야 할까? 그렇게 하면 인간의 판단 체계에 맡기는 것보다 높은 기준을 알고리즘에 적용하는 줄을 알면서도? 게다가 얼

출판사 서평

새로운 기술의 정면에 던지는
날카로운 질문과 생존을 위한 전략
사람들은 넷플릭스가 취향별로 추 천하는 영화를 자연스레 선택하고, 핸드폰에서 검색한 키워드는 원하든 원치 않든 웹사이트의 배너 광고로 마주하게 된다. 이런 기술의 뒷면을 보면 언제나 알고리즘이 숨어 있다. 기계 시대를 움직이는 보이지 않는 부품인 알고리즘은 오늘날 소셜 미디어부터 검색엔진, 의료, 법원, 마케팅 등의 분야에서 막대한 영향력을 미치고 있다.
런던대학교에서 도시 수학을 가르치는 해나 프라이는 ≪안녕, 인간≫에서 다양한 알고리즘과 인공지능이 사회를 어떻게 통제하는지와 인간으로서 살아남는 방법을 이야기한다. 저자는 오만하고 독재적인 알고리즘은 깨부수고, 기계를 객관적인 만능 해결사로 우러러보지 않는 미래를 만들어야 한다고 말한다. 그러기 위해 “기계의 오류와 결함은 물론, 인간의 결점과 약점까지 이해”해야 한다며, 우리가 알고리즘을 어떻게 잘못 이해하고 있는지와 어떤 관점에서 미래를 바라볼 것인지에 대해 다양한 사례를 통해 접근해간다.

‘공짜 옵션’에 장님인 사람들 덕분에,
이 시대 최고의 황금이 된 ‘개인 데이터’
이 책에서 저자는 알고리즘으로 인해 개인 데이터의 유출이 얼마나 심각한 문제인지 역설한다. 우리가 SNS에 올린 글과 ‘좋아요’를 누른 게시물, 은밀한 검색 기록뿐만 아니라 정치 성향, 복용하는 약, 임신 중절 여부까지도 무심코 ‘동의’하는 순간 모두 데이터 브로커에 팔린다. 데이터 브로커는 이 데이터를 이용해 우리의 호불호에 따라 최대한 관심사와 맞는 광고를 띄운다. 여기까지는 그럭저럭 괜찮다고 생각하는가? 그러나 이러한 데이터는 인간을 조종하는 데까지 널리 쓰인다. 대선 동안 조작된 가짜 뉴스를 퍼뜨려 유권자를 조종하고, 중국 정부는 각종 은밀하고도 사적인 데이터들을 점수로 집약한 즈마신용점수를 통해 개인의 신용도를 평가한다. 저자는 데이터가 이 시대의 새로운 황금이라면, 우리는 현재 거친 미국 서부 개척 시대를 사는 셈이라며 무료 알고리즘에 의문을 품을 것을 경고한다.

개인의 이익과 공공의 이익이 충돌할 때
어떤 선택을 할 것인가
알고리즘이 적용되는 대부분의 산업에서는 개인의 이익과 공공의 이익이 충돌하는 팽팽한 갈등 상황이 자주 발생한다. 결론 내리기 쉽지 않은 이 논쟁이야말로 알고리즘이 믿을 만한지 파악하는 데 그치지 않고 인간의 한계와 가치를 결정할 것이다.
저자는 의료 파트에서 개인정보 보호와 공익 사이의 갈등을 다룬다. 개인뿐만 아니라 인류 전체의 건강 증진을 위해서는 수많은 사람의 데이터가 필요하다. 예컨대 암을 치료하는 데 쓰이는 의료 기계를 만들 때 개인과 인류 중 누구를 위해 작동해야 할지 ‘선택’해야 하는 상황이 오게 마련이다.
“인류 전체의 이익을 위해 작동하는 기계는 누가 장기이식을 받아야 할지 결정할 때 핵심 목표에 맞추어 ‘되도록 많은 생명을 살리는’ 데 우선순위를 둘 것이다. 당연히 치료법도 오로지 환자 개개인의 이익만을 염두에 두는 기계와는 다르게 제시할 것이다. NHS나 보험사의 목적에 맞추어 작동하는 기계는 되도록 비용을 적게 들이려고 할 테고, 제약회사에 도움이 되도록 설계한 기계는 특정 약품을 다른 약품보다 많이 쓰도록 촉진하는 데 초점을 맞출 것이다.” 따라서 당신의 선택이 누군가의 이익을 가져올 것인지 경계해야 한다고 힘주어 이야기한다.
이어서 자율주행 차량을 설계할 때 충돌 시 어느 쪽의 목숨을 우선해야 하는지 선택하기 어려운 딜레마도 다룬다. 저자는 충돌을 피할 수 없는 상황에서 콘크리트 벽을 들이받아 보행자들을 살릴 것인지, 계속 달려 탑승자만은 살릴 것인지와 같은 선택을 피할 수 없는 상황을 가정하며 자율주행에 책임 소재와 윤리적 문제가 자리한다고 지적한다. 이는 “무인자동차에서 무엇이 중요한지 인식하게 하고, 나와 남의 목숨이 지닌 가치를 저울질하는 알고리즘을 우리가 어떻게 느끼는지 시험”하는 중요한 질문이기도 하다.
이처럼 서로의 목표와 동기가 충돌할 때 알고리즘의 위험은 은폐되고 이익은 부풀려진다. 신기술의 중심에는 힘과 기대치, 통제, 책임의 위임과 관련한 난제들이 자리하기 때문이다. 저자는 개인정보가 악용될 위험과 책임 문제 등을 무릅쓰고 알고리즘을 신뢰할 수 있을지 현실을 짚으며 최선의 해법을 제안한다.

기존의 가치를 뒤집는 탁월한 통찰력을 위해
이 책은 알고리즘이 나쁘다고 주장하는 것이 아니다. 다만 알고리즘으로 얻는 이익이 해로움보다 큰지 질문을 던져야 한다고 말한다. 그리하여 “자신의 판단보다 기계를 더 신뢰해야 할 때가 언제인지, 기계에 통제권을 맡기고 싶은 유혹을 떨쳐야 할 때가 언제인지를 알아본다.” 또한 우리가 얻을 이익과 해악을 구분하여 어떤 미래를 만들지 전망과 과제를 냉철하게 파헤친다.
기계와 인간의 완벽한 공생을 통한 미래의 가능성을 제시하는 이 책은 각종 위기와 쏟아지는 정보에 휘둘리지 않고 헤쳐나갈 수 있도록 중요한 이정표가 되어줄 것이다

작가정보

저자(글) 해나 프라이

수학자, 교수, 방송인, 팟캐스터, 대중 연설가.
런던대학교에서 도시 수학(the mathematics of cities)을 가르치는 프라이는 수학 모델을 이용해 행동 패턴뿐만 아니라 정부, 경찰, 의료 분석, 마케팅, 테러리즘, 교통과 관련해서도 연구한다. 2014년 테드(TED)에서 ‘우리가 사랑에 대해 착각하는 것들(The Mathematics of Love)’이라는 제목으로 강연한 영상이 수백만의 조회수를 기록하면서, 같은 제목의 책이 출판되었다.
알고리즘과 인공지능이 사회를 어떻게 통제하는지와 어떤 미래를 만들지에 대해 다룬 《안녕, 인간》은 영국왕립학회 ‘2018 올해의 과학책’ 후보에 오르기도 했으며, <뉴욕타임스>, <타임>, <와이어드>, <가디언>, <선데이타임스> 등 저명한 매체의 주목을 받았다.
BBC 및 PBS에서 다큐멘터리를 진행한 저자는 최근 BBC와 함께 과학 팟캐스트 〈러더퍼드와 프라이의 궁금한 이야기(The Curious Cases of Rutherford & Fry)〉를 활발하게 진행하고 있다.

번역 김정아

사람과 세상이 궁금한 번역 노동자. 전산을 공부했고 IT 기업에서 일했다. 현재는 글밥아카데미 수료 뒤 바른번역 소속 번역가로 활동하고 있다. 옮긴 책으로는 《왓츠 더 퓨처》, 《차이나 유스 컬처》, 《당신의 잠든 부를 깨워라》, 《부자 교육》, 《통계학을 떠받치는 일곱 기둥 이야기》 등이 있다.