딥러닝 레볼루션

테런스 J. 세즈노스키 지음 | 안진환 옮김

한국경제신문 2019년 10월 29일 출간 종이책 : 2019년 10월 28일 출간

작품소개

책소개

인공지능, 초연결, 초지능, 자율주행까지
모든 혁신은 딥러닝에서 시작되었다

4차 산업혁명, AI 시대의 미래를 예측하려면
딥러닝에 주목하라

‘스마트폰 혁명’ 이후의 새로운 패러다임은 무엇일까. 누구도 경험하지 못한 미래가 다가오고 있다. ‘딥러닝 혁명’이 바로 그것이다. 딥러닝 혁명에서 시작된 변혁은 산업, 교육, 경제, 문화, 전 영역에 걸쳐 가시화되고 있다. 새로운 패러다임 등장은 필연적으로 승자와 패자를 낳는다. 발 빠르게 적응하는 이와 그렇지 못한 이가 나뉘는 것이다. 얼마 전 소프트뱅크 손정의 회장이 문재인 대통령을 만나 자리에서 “첫째도 AI, 둘째도 AI, 셋째도 AI”라고 힘주어 말했다. 인공지능에 기업과 국가의 경쟁력이 달려 있으며, 인공 지능 개발에 모든 역량을 집중해야 한다는 것이었다. 실제로 4차 산업혁명 열풍과 알파고 충격 이후, 인공지능은 제조업, 통신, 자동차, 서비스업 등 산업뿐만 아니라 교육, 의료, 법조, 행정 등 우리 생활 모든 영역에 깊숙이 들어왔다. 빅데이터와 인공지능이 결합된 서비스가 나의 욕구를 나보다 먼저 정확하게 알고 상품을 추천을 해주는 일은 이제 너무 당연해서 특별하게 느껴지지 않을 정도다.

이제는 앞을 내다보는 질문이 필요한 시점이다. 이와 같은 변화가 어디서 시작되었고, 앞으로 어떻게 될 것이며, 나아가 우리는 무엇을 준비해야 하는지 말이다. 《딥러닝 레볼루션》의 저자 테런스 J, 세즈노스키는 인공지능 발전에 결정적 역할을 한 것이 딥러닝이라고 말한다. 딥러닝 없이는 지금과 같은 변화가 없었을 것이며, AI 시대의 미래를 예측하기 위해서는 딥러닝을 알아야 한다는 것이다. 모두의 각광을 받고 있는 빅데이터, 초연결, 자율주행 역시 딥러닝 없이는 불가능했을 성과다. “아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다”는 말이 이를 압축적으로 보여준다.

이 책에서 신경과학과 머신러닝 분야의 대가인 세즈노스키는 통찰력 있게 인공지능의 과거와 현재를 돌아보고 미래를 조망한다. 딥러닝은 지금까지 이뤄낸 변화보다 앞으로 훨씬 큰 변화를 가져올 것이다. 하지만 여기에는 ‘궁극적으로’라는 단서가 붙는다. 그 시기가 앞당겨질지 아닐지, 발전의 결과물을 유리하게 이용할지 못할지는 전적으로 우리가 어떻게 하느냐에 달려 있다.

목차

추천사 006
감수자의 글 010
서문

1부 지능의 재해석
1장 머신러닝의 부상 024
2장 인공지능의 재탄생 061
3장 뉴럴 네트워크의 여명 076
4장 두뇌 방식의 컴퓨팅 093
5장 시각 시스템에서 얻은 통찰 112
· 연대표 133

2부 기술적 영향과 과학적 영향
6장 머신러닝의 미래
7장 알고리즘의 시대
8장 헬로, 미스터 칩스
9장 내부 정보
10장 인식
11장 자연은 인간보다 영리하다
12장 심층 지능
· 연대표

3부 다양한 학습 방법
13장 칵테일파티 문제
14장 홉필드 망과 볼츠만 머신
15장 오류의 역전파
16장 컨볼루션 러닝
17장 보상학습
18장 NIPS
· 연대표

헌사
용어 설명
주

책 속으로

IBM의 토머스 J. 왓슨(Thomas J. Watson) 사장은 1943년에 이렇게 말한 것으로 유명하다. “아마도 전 세계적으로 컴퓨터에 대한 시장 수요는 다섯 대 정도가 될 겁니다.” 상상하기 어려운 것은 새로운 발명품이 어떤 용도에 쓰일 것이냐 하는 부분이다. 사실 이 부분에 대한 예측은 발명자 본인도 다른 사람들보다 그다지 나을 게 없다. 현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 각양각색으로 펼쳐놓고 있지만, 가장 상상력이 풍부한 공상과학 소설가조차도 그것들의 궁극적인 영향은 짐작할 수 없다고 봐야 옳다.
_ 서문

딥러닝은 수학과 컴퓨터공학, 신경과학에 뿌리를 두고 있는 머신러닝의 한 분야다. 딥러닝 네트워크는 아기들이 자신을 둘러싼 세상을 배워나가는 것과 같은 방식으로 데이터를 통해 학습한다. 생생한 눈으로 시작해 점차 새로운 환경을 탐색하는 데 필요한 기술을 습득해나가는 아기들처럼 말이다. 딥러닝의 기원은 인공지능을 창출하는 방법에 관한 두 가지 다른 시각이 경합을 벌이던 1950년대의 인공지능 태동 시점까지 거슬러 올라간다. 하나는 로직과 컴퓨터 프로그램에 기초한 시각으로 수십 년 동안 인공지능 세계를 지배했으며, 다른 하나는 데이터로부터 직접 학습하는 방식에 기초한 시각으로 성숙 단계에 이르기까지 그보다 더 오랜 시간이 걸렸다.
오늘날의 기준으로 볼 때 컴퓨터가 보잘것없고 데이터 저장에 많은 비용이 들던 20세기에는 로직이 문제를 해결하는 효율적인 방법이었다. 숙련된 프로그래머들이 각각의 문제에 대해 서로 다른 프로그램을 작성했고, 문제가 클수록 프로그램도 커졌다. 하지만 컴퓨터의 역량이 커지고 빅데이터가 풍부해진 오늘날에는 학습 알고리즘을 사용해 문제를 해결하는 것이 더 빠르고 보다 정확하며 훨씬 효율적이다. 또한 동일한 학습 알고리즘이 서로 다른 문제를 해결하는 데 이용될 수 있다. 각각의 문제에 서로 다른 프로그램을 작성하는 것보다 훨씬 덜 노동 집약적인 솔루션이 나온다는 뜻이다.
_ 1장: 머신러닝의 부상

자율주행 자동차는 곧 수백만에 달하는 트럭 및 택시 운전사들의 생계를 파괴할 전망이다. 결국 도시에서는 승용차를 소유할 필요가 없어질 것이다. 언제든 자율주행 자동차가 1분 안에 나타나 목적지에 안전하게 모셔다줄 테니까 말이다. 직접 주차할 필요도 없으니 금상첨화가 아닐 수 없다. 현재 일반적인 승용차의 주행 시간은 4퍼센트에 불과하다. 이는 곧 차의 생애 중 96퍼센트의 시간 동안에는 어딘가에 주차해둬야 한다는 의미다. 자율주행 자동차가 상용화되고 도시 밖에 주차되는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 보다 생산적인 목적으로 재활용될 것이다. 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다.
자동차와 관련된 여러 다양한 비즈니스들도 영향을 받을 것이다. 보험사와 정비소가 대표적이다. 속도위반이나 불법주차도 없어질 것이다. 음주운전이나 졸음운전으로 인한 사망 사고도 크게 줄어들 것이다. 출퇴근길에 운전하며 소비하는 시간도 다른 목적에 쓰일 것이다. 미 인구조사국에 따르면 2014년 1억 3,900만 명의 미국인이 근무일 출퇴근길에 쓰는 시간은 평균 52분이었다. 이는 연간 총 296억 시간에 해당하며 보다 나은 용도에 쓸 수 있었던 340만 년이라는, 인간 삶의 귀한 시간이다. 헤매는 일 없는 질서정연한 운행으로 고속도로의 수용 능력이 4배 정도 증가할 것이다.5 그리고 운전대 없이 목적지를 찾아갈 수 있는 자율주행 차량이 일단 개발되어 널리 이용되면 차량 절도가 종식될 것이다. 자율주행 자동차가 상용화되기까지 물론 많은 규제와 법적 제약이 따르겠지만, 일단 그런 세상이 도래하면 우리는 완전히 신세계에서 살게 될 것이다. 트럭이 아마 지금부터 10년 정도 후에 가장 먼저 운전자 없는 차량으로 도로를 누빌 것이다. 택시는 15년 정도 후에 그렇게 될 것이고, 일반 승용차는 15년 후부터 20년 후 사이에 자율주행 차량으로 전환될 것이다.
_ 1장: 머신러닝의 부상

금융 서비스는 이른바 ‘핀테크(fintech)’라는 금융 기술의 기치 아래 보다 광범위한 변혁을 겪고 있다. 금융 거래에서 금융 중개자를 대체하는 안전한 인터넷 원장인 블록체인과 같은 정보기술은 아직까지는 소규모로 테스트되고 있지만 조만간 수십 억 달러 규모의 금융 시장을 파괴할 수도 있다. 머신러닝은 현재 대출 관련 신용 평가를 개선하고 비즈니스 및 재무 정보를 정확하게 전달하고 소셜 미디어에서 신호를 수집해 시장 동향을 예측하고 금융 거래에 생체 인식 보안을 제공하는 데 사용되고 있다. 세상에는 금융 데이터가 널려 있고, 가장 많은 데이터를 보유하면 누구든 승자가 된다.
_ 1장: 머신러닝의 부상

일자리의 전환은 새로운 현상이 아니다. 19세기에도 농장 근로자들은 기계에 의해 대체되었고 기계로 인해 도시의 공장들에 새로운 일자리가 창출되었으며 이 모든 상황으로 인해 새로운 기술을 훈련시키는 교육 시스템이 등장했다. 그 당시와 현재의 차이점은, 오늘날 인공지능이 열어놓는 새로운 일자리는 전통적인 인지 기술과 더불어 새롭고 다르며 끊임없이 변화하는 기술을 요구한다는 사실이다. 그 때문에 우리는 경력 전반에 걸쳐 학습해야 할 필요가 생겼다. 그리고 그것이 가능하려면 학교가 아닌 가정을 기반으로 하는 새로운 교육 시스템이 필요하다.
_ 1장: 머신러닝의 부상
이 책에는 인간의 지능이 진화한 과정과 인공지능이 진화하고 있는 방식이라는 두 가지 주제가 얽혀 있다. 이 두 종류의 지능 사이의 가장 큰 차이점은 인간의 지능은 진화하는 데 수백만 년이 걸렸지만 인공지능은 수십 년 범위 안에서 측정 가능한 궤도를 따라 진화하고 있다는 사실이다. 비록 인공지능이 문화 진화와 관련해서조차 가공할 초고속으로 달리고 있지만, 안전벨트를 매고 몸을 도사리는 것은 올바른 반응이 아닐 수도 있다.
_ 2장: 인공지능의 재탄생

인간 지능의 기능을 가진 컴퓨터 프로그램을 작성하려고 애썼던 인공지능 개척자들은 인간의 뇌가 실제로 어떻게 지능적인 행동 방식을 성취했는지에 대해서 관심을 갖지 않았다. 내가 뉴얼에게 그 이유를 물었을 때, 그는 개인적으로 뇌 연구에서 나온 식견을 얻고 싶어 개방적인 자세를 취했지만 당시는 그저 뇌에 관한 내용이 충분히 파악되지 않았던 시절이라 쓸 만한 정보가 별로 없었다고 답했다.
_ 2장: 인공지능의 재탄생

인공지능의 모든 난제를 풀 수 있다는 유일한 실존 증거는 자연이 이미 진화를 통해 그것들을 해결했다는 사실뿐이다. 그러나 만약 인공지능 연구원들이 애초부터 상징 처리(symbol processing)와는 근본적으로 다른 접근 방식을 취했더라면 1950년대에도 컴퓨터가 실제로 지능적인 행동 방식을 취할 수 있는 실마리가 잡혔을 것이다. 첫 번째 단서는 우리의 뇌가 강력한 패턴 인식 기능을 갖췄다는 사실이었다. 인간의 시각 시스템은 여러 가지가 뒤섞인 어수선한 장면에서도 특정 객체를 영점 몇 초 사이에 인식할 수 있다. 해당 객체를 전에 본 적이 없는 경우에도 그렇고, 일정한 크기만 갖췄다면 그것이 어떤 위치에 어떤 방향으로 놓여도 그렇다. 간단히 말해서 우리의 시각 시스템은 ‘객체 인식’을 단일 명령으로 처리하는 컴퓨터처럼 움직인다.
두 번째 단서는 우리의 뇌가 연습을 통해 피아노 연주에서 물리학 학습 등에 이르는 많은 어려운 작업의 수행법을 배울 수 있다는 사실이었다. 자연은 범용 목적의 학습을 이용해 특수한 문제를 해결하며 인간은 그런 학습의 달인이다. 이는 실로 우리의 특별한 힘이다. 딥러닝 네트워크는 우리의 모든 감각 및 운동 시스템에서 발견된다. 세 번째 단서는 우리의 뇌가 로직(논리)이나 규칙으로 가득 차 있지 않다는 사실이었다. 물론 우리는 논리적으로 생각하거나 규칙을 따르는 법을 배울 수 있지만, 많은 훈련을 한 후에도 잘하지 못하는 경우가 허다하다. 이를 잘 보여주는 예가 ‘웨이슨 선택 과제(Wason selection task)’라는 논리 테스트에 나타나는 전형적인 수행력이다.
_ 3장: 뉴럴 네트워크의 여명

추론은 영역에 의존하는 것으로 보인다. 우리가 해당 영역에 익숙할수록 관련 문제의 해결이 용이해진다는 뜻이다. 영역 내의 문제 해결에서는 경험이 크게 도움이 된다. 과거에 접한 사례를 이용해 해결책을 직관적으로 떠올릴 수 있기 때문이다. 예를 들어 물리학을 공부할 때 우리는 공식을 암기하는 것이 아니라 많은 문제를 풀어봄으로써 전기나 자기 같은 영역을 학습한다. 만약 인간의 지능이 순수하게 로직에 기반한다면 영역에 종속되지 않아야 마땅하다. 하지만 그렇지 않지 않은가.
_ 3장: 뉴럴 네트워크의 여명

남성 및 여성의 얼굴 식별이 흥미로운 작업인 이유는 우리 인간이 그 일을 꽤나 잘해내지만 남성 및 여성 얼굴의 어떤 점이 어떻게 다른지를 정확하게 설명할 수는 없다는 데 있다. 어떤 단일 특징도 결정적이지 않기 때문에 이 패턴 인식 문제는 많은 수의 낮은 수준 특징으로부터 증거를 수집해 결합하는 일에 달려 있다.
_ 3장: 뉴럴 네트워크의 여명

출판사 서평

제조업, 통신, 자동차, 서비스, 교육, 의료, 법조, 행정까지
게임의 규칙을 바꾸고 있는 인공지능

인공지능은 어디까지 왔고, 어디로 향할 것인가
인공지능은 과연 인간의 지능을 따라잡을 수 있을 것인가

자율주행 자동차, 인공지능과 머신러닝을 통한 의료 진단, 딥러닝 시스템을 통한 법률 상담, 자동 거래를 통한 막대한 이익 등은 딥러닝 혁명이 만들어낸 변화들이다. 자율주행과 의료 영역을 중심으로 그 발전 양상을 좀 더 자세히 살펴보자.
자율주행차가 불러올 변화는 운전으로부터의 해방과 도로 주행이 보다 안전해지는 수준을 훨씬 넘어선다. 우선 언제 어디서든 자율주행차를 쓸 수 있게 되면 자연스럽게 소유 개념이 달라질 것이다. 부르자마자 1분 만에 인공지능이 안전하게 운전하는 자동차가 온다면 굳이 차를 소유할 필요가 없기 때문이다. 자율주행 자동차가 상용화되고 도시 밖에 주차를 하는 시대가 오면 현재 도시에서 주차장으로 쓰이는 방대한 면적이 생산적인 목적으로 재활용될 것이다. 실제로 도시 계획가들은 이미 주차장을 공원화하는 방안 등을 그려보고 있다. 이는 도시의 형태를 완전히 뒤바꿀 것이다. 자동차와 관련된 여러 산업군이 영향을 받는 것은 물론이다. 보험사와 정비소가 대표적이다.
의료계는 어떨까. 머신러닝이 발전하고 빅데이터를 이용할 수 있는 여러 문제에 적용됨으로써 변혁을 겪게 될 전망이다. 의료 진단이 대표적인 예다. 환자 수백만 명의 기록을 활용할 수 있게 되면서 더욱 정확해질 것이다. 암 진단에서 딥러닝의 예측과 전문의의 판단이 결합된 경우 0.995라는 거의 완벽한 정확도가 나왔다. 인간과 인공지능이 힘을 합쳤을 때 더 나은 수행력이 나온 이유는 전문의와 딥러닝 네트워크가 동일한 자료를 서로 다른 방식으로 보기 때문이다. 이는 곧 인간과 기계가 경쟁하기보다는 공조하는 미래가 열릴 것이며 보다 많은 생명을 살릴 수 있게 될 것이라는 의미다.
이와 같은 놀라운 변화는 수많은 데이터를 해석하고 응용하게 됨으로써 가능해졌다. 그리고 여기서 핵심적인 역할을 하는 것이 머신러닝과 딥러닝이다. 세즈노스키 교수는 이렇게 말한다. “데이터를 가공해 정보로 만들어내는 정제소 역할을 하는 것이 머신러닝(딥러닝)이다. 아무리 많은 데이터를 만들어내도 머신러닝(딥러닝)이 발전하지 않으면 아무 소용이 없다.” 머신러닝과 딥러닝 없이는 수많은 데이터도 의미가 없다는 뜻이다.
한편 인공지능 개발 초기, 많은 연구자들은 로직을 통해서 인공지능을 구현할 수 있다고 생각했다. 그리고 이들이 주류 학파의 위치를 점하고 있었다. 세즈노스키는 이에 대해 도전장을 내밀었다. 인공지능을 현실화시키기 위해서는 인간이 학습하고 응용하는 방식을 이해해야 하는데, 인간은 로직을 통해서 학습하지 않는다는 것이었다. 이는 인공지능을 신경과학과 떼놓고 말할 수 없는 이유이기도 하다.
세즈노스키를 비롯한 몇몇 과학자들이 개발한 AI의 새로운 버전은 로직 대신 데이터를 기반으로 하는 방식이었다. 딥러닝은 아기가 세상을 경험하는 것과 동일한 방식으로 데이터를 통해 학습한다. 그렇게 새로운 눈으로 출발하여 처음 접하는 환경을 다루는 데 필요한 기술을 하나씩 습득해나가는 것이다. 학습 알고리즘은 원시 데이터에서 정보를 추출해 그런 정보로 지식을 만들고 그런 지식을 이해의 토대로 삼으며 그런 이해로 지혜를 쌓는다. 물론 이와 같은 모델은 초기에 데이터를 확보하는 데 어려움을 겪었고, 컴퓨터가 데이터를 처리할 만큼의 수준에 오르지 못해 발전 속도가 더뎠다.
하지만 2016년 알파고를 통해서 전 세계가 똑똑히 보았다. 딥러닝이 세상의 모든 것을 변화시키는 인공지능 혁명의 중심에 서게 된 것을 말이다. “알파고가 이겼다, 우리는 달에 착륙했다.” 2016년 봄 인공지능 바둑 프로그램 알파고가 이세돌 9단을 꺾은 직후, 구글 딥마인드 최고경영자 데미스 허사비스가 트위터에 올린 글이다. 인공지능 개발의 성취와 앞으로 펼쳐질 인공지능의 역사에 새로운 출발을 알리는 상징적인 사건이었다.
달에 도착한 다음에는, 달에서 어떻게 잘 살아갈지를 고민해야 한다. 인공지능은 과연 인간의 지능을 뛰어넘을 수 있을 것인가? 머신러닝과 딥러닝은 어떤 미래를 가져다 줄 것인가? 저자는 인간 지능의 진화와 인공지능의 진화라는 두 개의 축으로 위 질문에 대한 답을 풀어간다. 분명한 건 인공지능의 발전은 인간의 지능에 대한 이해와 따로 떼놓고 얘기할 수 없으며, 인간에 대한 이해가 곧 인공지능의 발전으로 이어질 것이라는 점이다. 저자는 말한다.

현재 딥러닝과 인공지능을 놓고 한편에서는 이상적인 시나리오를, 다른 한편에서는 종말론적 시나리오를 펼쳐놓고 있지만, 어느 누구도 그것들의 궁극적인 영향은 예측할 수 없을 것이다. 사실 우리에게 주어진 선택지는 별로 없다. 제대로 알고, 미리 준비하는 것. 이상적 시나리오든, 종말론적 시나리오든 미래의 방향 또한 사전 준비에 들인 노력과 시간에 의해 달라질 것이다. 한 가지는 확실하다. 인공지능과 관련한 모든 기술은 가공할 만큼 빠르게 발전하고 있으며, 인간 사회의 모든 영역에 걸쳐 영향을 끼치고 있다. 기술의 발전 속도와 영향의 정도는 날로 높아지고 있는데, 안전벨트에 몸을 맡긴 채 움츠리는 것은 올바른 반응이 아닐 것이다.

머신러닝 및 신경과학 분야 최고 학회 NeurIPS 의장이 말하는 인공지능의 모든 것
인공지능, 머신러닝, 딥러닝을 제대로 알고 싶다면
첫 번째로 봐야 할 책!

《딥러닝 레볼루션》은 총 3부에 걸쳐 인공지능과 딥러닝의 활용 현황, 인공지능으로 변화할 미래 모습과 이를 대하는 관점, 인공지능과 딥러닝 기술의 발전 과정에 대해서 이야기한다. 1부 경우 딥러닝의 실제 적용 사례를 사례를 들어가며 현재의 발전상을 보여준다. 주식거래, 자율주행차, 교육, 게임, 헬스케어, 번역, 음성인식, 사물인식 등이다. 2부에서는 미래의 인공지능 기술에 대한 조망과 더불어 인공지능과 관련 기술을 바라보는 다양한 관점을 보여준다. 대가의 시선으로 앞으로 펼쳐질 변화의 모습을 가늠해보고, 인공지능에 대한 다양한 시각을 접하는 기회가 될 것이다. 마지막 3부에서는 인공지능과 딥러닝 발전 과정에 있었던 다양한 연구와 그 사이 등장한 여러 알고리즘의 원리와 직관을 차근차근 살펴본다. 저자의 깊이 있는 설명을 통해, 인공지능 발전의 역사와 머신러닝의 이론적 기초를 이해할 수 있을 것이다.
세즈노스키 교수는 현재 인공지능 분야 최고 학회인 NeurIPS의 의장이며, 2018년 한국에서 과기정통부 주최로 열린 ‘2018 인공지능 국제컨퍼런스’에 기조연설자로 참여한 바 있다. 또한 노벨상의 산실인 소크생물학연구소의 석좌교수로 재직 중이다. 머신러닝과 신경과학 분야의 세계적 권위자가 몇 십 년에 걸친 경험과 연구를 집대성한 기록인 만큼 이 책은 쉽지만은 않다. 다행인 점은, 그가 뛰어난 작가라는 사실이다. 공학적인 차원에서 전문가만 이해할 수 있는 책이 아니라 누구든 약간의 노력을 기울인다면 이해할 수 있는 책을 써냈다. 또한 제프리 힌튼, 프랭크 로젠블랫, 마빈 민스키, 놈 촘스키 등 인공지능 분야뿐만 아니라 현대 지성사에서 빼놓을 수 없는 학자들의 생생한 일화와 치열한 논쟁이 곳곳에 담겨 있어 한 편의 역사책을 읽는 듯한 기분이 들게 한다.
만약 누군가 인공지능, 머신러닝, 딥러닝에 알고자 한다면 《딥러닝 레볼루션》은 첫 번째 리스트에 올려야 하는 책이다. 그리고 이 책을 읽은 사람과 읽지 않은 사람의 차이는 크게 날 것이다.

[책속으로 이어서]
1939년도에 상영된 고전 뮤지컬 영화 〈오즈의 마법사〉에서는 허수아비가 〈내게 뇌만 있다면(If I Only Had a Brain)〉이라는 노래를 부른다. 허수아비가 몰랐던 것은 그가 이미 뇌를 갖추고 있었다는 사실이다. 뇌가 없었다면 노래는커녕 말도 한마디 못했을 것이다. 다만 그의 뇌는 생긴 지 고작 이틀밖에 안 된 상태였고, 따라서 그의 진정한 문제는 뇌가 아니라 경험의 부재였다. 시간이 흐르면서 그는 세상에 대해 배워나가고 결국은 오즈의 모든 인물 가운데 가장 현명한 존재로 인정받는다. 그는 자신의 한계를 알 정도로 현명했다. 대조적으로 틴 우드맨(Tin Woodman)은 〈내게 심장만 있다면(If I Only Had a Heart)〉을 불렀다. 그와 허수아비는 뇌를 갖는 것과 심장을 갖는 것 가운데 어느 것이 더 중요한지를 놓고 열띤 토론을 벌였다. 실세계에서는 물론이고 오즈에서도 인지와 감성이 조화를 이뤄 행동과 학습에 정교한 균형을 가하며 인간 지능을 창출한다. 이 고전 뮤지컬을 인용한 이유는 이 장의 주제가 ‘인공지능에 뇌와 심장만 있다면(If AI Had Only a Brainand a Heart)’이기 때문이다.
_ 4장: 두뇌 방식의 컴퓨팅

오늘날 머신러닝 알고리즘은 수천 개의 뉴런으로부터 생성되는 동시 기록의 분석, 자유롭게 움직이는 동물의 복잡한 행동 데이터의 분석, 순차적 전자현미경 디지털 이미지의 3차원 해부학적 회로 재구성의 자동화 등에 사용되고 있다. 인간의 뇌를 역설계한다면 자연에 의해 발견된 수많은 새로운 알고리즘에 대해 알 수 있을 것이다.
_ 6장: 머신러닝의 미래

기초과학에 의해 개발된 기술은 상용화되기까지 대략 50년의 시간이 소요된다. 20세기 초반 10여 년 동안 상대성과 양자기계 분야에서 이룩한 위대한 발견은 20세기 후반의 CD플레이어와 위성위치파악장치(GPS), 컴퓨터 등의 등장으로 이어진 바 있다. 1950년대의 DNA와 유전자 코드의 발견은 의학 분야의 애플리케이션과 기업식 농업의 발전으로 이어졌고 오늘날의 경제에까지 그 파급효과가 미치고 있다. 브레인 이니셔티브를 비롯한 전 세계의 다른 뇌 연구 프로그램을 통해 지금 이뤄낸 기초적인 성과는 앞으로 50년 후 등장할 애플리케이션의 단초가 될 것이다. 현재의 시각으로 본다면 공상과학소설이나 다름없을 50년 후의 세상에서 말이다.16 2050년까지 인간의 뇌에 상응하는 인공지능을 위한 운영체제가 만들어질 것이라는 기대도 해볼 수 있다. 그러나 어느 기업이, 어느 나라가 이 기술에 대한 통제권을 거머쥐게 될 것인가는 지금 얼마나 투자를 하며 얼마나 크게 판돈을 거느냐에 달려 있다.
_ 9장: 내부 정보

사람의 얼굴과 같이 수많은 유사한 객체들을 구별하는 데 얼마나 많은 피질 뉴런이 필요한가? 이미지 연구를 통해 우리는 인간의 뇌에서 다수의 영역이 얼굴에 대해 반응을 보인다는 것을 알게 되었다. 그중 일부는 매우 높은 민감도를 보이는 것으로 나타났다. 그러나 이들 영역들 사이에서도 하나의 얼굴에 연관된 정보는 수많은 뉴런들에 넓게 배분되어 있다. 캘리포니아공과대학교의 도리스 차오(Doris Tsao)는 얼굴에 선택적으로 반응하는 원숭이의 피질 뉴런 신호를 기록하고 200개의 얼굴 세포로부터 나오는 인풋을 조합해 얼굴을 재구성하는 것이 가능하다는 것을 보여준 바 있다. 이것은 얼굴에 선택적으로 반응하는 모든 뉴런의 하위집합 중 비교적 작은 규모라 할 수 있다.
_ 10장: 의식

오늘날의 시각에서 본다면, 촘스키는 중대한 사안이 무엇인지 이해하고 있었다는 것을 알 수 있다. 다만 촘스키는 학습의 힘을 간과했던 것이다. 딥러닝은 뇌의 뉴럴 네트워크와 마찬가지로 뉴럴 네트워크 모델이 촘스키가 ‘신비주의’라고 일축했던 ‘일반화’ 역량을 보유할 수 있다는 것을 입증했다. 또한 다양한 언어들 중에서 선택적으로 인지하도록 학습될 수 있고 서로 다른 언어를 번역하고 완벽한 구문론을 적용하여 이미지의 캡션을 생성할 수도 있음을 보여줬다. 궁극적인 아이러니는 머신러닝이 자동 문장 구문 분석의 문제를 해결했다는 것이다. 컴퓨터 언어학자들의 불굴의 노력에도 불구하고 촘스키가 말한 구문론의 ‘추상적 이론’이 해결하지 못했던 그것 말이다. 스키너가 개척한 동물실험 연구의 결과인 강화학습과 더불어 머신러닝은 목표 달성을 위한 일련의 선택에 의해 좌우되는 복잡한 문제들을 해결할 수 있다. 이것이 문제 해결의 정수이자 궁극적으로는 지능의 기반이 된다.
_ 11장: 자연은 인간보다 영리하다

돌이켜보면, 20세기 행동에 대한 정반대의 접근법을 취했던 행동주의와 인지과학은 뇌를 배제하는 똑같은 실수를 저지른 셈이다. 행동주의자들은 내적 검증에 의해 오도되기를 원치 않았기 때문에 지침을 얻기 위해 뇌의 내부를 들여다보지 않는 것을 명예롭게 생각했다. 그들은 블랙박스의 인풋과 아웃풋을 신중하게 통제함으로써 어떤 우발적 상황에서도 행동주의적 법칙을 발견할 수 있을 것이라 믿었다. 기능주의적 인지 과학자들의 입장은 정신의 내적 표상을 발견할 수 있을 것이라 믿으며 행동주의를 거부했다. 그러나 그들 또한 뇌가 내적 표상을 어떻게 이행하는지에 관한 세부 사항들은 무관하다고 믿었기 때문에 그들이 개발한 내적 표상의 기반은 신뢰할 수 없는 직관과 민족심리학이었다. 자연은 인간보다 영리하다.
_ 11장: 자연은 인간보다 영리하다

AI@50의 마지막 날에는 연회가 베풀어졌다. 저녁 식사가 끝날 무렵 1956년 인공지능에 관한 다트머스 여름 연구 프로젝트에 참가했던 5명의 원년 구성원들이 콘퍼런스와 인공지능의 미래에 대해 짤막하게 언급했다. 질의응답 시간에 나는 자리에서 일어나 민스키를 바라보며 이렇게 말했다. “뉴럴 네트워크 분야에서는 당신이 1970년대 뉴럴 네트워크가 동절기를 겪게 만든 악마라고 믿고 있습니다. 당신은 악마입니까?” 민스키는 우리가 어떻게 네트워크의 수학적 한계를 이해하지 못했는지에 대한 장황한 비판을 시작했다. 나는 그의 말을 가로채며 이렇게 물었다. “민스키 박사님, 저의 질문은 예 또는 아니오로 대답할 수 있는 간단한 것이었습니다. 당신은 악마입니까, 그렇지 않습니까?” 그는 잠시 망설이다가 이렇게 소리쳤다. “예, 나는 악
마입니다!”
_ 11장: 자연은 인간보다 영리하다

우리 인간은 가장 뛰어난 학습 능력을 보유하고 있다. 다른 어떤 생물 종보다 광범위한 주제에 대해 보다 빨리 학습할 수 있고 보다 많은 것을 기억하며 수세대를 거치며 더 많은 지식을 축적할 수 있다. 우리는 ‘교육’이라 불리는 기술을 창조해 평생 동안 학습할 수 있는 양을 증대시켰다. 어린이와 청소년들은 성장 기간 동안 교실에 앉아 살아가면서 결코 직접적으로 경험할 수 없는 것들을 학습할 수 있게 되었다. 비교적 최근에 인간이 발명한 읽기와 쓰기의 기술은 완전히 터득하기까지 수년간의 시간을 필요로 한다. 그러나 이들 발명품 덕분에 우리는 구전에 의한 것보다 더 많은 축적된 지식을 다음 세대로 전수할 수 있다. 누군가는 책을 쓰고 그것을 인쇄하거나 전시하고 많은 사람이 읽을 수 있기에 하는 말이다. 현대 문명의 발달이 가능했던 것은 음성 언어가 아니라 쓰기와 읽기 그리고 학습 덕분이다.
_ 12장: 심층 지능

우리는 여전히 고차원적 형태의 지능에 대한 비밀을 누설해줄 핵심 개념을 찾고 있다. 지금까지 몇몇 핵심 원리를 파악하기는 했지만 DNA가 생명의 본성을 구현하는 것만큼 고상한 방식으로 우리의 뇌가 어떻게 작동하는지 설명할 수 있는 개념적 틀은 갖추지 못하고 있다. 학습 알고리즘은 통합적 개념을 찾을 수 있는 훌륭한 장소다. 어쩌면 딥러닝 네트워크가 특정한 문제점을 해결하는 방법에 관한 연구를 통해 이뤄낸 진전으로 보다 많은 단서를 얻을 수 있을지도 모른다. 진화를 가능하게 만든 세포와 뇌의 운영 체계를 발견할 수도 있을 것이다. 만약 우리가 이 문제를 해결한다면 상상조차 어려운 혜택이 주어질지도 모른다. 자연이 한 개인보다 영리한 것은 사실이다. 그러나 우리 인간이 하나의 종으로서 언젠가 지능의 수수께끼를 풀지 못할 이유는 없다는 것이 나의 믿음이다.
_ 12장: 심층 지능

볼츠만 머신은 인풋과 아웃풋이 모두 고정된 지도 학습 버전과 인풋만 고정된 비지도 학습 버전 양쪽 모두로 이용할 수 있다. 힌튼은 비지도 학습 버전을 이용해 한 번에 한 층씩 심층 볼츠만 머신을 개발했다. 인풋 유닛과 연결된 숨겨진 유닛으로 이뤄진 층으로 시작해, 다시 말해 제한적 볼츠만 머신으로 분류되지 않은 데이터 세트를 학습하게 한 것이다. 분류되지 않은 데이터는 분류된 데이터에 비해 훨씬 쉽게 접할 수 있고, 학습 속도 또한 매우 빠르다(인터넷에는 수십억 개의 분류되지 않은 이미지와 오디오 기록들이 존재한다).
비지도 학습의 첫 번째 단계는 데이터로부터 모든 데이터에 공통으로 적용되는 통계적 규칙을 도출하는 것이다. 그러나 숨겨진 유닛의 첫 번째 층은 오직 단순한 특징만 추출할 수 있다. 퍼셉트론이 나타낼 수 있는 그런 단순한 특징 말이다. 그다음 단계는 첫 번째 층에 대한 가중치를 고정하고 그 위에 두 번째 층을 첨가하는 것이다. 볼츠만 머신의 비지도 학습이 많아질수록 보다 복잡한 특징의 집합으로 이어진다. 다층구조를 가진 심층 네트워크를 만들기 위해서 이 과정을 반복할 수 있다.
_ 14장: 홉필드 망과 볼츠만 머신

나는 힌튼, 데이비드 투어레츠키(David Touretzky)와 더불어, 뉴럴네트워크 관련 학과를 개설한 대학교가 극소수에 불과하던 1986년에 카네기멜론대학교에서 최초로 연결주의자 여름학교(Connectionist Summer School)를 개최했다. 학생들이 여러 층으로 줄지어 늘어서서 넷토크를 흉내낸 촌극을 공연하기도 했다. 줄지어 늘어선 학생들 각각이 네트워크의 유닛인 셈이었다. 여름학교에 참가한 학생들 중 상당수가 자신의 분야에서 중요한 성과를 거두며 화려한 경력을 구축했다. 1988년의 두 번째 여름학교 역시 카네기멜론대학교에서 개최되었다. 세 번째는 1990년 캘리포니아대학교 샌디에이고 캠퍼스에서였다. 새로운 아이디어는 주류에 편입되기까지 적어도 한 세대가 지나야 한다. 이 여름학교는 그런 초기 시절에 해당 분야의 연구를 활성화하기 위해 우리가 할 수 있는 최선의 투자였으며, 참가한 모두에게 강렬한 경험이 되었다.
_ 15장: 오류의 역전파

규칙화 기법 중에서 특히 기발한 것은 힌튼이 발명한 일명 ‘드롭아웃(dropout, 가중치를 전파할 때 무작위적으로 일부 노드를 끄는 방법-옮긴이)’이다. 훈련 사례의 수를 기반으로 경사도가 산출되고 가중치 공간에서 단계가 만들어졌을 때 학습이 이뤄지는 매 시기에 유닛의 절반이 무작위적으로 네트워크에서 떨어져나가게 만드는 기법이다. 이는 곧 매 시기마다 다른 네트워크도 학습이 이뤄진다는 의미다. 결과적으로 각 시기마다 훈련시켜야 할 매개변수가 적어지는 까닭에 매번 동일한 대규모 네트워크를 훈련시키는 경우보다 유닛 간 의존도를 낮출 수 있다. 드롭아웃으로 딥러닝 학습 네트워크의 오류 발생률을 10퍼센트 감소시킬 수 있었으며 이것은 상당한 개선이 아닐 수 없었다. 2009년 넷플릭스(Netflix)는 100만 달러의 상금을 수여하는 공개 대회를 개최하고 자사의 추천자 시스템의 오류 발생률을 10퍼센트 감소시키는 첫 번째 참가자를 찾았다. 머신러닝 분야의 거의 모든 대학원생들이 그 대회에 참가했다. 넷플릭스가 내건 100만 달러의 상금이 적어도 1,000만 달러의 가치를 갖는 연구 활동을 부추긴 셈이다. 현재 심층 네트워크는 온라인 스트리밍의 핵심 기술로 자리 잡은 상태다.
_ 15장: 오류의 역전파

머신러닝에서는 누구든 데이터를 가장 많이 보유하는 사람이 승자다. 페이스북은 다른 어느 곳보다 많은 사람들의 기호, 지인, 사진 데이터를 보유하고 있다. 이 모든 데이터로 페이스북은 나름의 마인드 이론을 창출해 우리가 무엇을 선호하는지 파악하고 정치적 성향은 어떠한지 예측하는 데 이용할 수 있었다. 언젠가 페이스북이 나 자신보다 나에 대해 더 많은 것을 알게 되는 날이 올지도 모를 일이다. 실로 페이스북은 오웰의 소설에 등장하는 빅 브라더의 화신이 될 것인가. 당신은 이것을 섬뜩한 전망이라고 생각하는가, 아니면 필요하면 언제든 시중을 들어주는 디지털 집사가 생겨 편리할 것이라 생각하는가? 과연 페이스북이 이런 힘을 가져도 되는 것인가? 이런 의문을 품는 것은 지극히 당연한 일이다. 그러나 우리는 이 문제에 대해 발언권을 갖지 못하게 될지도 모른다.
_ 18장: NIPS

작가정보

저자(글) 테런스 J. 세즈노스키

Terrence J. Sejnowski

소크생물학연구소Salk Institute for Biological Studies의 프랜시스 크릭Francis Crick 석좌교수이자 캘리포니아대학교 샌디에이고 캠퍼스UCSD의 교수로 재직 중이다. 버락 오바마 행정부의 브레인 이니셔티브BRAIN Initiative에서 자문위원으로 활동했으며, 현재 인공지능 분야 최고 학회인 NeurIPS의 의장직을 수행하고 있다. 딥러닝 기술의 초석이 된 볼츠만 머신 알고리즘을 제프리 힌튼과 함께 개발한 것을 비롯해 뉴럴 네트워크의 학습 이론에 대한 다수의 논문을 발표했다.
머신러닝 및 신경과학 최고 권위자 중 한 명인 세즈노스키 교수는 한국에서 열린 ‘2018 인공지능 국제컨퍼런스’에 기조연설자로 참여해, ‘딥러닝 혁명’이라는 주제로 딥러닝의 현황과 미래를 통찰력 있게 조망한 바 있다. 그는 이 책에서 인공지능의 발전에 변곡점 역할을 한 딥러닝 기술이 현재에 이르기까지의 과정, 앞으로 딥러닝이 만들어낼 혁신과 변화에 대해서 풀어내고 있다.

번역 안진환

서울에서 태어나 연세대학교를 졸업했다. 현재 전문번역가로 활발히 활동 중이다. 지은 책으로 《한 줄만 잘 써도 Cool해지는 영작문》, 《영어 실무 번역》 등이 있으며, 옮긴 책으로는 《주목하지 않을 권리》, 《부자아빠 가난한 아빠 20주년 특별판》, 《넛지》, 《팀 쿡》, 《스티브 잡스》, 《조너선 아이브》, 《괴짜경제학》, 《빌게이츠 @ 생각의 속도》, 《노동의 미래》, 《전쟁의 기술》, 《천재들의 대참사》, 《창업자 정신》, 《이코노믹 씽킹》 등이 있다.

감수 권정민

세상은 데이터로 이뤄져 있다고 생각하며, 이를 잘 활용하고자하는 목표를 가지고 다양한 데이터 분석 및 활용 방안을 만들고 연구하는 것을 업으로 하고 있다. 카이스트KAIST 및 포항공과대학교POSTECH에서 산업공학과 전산학을 전공했으며, 다양한 산업군에서 데이터 분석을 수행하고 있다. 옮긴 책으로는 《빅데이터 분석 도구 R 프로그래밍》, 《The R Book(Second Edition) 한국어판》, 《파이썬을 활용한 베이지안 통계》 등이 있으며 《인터넷, 알고는 사용하니?》를 감수했다.