도덕적인 AI

월터 시넛암스트롱 , 재나 셰익 보그 , 빈센트 코니처 지음 | 박초월 옮김

김영사 2025년 02월 06일 출간 국내도서 : 2025년 01월 20일 출간

작품소개

책소개

독창적이고 균형 잡힌 ‘AI 윤리’ 입문서

“수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 그 실수를 피할 수 있을지 모른다.” ≪도덕적인 AI≫는 ‘AI 윤리’ 분야에서 세계적으로 손꼽히는 철학자, 신경과학자, 컴퓨터과학자 셋이 함께 쓴 책이다. 인공지능에 대한 지나친 낙관론과 두려움 사이에서 균형을 잡아주는 책이자, 윤리적인 AI 개발과 사용을 고민하는 사람들을 위한 최신 안내서다. 딥페이크, 자율주행차, 자율무기, 의료 로봇 등 격변하고 있는 AI 기술의 최신 연구를 망라하면서 알고리듬의 편향, 프라이버시 침해, 사고의 책임 문제 등 인공지능을 둘러싼 새로운 윤리 문제를 흥미로운 사례와 함께 제시한다. 특히 인간의 ‘도덕성’을 탑재한 인공지능의 개발이라는 독창적인 아이디어를 제안하면서, 그동안 사람의 생명과 신체의 안전 및 기본권 보호에 중점을 두고 논의됐던 ‘AI 윤리’ 담론을 인간의 도덕적 실수를 예방하는 기술 도구의 개발과 활용으로까지 범위를 확장한다.
AI 기술의 사용에 대한 저자들의 입장은 명확하다. “목욕물을 버리다가 ‘AI 아기’까지 버려서는” 곤란하다는 것. 이미 혜택이 증명된 AI의 개발을 중단하는 것은 오히려 ‘부도덕’할 수 있다는 생각이다. 지금은 AI 기술을 쓸지 말지 논쟁할 때가 아니라, AI가 초래할 잠재적 편익과 위험을 면밀하게 파악하고, AI 기술과 맞물린 도덕적 가치의 문제들(안정성, 공정성, 프라이버시, 투명성, 자유, 기만)을 어떻게 해결해나갈지 지혜를 모을 때라고 주장한다.
총 7장으로 구성된 이 책은, 전반부에서 주로 인공지능의 개념과 작동 원리, 그 기술의 적용 사례와 윤리적 쟁점을 검토하고 있으며, 후반부에서는 주로 ‘도덕적인 AI’의 기술을 어떻게 구현할 수 있는지 소개하고, 한편 AI 제품을 윤리적으로 만들기 위한 구체적인 실천 방안을 제시한다. AI 기술의 새로운 트렌드와 윤리적 논쟁에 관심 있는 독자, ‘AI 윤리’를 제품 개발에 적용하기 위해 치열하게 고민 중인 IT업계 종사자, 그리고 우리 사회를 더 공정하고 민주적으로 이끌 수 있는 도구로서 AI를 어떻게 활용할 수 있을지 고민하는 시민들 모두에게 요긴한 안내서가 될 것이다.

목차

들어가며

서론 | 무엇이 문제인가?
1장 인공지능은 무엇인가?
‘좁은 AI’, ‘범용 AI’, ‘강한 AI’ - 도전 과제를 선택하라 ｜ 퀴즈쇼를 준비할 때 알아둘 만한 단어: GOFAI ｜ 기계가 학습하도록 가르치기 ｜ 심층학습과 신경망은 어떨까? ｜ 어느 AI가 지능적인가? ｜ 오늘날 AI가 부족한 점 ｜ AI가 하지 못하는 일을 알아내는 것이 갈수록 어려워지고 있다 ｜ 오늘날 AI는 누가 만들고 있을까?

2장 인공지능은 안전할 수 있을까?
AI와 함께 사는 삶은 과연 과학소설에 나올 법한 끔찍한 공상일까? ｜ 오늘날 AI를 둘러싼 안전 문제 ｜ 몇 가지 사례 연구 ｜ 예측 가능한 예측 불가능성

3장 인공지능은 프라이버시를 존중할 수 있을까?
프라이버시는 무엇인가? ｜ 프라이버시에 신경을 써야 하는 이유는 무엇인가? ｜ AI는 어떻게 프라이버시를 침해하는가? ｜ AI 생태계는 개인 데이터의 비축과 판매를 조장한다 ｜ AI 위협으로부터 프라이버시를 보호하려면 어떻게 해야 할까? ｜ 우리는 프라이버시를 소중히 여기는가?

4장 인공지능은 공정할 수 있을까? … 157
정의란 무엇인가? ｜ 누가 재판 전에 감옥에 가는가? ｜ 인간 판사 대 AI: 누가 더 정확한가? ｜ 공정성을 명시하기 ｜ 인간 판사 대 AI: 누구의 편향이 더 심한가? ｜ 절차적 정의는 어떨까? ｜ 해석 가능성이 문제를 해결해줄까? ｜ 공정한 AI

5장 인공지능에 (혹은 AI 제작자와 사용자에게) 책임을 물을 수 있을까?
책임이란 무엇인가? ｜ 인간 운전자에게 책임이 있을까? ｜ 보행자에게 책임이 있을까? ｜ AI 관여자들에게 책임이 있을까? ｜ 우버에 책임이 있을까? ｜ 애리조나주 정부에 책임이 있을까? ｜ 인공지능에 책임이 있을까? ｜ 책임 공백

6장 인공지능에 인간의 도덕성을 탑재할 수 있을까?
하향식 도덕성은 어떨까? ｜ 상향식 도덕성은 어떨까? ｜ 두 방법의 장점을 취합하기 ｜ 누가 신장을 받을 것인가? ｜ 신장 분배 AI에 도덕성을 탑재하는 방법 ｜ 인공적으로 개선된 민주주의

7장 우리는 무엇을 할 수 있을까?
AI 제작 과정의 복잡 미묘한 상황 ｜ 도덕적인 AI에서 원칙과 실천 사이의 간극이 발생하는 이유는? ｜ 도덕적인 AI의 원칙과 실천 사이의 간극을 좁히려면 무엇을 해야 할까? ｜ 첫 번째 행동 촉구 제언 ｜ 두 번째 행동 촉구 제언 ｜ 세 번째 행동 촉구 제언 ｜ 네 번째 행동 촉구 제언 ｜ 다섯 번째 행동 촉구 제언 ｜ 큰 그림

결론 | 우리에게 달려 있다

주
찾아보기

책 속으로

작성된 코드는 언제부터 단순한 컴퓨터 프로그램이 아닌 AI가 되는 걸까? 인공지능은 정말 지능일까? AI는 의식을 가질 수 있을까? AI는 독창적이고 창의적일 수 있을까? 아니면 그저 제작자의 명령을 분별없이 따를 뿐일까? -22면

기념비적인 성공을 거두었음에도 딥블루는 카스파로프에게 승리한 직후 미국의 컴퓨터역사박물관으로 은퇴하고 말았다. 왜 그랬을까? 딥블루가 체스를 두는 것 말고는 아무것도 할 수 없다는 사실을 제작자들이 알고 있었기 때문이다. 이것이 바로 좁은 AI 시스템의 정의이다. -33면

누군가가 AI 시스템을 속여서 어떤 정치인에게 심각한 의학적 문제가 있다고 잘못 진단하도록 했다고 상상해보자. 결과적으로 그는 앞으로의 정치 경력에 타격을 입고 불필요한 치료를 받게 될 것이다. -64~65면

한 보안 연구팀은 단순히 도로에 스티커를 세 개 붙이는 것만으로도 테슬라 모델 S를 맞은편에 가상의 자동차가 오는 차선으로 이동하도록 속일 수 있었다. 자동차의 AI 시각 시스템은 차선이 왼쪽으로 꺾어진다는 의미로 스티커를 잘못 해석했는데, 잘못 해석된 차선이 사실 실제 차선 쪽으로 향한다는 사실은 감지하지 못했다. -96면

한 자율무기 전문가는 이렇게 말했다. “인간보다 빠르게 반응하며 서로 적대시하는 알고리듬이 상황을 감시하는 장면을 상상하기란 어렵지 않습니다. … 인간으로서 우리가 더 이상 통제할 수 없는 속도로 전쟁이 진행된다면, 그것이야말로 정말 끔찍한 일입니다.” 기존의 자율 드론이나 탱크 사이에서 통제를 벗어난 ‘AI-AI 전투’가 벌어진다면 심란하지 않을 수가 없다. -104~105면

스티븐 호킹의 말을 빌리자면, “우리의 미래는 점점 커져가는 기술의 힘과 그것을 사용하는 지혜 사이의 경쟁이 될 것이다.” -117면

우리는 타인이 우리를 관찰하거나, 간섭하거나, 우리에 대한 특정한 정보를 알아내거나, 우리의 실체를 파악할 수 있는지 여부를 통제하는 범위 내에서 프라이버시를 갖는다. 반면 프라이버시가 없다는 것은 그러한 삶의 측면에 대한 정보를 통제할 수 없다는 뜻이다. -123면

딥페이크(사람을 모방하도록 설계된 봇, 동영상, 녹음, 사진)가 진짜 은행이나 국세청 직원이라고 생각하고 은행 계좌 정보나 사회보장번호를 공유하는 일이 생길 수 있다. 이와 같은 사기 행위를 ‘피싱’ 공격이라고 한다. -132면

마이크로소프트와 아마존은 직원들에게 챗GPT에 민감한 정보를 공유하지 말라고 경고하기도 했다. 언젠가 출력되는 내용에 해당 정보가 포함될지도 모르기 때문이다. -136면

〈이코노미스트〉의 기사 제목이 선언한 것처럼 “세계에서 가장 귀중한 자원은 더 이상 석유가 아니라 데이터다.” -138면

대부분의 개인정보 처리방침은 읽는 데 대략 8~12분이 걸리고 심지어 전문가도 이해하기 힘든 언어로 쓰여 있다. 그러니 대부분 읽지 않고 넘어간다고 해도 놀랍지 않다. -145면

본인의 선택이 무슨 의미인지 현실적으로 알 수 없거나 사실상 약관의 방침에 동의하도록 조작되어 있다면, 동의는 결코 프라이버시를 보호하지 못한다. -147면

AI의 도움을 받으면 익명의 지리적 위치 데이터도 쉽게 재식별된다. AI 전문가들이 입증한 바에 따르면, 시간별 GPS 데이터가 포함된 대규모 데이터세트에서 단 네 개의 GPS 시공간 지점만으로
도 95퍼센트의 개인을 식별할 수 있다. -151면

기계학습이 자주 편향을 보이는 근본적인 이유가 있다. 그중 하나는 모든 인구통계 집단과 이해관계가 동등하게 대표되는 데이터세트를 모으는 것이 매우 어렵고(또한 비용이 많이 들 때가 많다), 훈련을 받은 AI가 데이터에서 잘 대표되는 집단에 대한 예측을 그렇지 않은 집단보다 더 정확하게 수행하기 때문이다. -160면

루미스 사건의 1심 판사는 루미스의 “재범 위험이 극도로 높다”라는 판단을 정당화하려면 컴퍼스의 예측을 언제 (그리고 얼마나) 신뢰해야 하는지에 대해 현명한 판단을 내릴 수 있어야 했다. 이러한 지식이 없다면 판사는 알고리듬의 예측을 맹목적으로 수용하거나 거부하게 될 것이며, 예측을 신뢰하지 못하는 상황에서도 예측을 그대로 따르게 될 수 있다. -184~185면

병원에서 AI로 암을 탐지하다가 AI가 진단 실수를 저질러 환자가 불필요한 치료를 받거나 치료를 너무 늦게 받는다고 해보자. 그렇다면 오진에 대한 책임은 누구에게 있을까? 누군가가 손해배상을 해야 한다면 그 대상은 누구여야 할까? 또 군부대가 AI를 사용하여 미사일과 드론을 유도했는데 AI 주도형 무기가 표적 대상인 테러리스트가 아닌 무고한 가족을 살해한다면 어떨까? -221면

수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 실수를 피할 수 있을지 모른다. 더 나아가 도덕적인 AI의 훈련용 데이터와 모형에서 편향이나 실수를 교정하는 방법을 알게 된다면 AI의 예측과 행동은 우리 자신의 기본적인 도덕 가치에 더 잘 부합할 것이다. -247~248면

앞으로 이야기가 어떻게 전개될지는 인공적인 의사결정과 인공적인 지능만큼이나 인간의 도덕적인 의사결정과 도덕적인 지능에 달려 있다. 우리는 AI에 대해 생각할 때 우리의 역할을 명확히 해야 한다. 요컨대 도덕적인 AI의 이야기에서 감독과 주연은 둘 다 인간이다. AI는 그저 우리와 함께 가는 존재일 뿐이다. 적어도 지금은 그렇다. -318면

출판사 서평

왜 ‘도덕적인 AI’인가?

‘도덕적인 AI(Moral AI)’라니, 제목이 궁금증을 자아낸다. 과학소설 팬이라면 혹시 도덕성과 자율성, 자유의지를 지닌 새로운 인공지능의 출현을 예언하는 책일까 기대할지도 모르겠다. 하지만 이 책에서 제안하는 ‘도덕적인 AI’는 그런 먼 미래의 인공지능이 아니다. 넓게 말하면, “인간의 가치를 학습하고 구현하는 AI”, 좁게 말하면 ‘인간의 도덕적 판단을 보조하는 시스템’이다. 그 가능성을 보여주는 대표적인 연구 사례가 ‘신장 이식을 받을 환자의 우선순위를 정하는 AI’이다.
병원에서 이식의 우선순위는 대체로 1) 이식 외과의의 의학적 판단, 2) 신장 이식 방침을 결정하는 병원 담당자들의 의료적·실용적 판단(적합성, 연령, 건강, 장기의 질, 대기 기간 등)으로 결정된다(여기서 도덕적 판단은 제외). ‘도덕적인 AI’는 두 가지 방향에서 학습이 이루어지는데, 먼저 이식 외과의가 신체적, 정신적으로 이상적인 상태일 때 내릴 법한 의학적 판단을 프로그래밍하고, 다음으로 병원의 이식 방침을 결정하는 집단의 판단을 모형화한다. 특히 후자의 경우에는 병원 관계자뿐 아니라 변호사, 환자, 비전문가 등 다양한 시민들을 참여시킴으로써 공동의 도덕적 판단을 자동화 시스템으로 구축할 수 있다. 이 기술 도구를 이용하면, 외과의의 실수와 편향을 방지하고, 신장 분배 우선순위 목록을 해당 집단의 도덕적 가치와 일치시킬 수 있다. 이 책은 이 기술을 시스템에 구현하기 위해, 어떻게 도덕적 특징을 뽑아내고, 가중치를 측정하고, 도덕적 판단을 모형화하고, 집단의 판단을 종합하고, 도덕적 판단을 이상화할 수 있는지 현재 연구되는 아이디어들을 제시하고 있다(239~253면 참조).


인간의 도덕성을 탑재한 AI

‘도덕성을 지닌 인공지능의 출현’을 기대했던 독자들한테는 여전히 시시해 보일지 모르지만, 이 기술의 잠재력은 어마어마하다. 핵심은 두 가지다. 첫째, 사람들의 도덕적 판단을 도울 수 있다. 불완전한 인간은 언제든 도덕적 오류를 범할 수 있다. “인지적 편향, 편애, 인종 또는 성별 편견 등 무의식적으로 의사결정에 영향을 미치는 편향”에서 벗어날 수 없기 때문이다. 그런 편향을 제거한 ‘이상화된 도덕적인 AI’는 우리가 불완전한 상태일 때에도(가령, 잠이 덜 깼거나 화가 난 상태에도) “합리적이고 편향 없는 상태에서 더 많은 정보를 갖고 내릴 만한 도덕적 판단”을 내리는 데 도움을 줄 수 있다. 둘째, 사회의 불공정을 개선하고, 비윤리적인 결정을 방지하는 데 도움을 줄 수 있다. AI에 도덕성을 탑재하는 이 기술을 다른 영역으로 확장하면, 공동체 구성원의 도덕적 판단을 자동화하는 ‘인공적으로 개선된 민주주의(AID)’ 시스템을 개발할 수 있다(254~256면 참조). 특히 의사결정 지원 도구에 AID를 탑재한다면 비단 의료 분야뿐 아니라 광범위한 영역에서 활용할 수 있다. 예를 들어, 채용 담당자가 지원자를 대상으로 면접을 보거나 채용 결정을 내릴 때, 군사 무기 운용자가 언제 어떤 표적을 향해 미사일을 발사할지 고려할 때, 그 밖에 공정성과 도덕성 시비가 생길 수 있는 분야에서 인간 행위자가 올바른 선택을 하도록 도움을 받을 수 있다.
한편 저자들은 ‘도덕적인 AI’ 기술을 다양한 영역으로 보급하는 동시에, 인공지능 개발사가 AI 제품의 개발 초기부터 윤리적 개입을 강화할 수 있는 다양한 실천 방안(‘도덕적인 AI’ 전략)을 제시하고 있다. 핵심이 되는 부문은 “기술 보급, 조직 관행, 교육, 시민 참여, 공공 정책”이며, 개발사는 이를 통해 조직 문화를 개선하고, 윤리 담당자의 역할을 강화하며, 윤리 지표를 마련하고, AI 제품에 공동체의 가치를 반영하는 등 ‘도덕적인 AI’ 전략을 구체적인 지침으로 활용할 수 있다.

AI 기술과 새로운 윤리적 쟁점

아울러 저자들은 현재 우리가 고민해야 할 인공지능 기술의 새로운 윤리적 쟁점들을 폭넓게 제시하고 있다. 이 책에서 주목하는 사례 중 핵심적인 몇 가지만 소개한다.
첫째, 책임의 문제(또는 ‘책임의 공백’ 문제). AI로 인한 안전사고의 책임은 누가 져야 할까? 2018년 우버 소유의 자율주행차 볼보 XC90가 실험 운행 도중에 보행자(허츠버그)를 쳤다. 차량의 센서와 AI 인식 시스템이 보행자를 인식하지 못했고, 운전석의 테스트 드라이버도 한눈을 팔고 있었다. 허츠버그의 죽음에 책임이 있는 대상은 누구일까? 테스트 드라이버? 자동차 제조사? AI를 만든 우버의 엔지니어? 아니면 AI가 어떤 결과를 초래할지 예상한 사람이 없었기 때문에 누구에게도 책임을 물을 수 없을까?
‘책임의 공백’ 문제는 AI가 활용되는 다양한 분야에서 일어날 수 있다. 연루되는 대상이 많아서 법적·도덕적 책임의 경중이 불분명하기 때문이다. 예를 들어, 병원에서 AI가 진단 실수를 저질러 환자가 불필요한 치료를 받거나 치료가 늦으면, 그 책임은 누구에게 있을까? 군대가 AI를 사용하여 드론 공격을 유도했는데 시민이 희생됐다면, 그 책임은 누구에게 있을까? 더 골치 아픈 예를 들자면, 신생 회사가 오픈AI의 GPT 모형을 기반으로 의료 상담 챗봇을 만들었는데 챗봇이 유해한 조언을 제공해서 사람이 죽었다면, 그 책임은 누가 져야 할까? 신생 회사일까, GPT 모형 기술을 제공한 오픈AI일까? 저자들은 우리 사회가 앞으로 이러한 책임의 문제를 해결하지 못한다면, 사회적 혼란이 불가피하다고 우려한다.

둘째, 프라이버시 침해 문제. 개인정보가 유출되기 쉽고, 범죄에 악용될 수 있다. 예를 들어 ‘얼굴 인식 AI’와 위치 추적 기술이 결합하면 단순히 길거리에서 목격하는 것만으로 누군가의 민감한 의료 정보를 알아낼 수 있고, AI 딥페이크 기술을 이용한 ‘피싱 공격’에 속수무책으로 당하기 쉽다(챗봇, 동영상, 녹음, 사진이 진짜 은행이나 국세청 직원 행세를 한다고 생각해 보라).
하지만 이 책에서 저자들이 진짜 주목하는 프라이버시 위협은 따로 있다. “최대한 많은 개인 데이터를 수집하고, 영구적으로 저장하고, 최고 입찰자에게 판매하는 것을 바탕으로 돌아가는” AI 생태계 그 자체다. 오늘날 많은 AI 기업이 개인 데이터를 모으기 위해 공을 들이는데, “훈련용 데이터가 다양하고 방대할수록 AI의 정확도가 높아지고 예측할 수 있는 내용도 많아지기” 때문이다. 수집 방법도 교묘하다. 미국의 온라인 결제 회사 페이팔의 경우, “사용자가 페이팔과 어떤 웹사이트의 통합을 동의하면 쇼핑 내역, 개인별 취향, 사진, 장애 상태가 그 웹사이트와 공유된다(개인정보 처리방침의 “당사는 귀하의 개인 데이터를 판매하지 않습니다”라는 문구에 안심했다가는 큰일난다. 이 문구는 “다른 기업과 데이터를 공유하지 않는다”는 뜻이 아니기 때문이다). 그렇게 수집된 개인 데이터는 다양한 AI 모형(얼굴 인식이나 텍스트 완성 또는 챗봇 시스템 등)을 훈련하는 데 쓰이고, 심지어 그렇게 학습된 AI 모형도 다른 기업들에 대여해주거나 팔 수 있다. 한편 훈련용 데이터의 정보 일부를 ‘기억’하는 AI 모형의 특성 때문에(‘망각불능’ 현상), 누군가의 개인정보가 튀어나오는 일도 불가능하지 않다. “마이크로소프트와 아마존은 직원들에게 챗GPT에 민감한 정보를 공유하지 말라고 경고하기도 했다. 언젠가 출력되는 내용에 해당 정보가 포함될지도 모르기 때문이다.”

셋째, 데이터의 편향 문제. AI 윤리 분야에서 데이터 편향은 오랫동안 지적되어온 문제다. “어떤 데이터를 수집할지 결정하고, AI 알고리듬에 어떤 정보를 넣을지 선택하고, AI의 예측에 어떻게 반응할지 결정할 때마다 인간의 편향이 AI에 반영될 여지가 생기기” 때문이다. 편향된 데이터를 학습한 AI 모형은 당연히 편향된 결과를 내놓는데(“편향이 입력되면 편향이 출력된다”), 한 연구 결과에 따르면 “채용과 해고, 승진, 주택 융자, 사업자금 대출에 흔히 사용되는 AI는 특히 흑인, 여성, 이민자, 빈곤층, 장애인 등 지원자에게 불리하게 작용하는 경우가 많았고, 피부암 탐지 AI는 어두운 피부(유색 인종)를 대상으로는 잘 작동하지 않았다.”

넷째, 알고리듬 처리 과정의 투명성 문제. 특히 심층학습 AI에서 꽤 골치 아픈 문제로 알려져 있다. 심층학습 AI는 다른 AI 기술보다 예측 능력이 뛰어나다고 알려져 있는데, 문제는 알고리듬의 처리 과정이 블랙박스처럼 깜깜이여서 그것을 해석하거나 이해할 수 없다는 것이다. ‘루미스 대 위스콘신 판결’ 논란이 대표적이다. 총격 사건에 가담한 혐의로 기소된 에릭 루미스는 ‘컴퍼스’(미국의 양형 법원에 사용되는 위험성 평가 도구)의 예측을 통해 “공동체에 위협이 되는 인물”로 간주되어 중형을 선고받았다. 루미스는 컴퍼스의 “예측 모형이 독점적이고 복잡해서 위험성 예측에 도달한 경로 또는 이유를 알거나, 대응할 수 있는 현실적인 방법이 없다”며 항고했지만, 결국 패소했다. 하지만 저자들의 지적처럼 “예측을 생성하는 AI를 인공지능 전문가 말고는 아무도 이해할 수 없다면 또는 심지어 전문가조차 이해하는 것이 불가능하다면… 법정 절차는 결국 공정성을 상실할 것이다”. 저자들은 AI의 불투명성 문제가 앞으로 그 기술을 활용하는 많은 분야에서 언제든 공정성 시비를 불러올 것이라고 우려한다.

‘기술의 힘’과 지혜 사이의 경쟁

2024년 노벨물리학상 수상자 제프리 힌턴은 “AI로 인해 30년 내 인류가 멸종할 수도 있다”라고 경고했지만, AI의 경제적 가치가 확인되면서 사뭇 다른 분위기도 읽힌다. 전 세계가 AI 신제품 개발에 사활을 걸고 뛰어드는 지금 윤리 문제가 대수냐고 한가한 소리 말라고 여길 사람들도 있겠다. 일단 신제품을 내고, 문제가 불거지면 그때그때 수습하면서 처리하면 될 일이라고(‘린-애자일’ 방법), 그것이 지금껏 IT 기업들의 관행이었고 성공적으로 작동해왔다고 생각할 기업들도 있겠다.
이 책이 경고하는 바가 그것이다. “기업들이 AI가 유발하는 피해에 책임감을 느끼지 않는다면, 그들은 안전성이 의심스럽지만 수익성이 높은 AI 제품을 만들어야 한다는 압박을 점점 강하게 받을 것이다.” AI의 파괴력을 고려하면 그 피해의 크기는 한 기업의 차원을 넘어설 것이다. 오늘날 많은 정부와 기관들이 서둘러 AI의 안전성과 잠재적 위험을 예측하고, ‘AI 윤리’ 원칙을 마련하고, 장기적으로 기계로부터 인간의 통제권을 잃지 않기 위한 연구와 제도적 노력을 벌이고 있는 이유이다(우리나라의 경우 2024년 말 AI안전연구소 설립, AI 기본법 본회의 통과).
어쩌면 우리가 AI에 장착하기 위해 노력해야 하는 것은 더 강력한 첨단기술이 아니라, 인류의 미래를 지켜줄 인간의 ‘도덕성’일지 모른다. 스티븐 호킹은 “우리의 미래는 점점 커져가는 기술의 힘과 그것을 사용하는 지혜 사이의 경쟁이 될 것”이라고 말한다. 인간의 가치를 학습하고 구현하는 ‘도덕적인 AI’ 개발이 그 지혜의 열쇠가 될 수 있다. 저자들의 말마따나 아직은 “도덕적인 AI의 이야기에서 감독과 주연은 둘 다 인간이다.” 그러나 우리가 인공지능에 담으려는 가치를 숙고하지 못한 채 이 이야기가 전반부가 끝난다면, 압도적인 AI가 써나갈 이야기의 후반부에서 인간의 자리는 매우 위태로울지 모른다.

작가정보

저자(글) 월터 시넛암스트롱

Walter Sinnott-Armstrong
철학자, 윤리학자. 듀크대학교 철학과 실천윤리학 교수. 같은 대학교에서 로스쿨과 심리학 및 신경과학과의 겸임교수를 맡고 있으며, 인지신경과학센터와 뇌과학연구소 등에서도 일한다. ‘사회적·문화적·신경과학적·생물학적 요인이 우리의 도덕적 태도·결정·판단을 형성하는 방식’을 주제로 학제 간 연구를 실행하는 ‘도덕적 태도와 결정 연구소MAD LAB’를 함께 이끌고 있다. 도덕심리학 및 뇌과학이 주요 연구 분야이며, 윤리학의 광범위한 주제들에 관해 글을 썼다. 대표작으로 《씽크 어게인》(해냄, 2020) 《신이 없는 도덕?》 《도덕심리학》 《도덕적 회의론》 등이 있다.

저자(글) 재나 셰익 보그

Jana Schaich Borg
신경과학자, 데이터과학자. 듀크대학교 사회과학연구소 조교수. ‘도덕적 태도와 결정 연구소’의 공동 소장이다. 학제 간 연구를 통해 신경 영상, 뇌피질전도, 비디오 상호작용에 대한 컴퓨터 분석과 같은 고차원 다중모드 데이터를 분석하는 새로운 통계적 접근법을 개발하여, 어떻게 뇌가 복잡한 사회적 정보를 내부적 신호와 통합하여 사회적 행동에 동기를 부여하는지 탐구한다.

저자(글) 빈센트 코니처

Vincent Conitzer
컴퓨터과학자, 게임이론가. 미국 카네기멜론대학교의 컴퓨터과학 교수이자 ‘협력적 AI 연구소FOCAL’ 소장. 옥스퍼드대학교에서 AI윤리연구소의 AI 기술책임자와 컴퓨터과학 및 철학 교수로도 일한다.

번역 박초월

과학 도서 번역가. 인하대학교 물리학과를 졸업하고 서울대학교 과학학과에서 서양과학사를 전공해 석사 학위를 받았다. 출판 편집자로 일하며 책을 만들다가 글을 옮기기 시작했다. 옮긴 책으로 《무한한 가능성의 우주들》 《블랙홀에서 살아남는 법》 《무엇이 우주를 삼키고 있는가》 《나와 퓨마의 나날들》 등이 있다.