멜트다운

편리한 위험의 시대

크리스 클리어필드 , 안드라스 틸시크 지음 | 장상미 옮김

아르테(arte) 2019년 05월 20일 출간 종이책 : 2019년 04월 24일 출간

작품소개

책소개

바야흐로, ‘재난의 시대’다. 사람들은 늘상 정부기관에서 보내는 재난 문자를 받고, 재난 경보가 울리지 않더라도 매일 미세먼지 지수를 확인한다. 일상과 가장 먼 단어였던 ‘재난’은 이제 일상의 일부가 됐다. 그만큼 ‘재난’의 폭과 깊이도 다양해졌다. 개학 철을 맞추어 한유총이 소위 “폐원 투쟁”을 벌이고, 유치원 개학이 연기되자 각 지자체는 재난 경고 시스템을 활용해 연기 사실을 알렸다. ‘개학 연기’가 ‘재난’이 된 이 일련의 과정이 “폐원 투쟁” 만큼이나 논란과 화젯거리가 되었다. 이런 논란은 어쩌면 우리 앞에 닥친 재난의 모습이 이전에 상상해 온 것과는 전혀 다른 모습일 것을 방증해주는 사례인지도 모른다.
오늘날 ‘재난’으로 불리는 사고와 사건들은 발현되는 양상과 직접적인 원인에서는 일관된 규칙을 찾기 어렵다. 하지만 더 근본적인 원인을 파고들면 큰 틀에서 모두 ‘시스템 사고’다. KT 아현지사 화재 사고는 ‘익숙한 원인, 낯선 여파’라는, 오늘날 우리를 급습해오는, 그리고 미래에 더 자주 다가올 ‘시스템 사고’의 전형을 보여줬다. 『멜트다운』은 이런 ‘시스템 사고’ 사례들을 사회학, 심리학, 인지과학, 경제학 등을 활용해 전에 없던 폭과 깊이로 다룬다.
‘멜트다운’이란 원자로 냉각장치 정지로 인한 노심 용융을 가리키는 말이다. 이런 사고는 일본 후쿠시마 원전 사고에서처럼 지진이나 쓰나미 등 자연재해로 발발하기도 하지만, 부주의한 검사나 일상적인 실수로도 발생한다. 전자와 후자 중 직접적인 원인이 무엇이든 사고는 걷잡을 수 없이 빠른 속도로 진행되며, 그 결과는 끔찍한 참사로 이어진다. 오늘날 벌어지는 모든 참사는 그 원인과 속도, 그리고 결과 면에서 일종의 ‘멜트다운’이다. 이 책의 두 저자는 시스템 붕괴로 인해 발생하는 ‘멜트다운’들을 폭넓게 분석하고, 오늘 우리가 대비해야 할 ‘멜트다운’의 시나리오들과 그 실천적 해법을 제시한다.

목차

프롤로그: 평범한 어느 날

1부 실패로 가득한 세상

1장 위험구역
1. 뭔가가 잘못됐다
2. 정상 사고, 조직이 만드는 참사
3. ‘소급 오류’라는 무시무시한 결론
4. 긴밀한 결합과 복잡도
5. 스타벅스가 칙 페로의 세계에
떨어졌다

2장 딥워터 뉴 호라이즌스
1. 확장된 ‘위험구역’
2. 복잡하고, 불투명하며,
가차 없는 시스템
3. 안전장치라는 환상
4. 복잡도 속에 몸을 숨긴 절도범

3장 해킹, 사기,
그리고 지면을 차지한 가짜뉴스들
1. POS가 해킹당했다고?
2. 더 똑똑하고 편리해진 위험
3. 악마의 술수가 된 시가평가
4. 그는 거기에 없었다

2부 복잡도 정복하기

4장 위험구역 밖으로
1. 재앙을 낳은 안전장치
2. 단순하고, 투명하게,
여유을 더하는 방법

5장 복잡한 시스템, 단순한 도구
1. 핵발전소보다 나은 대피소는 없었다
2. 고약한 환경과 중요한 결정
3. 경기가 끝나면 이야기는 달라진다

6장 불길한 징조 읽기
1. 하루 60달러의 대가
2. 사라진 열차
3. 주위는 어둡고, 지시는 모호했다
4. 구사일생상황보고서 작성하기

7장 반대의견의 진면목
1. 죽음을 불러온 ‘시체 냄새’
2. 반대의견의 중요성
3. 경고신호에 귀를 기울이기

8장 과속방지턱 효과
1. ‘무죄추정 효과’가 불러온 재앙
2. 다양성 전담반 가동하기
3. 비전문성이 조직을 구한다

9장 낯선 세계의 낯선 사람들
1. 컴퓨터가 철창을 열어주다
2. 모든 권력을 이방인에게!
3. 배타성을 키우는 우물 안 개구리
4. 일탈의 정상화가 일으킨
챌린저호의 재앙

10장 놀랐지!
1. 무조건 도착 증세에 저항하기
2. 긍정적 순환을 위한 ‘잠깐 멈춤’
3. 다른 모든 사람의 임무를
알아야 합니다

에필로그: 멜트다운의 황금시대

감사의 말
주석
찾아보기

책 속으로

제트엔진에서 가정용 온도조절기까지, 새로운 기기 수십억 대가 이제 사고 및 공격에 취약한 거대하고 복잡한 시스템, 흔히 사물인터넷Internet of Things이라고 부르는 연결망의 일부를 이루고 있다. 예를 들어, 이미 무선 인터넷 연결을 지원하는 ‘스마트’ 세탁기와 드라이어를 생산하는 제조사들이 있다. … 스마트 드라이어에 보안 결함이 있다면 원격으로 접속한 해커가 프로그램을 조작해 모터를 과열시켜 화재를 발생시킬 수 있는 것이다. 보안이 취약한 드라이어를 둔 집이 1000곳만 돼도 해커 한 명이 중소 도시 하나를 발칵 뒤집어놓을 수 있다.
_3장 | 해킹, 사기, 그리고 지면을 차지한 가짜뉴스들 중에서

에너지 거대 기업 엔론의 책임자였던 패스토와 동료들만큼이 나 이익을 위해 복잡도를 악용한 집단은 아마 없을 것이다. … 페스토가 엔론의 부채를 숨기고, 수익을 부풀리고, 수천만 달러를 몰래 자기 호주머니에 넣기 위해서 복잡한 금융 구조를 이용한 사실도 확연히 드러났다. … “통나무 하나를 숨기려면 숲에다 집어넣으면 돼요.” 미시간주 의회 의원인 존 딩겔John Dingell은 이렇게 말했다. “지금 우리는 기가 막히게 복잡한 금융보고서의 일례를 보고 있습니다. 그들은 거짓말을 할 필요가 없었어요. 극도로 복잡한 구조 속에 애매하게 섞어두기만 하면 됐죠.” … 페스토는 나중에 이렇게 설명했다. “회계 규정과 규제, 증권 법률과 규제는 모호합니다. 복잡하죠……. 엔론에서 내가 한 일과 회사로서 우리가 [하던] 일은 그 복잡도, 그 모호함을 문제가 아니라 기회로 본 것입니다.” 복잡도는 기회였다.
_3장 | 해킹, 사기, 그리고 지면을 차지한 가짜뉴스들 중에서

안전장치는 확실히 매력적이다. 예측할 만한 실수를 막아주기 때문에 가능한 한 많이 사용하고 싶어진다. 그러나 안전장치는 그 자체가 시스템의 일부가 되어 복잡도를 높인다. 복잡도가 증가할수록 예상치 못한 요인 때문에 실패를 마주할 가능성이 커진다. 역효과를 낳는 안전장치는 여분만이 아니다. 집중치료실 다섯 곳의 침대 머리맡 경보를 연구한 결과 불과 한 달 사이에 뜬 경보가 250만 건인데 그중 40만 건 정도는 경고음도 울렸다. 그 말은 경보가 초당 한 개씩 뜨고 8분에 한 번씩은 경고음이 울렸다는 것이다. 경보 중 90퍼센트 가까이가 거짓양성false positive이었다. 옛 우화에서처럼 8분에 한 번씩 늑대가 왔다고 외친다면 사람들은 곧 관심을 잃을 것이다. 더 큰 문제는 실제로 심각한 사건이 발생할 경우, 무수히 뜨는 경보 중에서 사소한 것들을 제치고 중요한 경보를 찾아내기가 어려워진다는 것이다.
_4장 | 위험구역 밖으로 중에서

우리가 안전띠를 채우는 이유는 구체적으로 어떤 사고가 발생해 어떻게 다칠지 정확히 예상하기 때문이 아니다. 정신없는 명절 저녁 식사를 준비할 때 여유시간을 두는 이유는 무엇이 잘못될지 알아서가 아니라 무엇인가 잘못될 수도 있다는 걸 알기 때문이다.
_4장 | 위험구역 밖으로 중에서

아네요시 남쪽 200마일 거리에는 후쿠시마제1핵발전소가 있다. 지진이 나자 발전소 원자로가 멈췄다. 비상 발전기가 작동해 아직 뜨거운 핵연료를 식히기 시작했다. 모든 것이 계획대로 돌아가는 듯 보였다. 그러나 지진 후 한 시간도 채 안 돼 쓰나미가 몰아닥쳤다. 파도가 제방을 넘어 들어와 발전기를 덮쳤다. 냉각 시스템이 고장 나고, 원자로가 과열되기 시작하더니 곧 녹아내렸다. … 지난 25년 사이에 발생한 세계 최악의 핵 사고였다. 그러나 막을 수 있는 일이었다. 일례로 진앙에 훨씬 가까웠던 오나가와핵발전소는 심지어 쓰나미가 주변 마을을 초토화시켰는데도 거의 별이 탈 없었다. … 그 주민 중 한 명은 이렇게 회상했다. “그때는 핵발전소보다 더 나은 곳은 없었어요.” 핵발전소보다 더 나은 대피소는 없었다. 오나가와는 왜 그렇게 달랐을까?
_5장 | 복잡한 시스템, 단순한 도구

고약한 환경에서 일하는 사람들은 결코 이런 종류의 전문성을 개발할 기회를 누릴 수 없다. 연구에 따르면 이런 사람은 시간을 충분히 주어도 더 나은 판단을 하지 못한다. 일례로 한 실험에서는 출입국 관리관이 신분증 사진과 외모가 일치하지 않는 사람을 일곱 번에 한 번씩 통과시켰다. 경험 많은 관리관들이 보여준 실력은 똑같은 실험에 참여한 학생들과 다를 바 없이 나빴다. 마찬가지로 경찰관이 거짓말을 파악하는 능력도 훈련받지 않은 학생들보다 별반 나을 게 없었다. 그리고 고약한 환경에 처한 사람들은 별 상관없는 요소에 근거해 결정을 내리는 일이 잦다.
_5장 | 복잡한 시스템, 단순한 도구

경기 후에는 이야기가 달라진다. 결과가 확실하면 우리는 더욱 자세한 설명을 내놓을 수 있는데, 사전부검은 바로 그러한 경향성을 끌어낸다. 그저 결과를 상상해보기만 해도 원인을 바라보는 틀이 달라진다. 그

출판사 서평

모든 곳이 ‘위험구역’이다!
기술 고도화가 만든 ‘편리한 위험’들

“아무도 계산을 확인하지 않은 채 컴퓨터가 말하는 대로 따르기만 했다.
컴퓨터가 자동으로 철창을 열어준 셈이었다.”

2015년 5월 어느 저녁, 상점에서 총격 사건으로 한 소년이 사망했다. 범인은 강도 및 폭행으로 복역하고, 2주 전 석방된 제러미야 스미스였다. 그런데 이 사건에 책임을 지고 사임한 인물은 경찰서장이나 경찰총장이 아닌 워싱턴주 교정국장 댄 파콜크였다. 워싱턴주 교정국에 도입된 재소자 관리 시스템에는 문제가 있었다. 시스템 오류로 재소자들의 복역 기간을 잘못 계산하고 있었고, 이 때문에 3개월 이상 일찍 석방된 범인이 다시 범죄를 저지르면서 무고한 희생이 또다시 발생한 것이다.
사건이 발생하기 3년 전, 다른 사건의 피해자 가족 중 하나가 간단한 계산으로 출소일 오류를 알아차렸고, 교정국에 알렸다. 하지만 재소자 관리 프로그램을 수정하는 데에는 3년이 걸렸다. 그 사이에도 평균 2개월에서 수년까지 잘못 계산된 석방일에 범죄자들은 출소하고 있었다. 아무도 컴퓨터를 의심하지 않았고, 위험은 계속해서 커지며 모습을 드러낼 날을 기다리고 있었다.
컴퓨터 기술에 사회 시스템 전반이 의존하고 있는 사회에서 위험과 사고는 더 흔하고 잦게 우리 삶을 파고든다. 이 책에서 다룬 ‘멜트다운’에는 핵발전소, 비행사고, 우주탐사선 발사 사고 등 우리가 ‘참사’와 ‘재난’이라는 단어에서 금세 떠올릴 수 있는 사고들부터 자율주행차, 현금인출기, 주식시장과 금융시장, 그리고 우리가 재난과 연결시키려 생각해 본 적도 없는 모든 일상적 상황들까지 포함된다.
이전에는 핵발전소, 항공 및 우주산업 등 기술 집약적인 산업분야 일부에서만 이런 ‘멜트다운’이 벌어졌다. 극도로 복잡하고 전문화된 기술 때문에 전체적 관점에서 문제 상황을 파악하거나 대비하기 어려웠기 때문이다. 하지만 오늘날에는 이런 고도화된 기술이 어디에나 적용되어 있다. 특히 컴퓨터 기술의 발달은 우리가 눈을 뜨는 순간부터 감는 때까지 생활 모든 곳에 녹아들었다. 버스나 지하철, 택시 같은 대중교통 수단을 이용할 때, 편의점에서 물건을 계산할 때도 우리는 이제 ‘멜트다운’의 사정권 안이다.
『멜트다운』에서는 지금까지 우리가 맞닥뜨려온 여러 ‘위험구역’의 면면으로 치밀하게 파고들며, ‘막을 수 있었던’ 참사가 아닌 ‘막아낼 실패’의 목록을 늘려나갈 것을 제안한다.


매일 ‘재난 문자’를 받는 시대
‘일탈의 정상화’를 경계하라!

“경고음은 8분마다 울렸다. …8분에 한 번씩 늑대가 나타났다고 외친다면
사람들은 곧 관심을 잃을 것이다.”

‘멜트다운’을 부르는 근본적 원인은 ‘시스템에 대한 무관심한 신뢰’다. ‘멜트다운’이 다가오는 신호는 확실히 알아보기 어렵다. 하지만 두 저자는 반드시 신호가 존재한다고 말한다. 모든 재난에서 경고 신호는 무수히 존재했고, 우리는 너무 잦아서 일상이 된 경고 신호를 무시했을 뿐이라고 말한다.
항공 산업은 ‘멜트다운’이 발생하기 쉬운 전형적인 고위험 산업이다. 지난해 10월에 이어 6개월 만에 재발한 보잉 737맥스 추락사고 역시 전형적인 ‘멜트다운’ 사고다. 보잉이라는 굴지의 항공산업체가 갖춘 생산 시스템, 기체를 검증한 미 정부의 시스템, 그리고 최신 기술이 적용된 컴퓨터 시스템에 대한 무관심한 신뢰가 반복된 참사로 이어진 것이다.
두 건의 추락사고 모두에서 보잉 맥스 기종에 탑재된 최첨단 장비인 조종특성향상시스템(MCAS)과 받음각(AOA)센서가 사고의 직접적인 원인으로 지목되고 있다. 기체 탑재 이전에도 이 두 프로그램에는 안전성 문제가 제기되었다. 그럼에도 기체를 납품한 후 인도네시아 항공 소속 편에서 첫 번째 추락사고가 일어나고 나서야 보잉은 문제의 기능을 연말까지 보완하기로 약속했다. 하지만 그 약속조차 지켜지지 않으면서 에티오피아 항공 소속 편 사고로 이어진 것이다. 결국 보잉사가 시스템 업데이트 조치를 취한 것은 두 번째 참사가 벌어진 후였다. 한국을 포함한 세계 각국으로 문제 기종이 판매되고 운행되는 중에도 보잉사와 당국의 감사, 검증 시스템은 곳곳에서 나타난 경고 신호를 무시했던 것이다.
저자들은 인간이 기본적으로 직관에 의존하도록 설계된 존재라 말한다. 기계 시스템, 검증 시스템의 사소한 오류가 문제로 드러나지 않은 채 잠복해 있으면, 오류를 품은 시스템은 점차 ‘정상’으로 인지된다. 이렇게 결과로만 시스템의 정상 여부를 판단하는 경향인 ‘결과편향(outcome bias)’은 ‘일탈의 정상화’를 낳는 주범이다. 이렇게 정상으로 탈바꿈한 일탈들이 쌓여 참사로 불거진다. 저자들은 ‘일탈의 정상화’를 막기 위해 문제를 수집하고, 드러내고, 공유하는 비일상화(amornalizing)의 과정의 필요성을 역설냘磯
완벽한 시스템은 없다
하지만 실패를 막을 해법은 반드시 있다!

“상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것이다”

‘시스템’이란 인간이 안전과 편의를 위해 설계한 도구다. 기계와 같은 물리적인 시스템이 될 수도 있고, 국회나 회사의 이사회처럼 중요한 의사결정을 위해 만든 조직이 될 수도 있다. 그리고 실제로 사회 곳곳에 도입된 다양한 시스템들은 목적에 걸맞게 작동하고 있는 것처럼 보인다. 하지만 인간이 완벽할 수 없듯, 인간이 설계한 시스템 역시 완벽할 수 없다. 시스템에는 반드시 실수와 실패가 따른다. 하지만 문제는 우리가 이 시스템에서 한순간도 벗어날 수 없다는 사실, 그리고 컴퓨터와 통신 기술 발달로 더 복잡하고 촘촘하게 짜이게 된 이 시스템이 어디서부터 어떻게 무너질지 상상하기 어렵다는 사실에 있다. 또한 과거의 시스템들은 비교적 느리고 불편했지만 그렇기 때문에 누구든 ‘직관적’으로 문제 상황을 파악하고 해결할 수 있었다. 하지만 오늘날의 시스템은 편리하고 빨라진 만큼 붕괴도 쉽고 빠르다. 전문화된 여러 분야가 결합한 오늘날의 시스템은 전문가라도 문제를 쉽게 파악하기 어렵게 한다.
그럼에도 저자들은 사고가 반복되는 오늘날의 “상황은 나빠지고 있는 게 아니라 ‘달라지고’ 있는 것”이라 진단한다. ‘달라지고’ 있는 환경에도 대응방식을 바꾸지 못한 채 직관에 의존할 때에 실패가 반복되는 것이다. 그렇다면 이제 우리가 할 일은 명확하다. 반드시 찾아올 시스템 붕괴, 즉 ‘멜트다운’의 신호들을 놓치지 않고, 적절한 대응 방법을 세우는 것이다.
이 책에서는 ‘멜트다운’의 근본적인 원인 중 하나가 ‘고약한 환경’에 있다고 말한다. 짧은 기간에 높은 성과를 요구하는 ‘속도전식’ 계획과 실행, 문제 상황을 발견한다 해도 드러내지 못하게 만드는 수직적 의사소통 구조, 실패에 대한 낮은 포용성, 다양성이 부족한 조직 구성, 특히 의사결정권을 가진 집단 내 다양성 결핍. 이런 문제들은 실제 ‘멜트다운’으로 직결되는 실수들처럼 예측이 불가능하고 눈에 보이지 않아서 해결할 수 없는 난제가 아니다. 누구든 의지만 있다면 개선을 시작할 수 있다. 『멜트다운』에는 부정확한 직관을 보완해줄 다양한 도구들, 무관심한 상태로 보내는 시스템에 대한 신뢰를 막는 긍정적인 순환 구조 등 경직된 개인과 조직, 사회를 움직이게 할 실천적 제안들이 담겨 있다.

소셜미디어부터 핵발전소, 금융시장까지 ‘멜트다운’의 발생 범위는 기존 상식과 상상력을 넘어섰고 ‘위험’은 숨 쉬듯 당연해 오히려 무감한 무엇이 됐다. 그럴수록 매일 울리는 ‘재난 경고’를 진지하게 받아들이는 사람들은 점점 더 줄어들고 있지만, 재난의 범위와 숫자는 매일 늘어만 간다. 더는 재난의 나날들을 정상 상태로 여겨선 안 된다고, 저자들은 강조한다. “시스템 대부분을 근본적으로 바꿀 수는 없더라도 그 안에서 움직이는 방식은 바꿀 수 있다”고 말하는 저자들은 “내부고발자, 이방인, 경청하는 리더들”이 더 많이 이 논의에 참여하고, 행동하기를 청한다. 확실히 우리는 ‘멜트다운의 황금시대’에 살고 있다. 수많은 ‘멜트다운’들은 우리를 좌절시킨다. 하지만 실패 앞에 좌절하는 것만으로 변화는 오지 않는다. 실패를 직시하고, 직관과 관성을 거부하기 위한 명확한 지침을 마련하고, 지침이 잊히지 않도록 끊임없이 노력할 유연한 조직을 시스템에 갖추어야 한다. 이제 ‘시도하려는 확신’만이 필요할 뿐이다

작가정보

저자(글) 크리스 클리어필드

하버드대학교에서 물리학과 생물학을 전공했다. 현재는 사고 관리 컨설팅 회사인 ‘시스템 로직System Logic’을 운영하고 있다. 과거 뉴욕에 근거지를 둔 투자 회사에서 파생상품을 판매하는 동안 리먼브러더스와 AIG가 무너지고 세계 주식시장이 붕괴하는 것을 지켜보았다. 도쿄에 체류하는 동안에는 후쿠시마 원전 사고가 일어났고, 허리케인 샌디가 뉴욕을 덮쳤을 때에도 그곳에 있었다. 이러한 일련의 사건을 겪는 동안 우리가 믿어 의심치 않는 가장 중요한 시스템이 얼마나 부서지기 쉬운 것인지를 깨달았고, 다른 조직보다 특별히 위기관리에 능한 조직이 있다는 걸 알게 되었다. 재난으로 인한 실패와 기술, 금융 등을 주제로 《가디언》, 《포브스》, 《하버드 비즈니스 리뷰》 등에 글을 써 왔으며, 콜럼비아대학교, 프린스턴대학교, 뉴욕시 재해관리국을 비롯한 다양한 곳에서 강연을 했다.

저자(글) 안드라스 틸시크

웨일즈의 애틀랜틱대학교에서 공부하고 하버드대학교에서 박사 학위를 받았다. 현재 토론토대학교 전략관리 분야 교수로 있으며, 스타트업 회사를 지원하는 ‘창의적 파괴 연구소’ 소장이다. 학자로서는 리처드 스콧 상, 경제학 분야 최고 논문상, 제임스 톰슨 상 등 미국사회학회에서 수여하는 상을 여럿 받았다. 그 밖에도 하버드대학교, 스탠포드대학교, 예일대학교, MIT, 세계은행, 유엔을 비롯한 다양한 대학, 기관에서 초청받아 강연했다. 최근 관심사는 금융 부문에서 발생하는 위기이며, 환경적 위험을 줄일 수 있는 기업 관행도 주요 연구 분야이다.

번역 장상미

대학 졸업 후 10년 동안 시민단체 ‘함께하는 시민행동’ 활동가로 일했다. 2012년부터는 자율적이고 독립적인 활동을 추구하며 ‘어쩌면사무소’라는 공간을 만들고, 7년간 운영했다. 거주하던 재개발 지역의 마지막 모습을 기록한 독립출판물 『지금은 없는 동네』(어쩌면, 2017)와, 어쩌면사무소의 전후 과정을 기록한 『어쩌면 이루어질지도 몰라』(슬로비, 2018)를 썼다. 옮긴 책으로는 『세대를 뛰어넘어 함께 일하기』(슬로비, 2015), 『재난불평등』(동녘, 2016), 『일하지 않을 권리』(동녘, 2017) 등이 있다