보호받고 있다는 착각

온라인 검열은 누구를 위한 것인가

질리안 요크 지음 | 방진이 옮김

책세상 2022년 08월 31일 출간 종이책 : 2022년 06월 24일 출간

작품소개

책소개

테크기업들은 어떻게 표현의 자유를 통제하고
권력과 이익을 창출하는가

이 책의 주제는 거대 플랫폼과 그들의 검열, 그리고 그것이 사용자에게 미치는 영향과 그 대안이다. 저자 질리안 요크는 10여 년간 페이스북, 트위터, 인스타그램 등 실리콘밸리의 플랫폼 기업들이 초창기부터 현재까지 어떻게 그들 플랫폼에 올라온 언어 표현과 이미지, 영상들을 관리해왔는지, 그리고 그 관리 방식이 플랫폼 사용자들에게 어떤 영향력을 행사해왔는지를 연구하며 관련된 인사들과 중요한 교류를 이어왔다.
플랫폼 대기업과 정부들이 결합한 감시 자본주의가 표현의 자유에 미치는 영향은 한 나라의 정권을 바꿀 수도 있고, 반정부 민주시위를 철저히 고립시킬 수도 있다. 또한 억압받는 소수자 단체를 무자비하게 탄압하는 데 도움을 줄 수도 있으며, 세계 곳곳의 인권운동가들이 연대하는 것을 돕거나 방해하는 역할을 할 수도 있게 되었다.
인터넷은 한때 돈이나 정치가 통제할 수 없는 자유가 보장되는 환상적인 장소가 될 것이라고 생각되었던 때가 있었다. 그러나 오늘날 대기업과 거대 플랫폼은 정보를 수집하고 지식을 공유하는 능력이 어느 국가 정부보다 더 강력해졌다. 저자는 여러 세계사적 사건들과 역사의 소용돌이 속에서 디지털 권리를 둘러싼 ‘전쟁’을 목격해왔고, 플랫폼 대기업이 자신들의 커뮤니티 규정과 정책을 통해 어떻게 무책임한 검열의 주인공이 되었는지, 그리고 그것이 검열을 받은 사람들에게 어떤 충격적인 영향을 끼쳤는지를 생생한 인터뷰를 곁들여 들려준다.
또한 플랫폼들이 표현의 자유를 억압함으로써 자사에 이익이 되도록 미래의 강대국과 동맹을 맺은 방법, 그들이 개인 데이터를 수집하여 이를 기업의 이익으로 연결시키려는 욕망으로 인해 우리의 권리가 어떻게 점점 훼손되고 있는지를 살펴본다. 그리고 정부가 플랫폼과 동일한 기술을 사용하여 자국민을 겸열하고 위협하는 모습도 보여준다. 저자는 우리의 일상과 사적인 생각이 전례 없는 방식으로 실리콘밸리의 플랫폼 기업들에 의해 통제되고 있음을 강조하며, 정치적 논쟁과 증오심 표현의 차이를 누가 결정하는지, 이것이 우리의 정체성과 커뮤니티를 만들고 저항하는 능력에 어떤 영향을 줄 수 있는지, 그리고 과연 누가 빅브라더와 같은 이러한 거대 플랫폼과 빅테크기업들을 규제할 수 있는지 묻는다. 이에 대한 답으로 민주주의에 대한 이러한 플랫폼들의 위협에 대응하여 변화와 자신의 데이터에 대한 소유권의 새로운 형태를 요구하는 사용자 주도 운동을 강조한다.

목차

들어가는 글

1장 새로운 문지기들
2장 오프라인의 탄압이 온라인에서 재현되다
3장 소셜미디어 혁명가들
4장 사람보다 수익이 먼저
5장 극단주의에는 극단적인 조치가 필요하다
6장 빅토리아 시대를 살아가는 21세기 현대인들
7장 성과의 전쟁
8장 인간에서 기계로
9장 혐오의 전염성
10장 미래는 우리가 써 내려가는 것

주

출판사 서평

온라인 플랫폼에서 어떤 표현이 허용되고 금지되는가?
그것을 결정하는 콘텐츠 관리 규정은 누가 만드는가?

저자는 오랜 기간 온라인과 가상세계에서 언론의 자유 논쟁의 최전선에 있었다. 그녀는 2011년 전자프론티어재단에서 일하기 시작했으며, 모로코에서 아랍의 봄까지 이어지는 캠페인에 참여했다. 우리의 삶을 중재하는 플랫폼이 우리가 보고 읽고 쓰는 것을 감시하고 관리 및 검열하는 방법에 대해 누구보다 많이 알고 있는 저자는 오프라인(현실세계)에서의 억압이 온라인(가상세계)에서도 똑같이 되풀이되고 있다고 말한다.
10여년 전 페이스북으로부터 시작해서 초창기 온라인 플랫폼들은 콘텐츠 관리 규정이 단지 소수의 관련 업무를 맡은 직원에 의해 주먹구구식으로 만들어졌고, 이후에 여러 가지 사건을 겪으며 외부의 전문가 의견을 청취하기도 하고 관련 정부와 협의하기도 하면서, 때로는 플랫폼 CEO의 임의적인 판단으로 변화를 취해왔다.
하지만 콘텐츠 관리에서 모호하고 어려운 문제는 끊임없이 발생했다. 과연 플랫폼에 올라오는 디지털 콘텐츠는 누가 관리하고, 공공 영역이 민영화된 플랫폼이 되면서 누가 감시자를 감시할 것인지, 자동화 알고리즘이 혐오 표현을 올바로 걸러낼 수 있는지, 선전과 항의의 차이를 구별할 수 있는지 등 인터넷의 회색지대라고 할 수 있는 문제다.
아랍의 봄 동안의 억압적인 시위부터 홀로코스트 부정이나 혐오 표현에 대한 허용에 이르기까지, 그리고 모유 수유 중인 엄마나 두 남자가 키스하는 사진을 내리는 것을 피드의 맥락과 상관없이 차단시키는 것이 그런 예들이다.
정부는 플랫폼들의 이러한 콘텐츠 관리에 개입을 특별히 하지 않았고, 이 공백은 실리콘밸리 플랫폼 기업의 최고위층을 이루고 있는 백인 미국인에 의해 채워졌고, 그들이 미국의 가치관과 자기 계층의 이익을 콘텐츠 관리 규정에 투영하고 있다고 저자는 말한다. 또한 디지털 식민주의와 같이 실리콘밸리가 마치 신흥 제국처럼 행동하고, 그들 앞에 있는 모든 것을 거세게 정복하며, 우리가 정보에 접근하고 의사소통하는 방식을 사유화했다고 설명한다. 결론적으로 저자는 기술 경영진이 아니라 사용자가 온라인에서 언론의 자유를 구성하는 요소를 결정해야 한다고 주장한다.

플랫폼의 콘텐츠 관리 체계가 표현의 자유를 왜곡하다
저자는 표현의 자유라는 가장 중요한 가치가 빅테크기업의 최고위 소수 인물들의 재정적 전망과 영향력 있는 로비에 의해 통제되고 억제된다는 사실에 주목한다. 이집트의 경찰 폭력 및 기타 학대에 대해 폭로한 와엘 아바스와 같이 영향력 있는 활동가의 트윗과 게시물은 관련 정부 또는 권력자의 압력에 의해 소셜미디어에서 삭제됐다. 이것은 인류의 기본권인 표현의 자유에 위배되는 것이라고 말하는 저자는 페이스북의 콘텐츠 관리 체계에 대해 비판한다.
페이스북에는 세 계층에 걸쳐 콘텐츠 관리 직원이 있다. 그중 3등급의 최하위 직원들은 끔찍한 이미지를 보고 하루 종일을 게시물을 삭제하거나 유지시켜두는 즉각적인 결정을 내리는 데 보내야 한다. 이 직원들은 빈약한 급여에 정신건강 지원이 절대적으로 부족한 것은 말할 것도 없고 낮은 수준의 교육도 받지 못한다.
이러한 현실을 개선하고 전 세계적으로 인권의 기본 정신을 보존하기 위해 GNI(Global Network Initiative)가 통합되었고, 야후!는 구글, 마이크로소프트와 함께 창립 멤버로 참여했으며 수많은 NGO, 학술기관 및 주주 그룹이 이 조직에 합류했다. 이후 페이스북, 구글, 마이크로소프트, 트위터는 테러리즘에 대응하기 위한 글로벌 인터넷 포럼(Global Internet Forum to Counter Terrorism, GIFCT)을 만들기 위해 함께 뭉쳤는데, GIFCT의 목적은 ‘회원들의 디지털 플랫폼에 대한 테러리스트의 남용을 막는 것’이었다. 그러나 ‘테러’ 등의 용어 정의가 미흡해서 GIFCT의 작업에 아쉬움이 있었다.
저자는 또한 미국 정부의 SESTA-FOSTA 법안 공포에 따른 성노동자들의 게시물 게시 중단과 같은 콘텐츠 관리에서의 위험성을 강조한다. 고객 선택 및 기타 안전 조치에 대한 정보를 얻기 위해 온라인 네트워크에 의존했던 많은 성노동자들이 위기에 처하기도 했다. 한편 기술 지원 콘텐츠 관리에서도 우려되는 점이 발생한다. 빅테크 기업은 인공 지능 및 기계 학습 도구를 사용하여 콘텐츠 관리를 시도하지만 때로는 엉뚱한 결과를 가져오기도 한다고 말한다. 예를 들어, 영어 마을 ‘Scunthorpe’의 주민들은 알파벳 ‘S’와 ‘h’ 사이에 있는 단어가 일반적인 욕설을 나타내기 때문에 계정이 삭제되거나 등록을 거부당한 일, 런던의 ‘Horniman Museum’은 필터가 ‘Horniman’을 ‘hornyman’과 유사하게 인식하기 때문에 자체 스팸 필터가 메일을 차단한 일 등이다. 콘텐츠 관리에 내재된 또 다른 문제는 지역 언어 또는 모국어에 대한 전문

작가정보

저자(글) 질리안 요크

저자 : 질리안 요크
Jillian C. York
저널리스트이자 사회운동가. 빙햄튼대학교에서 사회학을 공부한 후 모로코에서 연구와 강의를 했다. 현재 비아드리나 유럽대학교 ‘인터넷과 인권을 위한 센터’ 연구원, 유럽대학교 객원 교수, 인권 단체 ‘전자프런티어재단Electronic Frontier Foundation’ 이사직을 동시에 해내고 있다. 2000년부터 《가디언》, 《블룸버그》, 《포린 폴리시》 같은 언론 매체와 알자지라Aljazeera 방송을 통해 권력층의 감시와 언론의 자유, 인권에 관한 의견을 대중에게 전하고 있다. 2011년 《포린 폴리시》가 뽑은 ‘소셜미디어 지식인 100명’에 선정되었다.

역자 : 방진이
연세대학교에서 정치외교를, 같은 대학 대학원에서 국제무역 및 국제금융을 공부했다. 공부가 좋아서 시간 가는 줄 모르고 살다가 인연이 닿아 번역의 길로 들어섰다. ‘공부해서 남 주는 번역가’를 목표로 펍헙 에이전시에서 전문 번역가로 활동하고 있다. 옮긴 책으로 《인공지능 시대가 두려운 사람들에게》, 《가장 단호한 행복》, 《디지털 화폐가 이끄는 돈의 미래》, 《우연한 생》, 《채식 클럽 회원증》, 《나의 첫 배우 수업》 등이 있다.

번역 방진이