AI 알고리즘과 규제

김윤명 지음

커뮤니케이션북스 2025년 10월 31일 출간 국내도서 : 2025년 10월 31일 출간

작품소개

책소개

인공지능 알고리즘은 자체로 중립적일 수 없다. 이는 개발 과정 또는 학습 과정에서 의도하든 그렇지 않든 인간의 의지가 반영되기 때문이다. 따라서 알고리즘을 포함해 기술을 객관적인 것이라고 판단하는 우를 범해서는 안 된다. 알고리즘은 이용자에게 일관된 결과를 보여 줌으로써 그것이 객관적인 것이라고 오인하도록 유도한다. 광고 사업자가 제공하는 광고를 예로 들 수 있다. 광고 사업자들이 내보이는 결과는 전혀 중립적이지도 객관적이지도 않지만 결과에 급진적 차이가 없기 때문에 이용자는 객관적으로 오인한다.

목차

왜, AI 알고리즘과 규제인가?

01 알고리즘
02 블랙박스
03 편향과 차별
04 알고리즘의 권력화
05 알고리즘 규제
06 알고리즘 투명성과 설명요구권
07 알고리즘 공개
08 알고리즘의 영업비밀 이슈
09 알고리즘 영향 평가
10 시사점

책 속으로

인간의 관여가 줄고, 기계화된 알고리즘이 스스로 의사 결정을 내리는 상황에 대한 책임과 대응을 어떻게 할 것인지에 대한 고민이 필요하다. 그러기 위해서는 알고리즘이 어떤 의도를 가지고, 어떻게 기능하였는지, 그 과정에서 어떤 데이터를 학습하거나 변수 범위를 어떻게 설정했는지 등 해당 알고리즘의 설명 가능성을 담보할 수 있어야 한다.
－01_“알고리즘” 중에서

의식적 편향과 무의식적 편향 중 전자는 의도적인 경우라서 수정이 가능하지만, 후자는 의도성이 반영된 영역을 확인하기가 쉽지 않기 때문에 수정이 어렵다. 블랙박스화되어 인간이 처리 과정을 확인할 수 없고, 그 처리 결과만을 확인할 수 있기 때문에 대응이 쉽지 않다.
－03_“편향과 차별” 중에서

알고리즘 권력화는 알고리즘에 의한 권력화라기보다는 알고리즘을 이용한 권력화라는 표현이 타당하다. 사업자의 대부분은 알고리즘을 도구적으로 활용하여 영향력을 행사하는 것이기 때문이다. 알고리즘 권력화는 알고리즘을 활용하는 기업의 힘이 그만큼 커지고 있다는 의미다.
－04_“알고리즘의 권력화” 중에서

알고리즘이 가져오는 다양한 문제를 해결해야 할 주체는 플랫폼 사업자다. 규제 당국이나 이용자는 문제 제기를 할 수 있을지언정, 바람직한 알고리즘의 방향을 제시하기는 어렵기 때문이다. 플랫폼 사업자들은 자발적으로 알고리즘의 작동 방식과 원칙을 공개하거나 설명하려는 노력을 해야 한다. 또한 소비자와 관련 업계 종사자는 알고리즘 설명요구권을 남용하지 않고 적절하게 사용해야 한다.
－08_“알고리즘의 영업비밀 이슈” 중에서

출판사 서평

AI 알고리즘, 인간의 의도를 닮은 블랙박스 - 기술의 권력화와 규제의 필요성
알고리즘은 인간의 사고를 자동화하는 프로그램으로, 기술이 아니라 인간의 의도와 가치가 반영된 사회적 산물이다. 그러나 오늘날 플랫폼 사업자가 이를 독점하면서 알고리즘은 강력한 권력으로 기능하고 있으며, 이에 따른 불투명성과 불공정 문제가 대두되고 있다. 인공지능 알고리즘은 결코 중립적일 수 없다. 개발자나 학습 데이터의 선택 과정에서 인간의 편향과 가치판단이 개입되기 때문이다. 이용자에게 일관된 결과를 제시함으로써 객관적인 것처럼 보이게 하지만, 실제로는 인간의 선택이 내재된 주관적 결과를 보여주는 것이다.
AI의 작동 원리는 종종 ‘블랙박스’로 불린다. 그 내부에서 어떤 과정을 거쳐 결과가 산출되는지 명확히 설명하기 어렵기 때문이다. 하지만 이는 인간의 의사결정 과정 또한 직관과 감정이 섞여 불완전하다는 점에서 유사하다. 따라서 ‘설명 가능한 AI’라는 요구는 기술의 명확성에 대한 인간의 기대를 반영하지만, 동시에 인간 자신에 대한 불일치된 태도를 드러낸다. 기술의 불완전성을 인정하고, 그에 맞는 법적·윤리적 책임 체계를 마련하는 것이 현실적 해법이다.
AI는 인간의 한계를 넘어서려는 시도이지만, 여전히 인간이 설계하고 통제하는 도구다. 로봇이나 알고리즘이 내린 판단의 책임은 그 결과를 활용한 인간에게 귀속된다. 특히 데이터의 신뢰성, 편향성, 출처 확인은 법적 책임과 직결되며, 이를 명확히 할 제도적 장치가 필요하다. AI 규제는 기술 억제가 아닌 투명성·신뢰성·공정성 확보를 위한 사회적 장치다.
학습 데이터는 인간이 만든 기록을 기반으로 하므로, 그 속의 편견이 그대로 전이될 수 있다. 이를 해결하기 위해서는 데이터 관리 단계부터 모델 평가, 도입, 모니터링에 이르는 ‘기계학습 수명주기’ 전반에서 투명성을 강화해야 한다. 알고리즘 공개는 이를 실현하는 핵심 수단으로, 일정한 조건 아래 공익적 목적에서 제한적 공개가 필요하다. 다만 영업비밀 보호와 균형을 이루는 제도 설계가 병행되어야 한다.
미국과 유럽 등에서는 이미 알고리즘의 사회적 영향 평가와 설명요구권을 제도화하고 있다. 특히 공공서비스 영역에서 알고리즘이 의사결정을 보조하거나 대체할 경우, 시민은 그 결정의 이유를 요구할 권리를 가져야 한다. 이는 기술 규제가 아닌 기본권 보장의 연장선이다.
결국 AI 알고리즘 규제는 인간의 존엄성과 평등, 공정성을 지키기 위한 사회적 합의 과정이다. 알고리즘의 객관성을 맹신하기보다, 인간이 만든 기술의 불완전성을 인정하고 그 한계를 관리할 법적·윤리적 기준을 마련해야 한다. 투명성과 책임성이 뒷받침될 때 비로소 AI는 안전하고 신뢰할 수 있는 기술로 자리 잡을 수 있다.

인물정보

저자(글) 김윤명

디지털정책연구소(DPI) 소장이다. 남도의 니르바나, 땅끝 해남에서 태어났다. 광주 인성고등학교와 전남대학교 문헌정보학과를 졸업하고, 경희대학교에서 지식재산법을 전공해 박사 학위를 받았다. 현재는 세종사이버대학교에서 정보보호학을 공부하고 있다. 네이버 정책수석, 소프트웨어정책연구소(SPRi)에서 소프트웨어와 인공지능 법제 연구를 맡았으며, 국회에서는 보좌관으로 입법과 정책을 다루었다. 이재명 경기도지사 캠프와 인수위인 새로운경기위원회에서, 그리고 이재명 대통령후보(20대, 21대) 캠프에서 활동했다. 대통령소속 국가지식재산위원회 AI-IP 특위에서 인공지능 시대에 변화하는 지식 재산의 지형을 함께 그렸다. 경희대학교 법무대학원에서 ‘인공지능법’을, 전남대학교 데이터사이언스대학원 ‘데이터사이언스 법과 윤리’를 강의하며 다음 세대를 준비하고 있다.
사유하고 질문하고 기록하는 일은 일상이다. 《블랙박스를 열기 위한 인공지능법》은 교육부 우수학술도서로, 《게임법》, 《게임서비스와 법》, 《인터넷서비스와 저작권법》은 문화체육관광부 세종도서(우수학술도서)로 선정되었다.