인공지능 활용 감시에 따른 기본권 침해 위험과 규범적 대응

• 영문명: Normative Responses to the Risk of Human Rights Violations from AI-Based Surveillance
• 발행기관: 헌법재판연구원
• 저자명: 홍석한
• 간행물 정보: 『헌법재판연구』제11권 제2호, 325~354쪽, 전체 30쪽
• 주제분류: 법학 > 법학
• 파일형태: PDF
• 발행일자: 2024.12.31

국문 초록

인공지능은 방대한 데이터를 기반으로 자율적으로 학습하며 실시간으로 평가와 분석을 수행함으로써목적 달성을 위한 예측과 결정을 한다. 국가는 인공지능을 활용함으로써 늘어나는 공적 과제를 신속하고효율적으로 해결할 수 있다. 그러나 이와 동시에 감시 체제의 고도화와 그에 따른 기본권 침해 가능성이커지므로 이러한 위험을 진단하고 적절한 대응 방안을 마련해야 한다.국가는 인공지능을 활용하여 감시 체제를 구축하면서 개인에 관한 규범적 판단과 평가, 그에 따른 집행을 자동화할 수 있다. 이는 인간의 존엄과 가치에 기초한 개인의 자율성을 억압하고, 자기결정권과 일반적 행동의 자유를 실질적으로 억압하는 결과를 초래한다. 또한 편향성 및 오류 가능성과 같은 인공지능의 한계에도 불구하고 이를 활용한 감시와 그에 기초한 결정을 지속한다면 공적 과제 수행의 정확성과객관성을 훼손하고 불합리한 차별을 영속시킬 수 있다. 또한 민감정보를 포함하여 무수한 개인정보를 수집하고, 개인을 식별하거나 추적할 수 있도록 하여 개인정보자기결정권을 비롯한 사생활 영역에 대한 보호를 침해하기 쉽다. 이 밖에도 감시 활동에 대한 알 권리 보장이 어려울 뿐만 아니라 시간적, 공간적 제약이 없이 이루어지는 광범위하고 정밀한 인공지능 감시는 자기검열을 유발하고 익명성 확보 조치를 무력화하여 표현의 자유를 위축시킬 수 있다.국가가 인공지능 활용에 따른 이점을 충분히 누리도록 하면서도 감시 체제 구축에 따른 기본권 침해의 위험을 최소화할 수 있는 규범적 대응 방안을 마련해야 한다. 이는 국가가 인공지능을 활용하여 감시를 진행할 때 법치주의에 따른 한계를 준수하도록 함으로써 가능할 것이다.우선, 인공지능을 활용한 감시가 명확한 법적 근거를 갖추도록 해야 한다. 공권력 작용에 대한 기존의법제를 전반적으로 검토하여 인공지능 환경에 맞도록 수정하는 한편 인공지능의 고유한 특징 및 위험에부합하는 규범 체계를 새롭게 정립하는 것이다. 국가가 필요한 범위 내에서 인공지능을 활용한 감시를하는 경우 그러한 활동이 투명성과 객관성, 정확성을 확보할 수 있는 장치를 포함하도록 해야 한다. 감시대상자에게 인공지능 활용 감시에 관한 정보를 제공하고, 정보에 대한 실질적 접근 가능성을 보장해야하며, 인공지능의 편향성과 차별 위험을 방지하기 위해 데이터의 품질을 보장하기 위한 장치나 제도를규범에 반영해야 한다. 나아가 인공지능을 활용하기에 앞서 사전에 적합성 및 위험성을 평가하고, 인공지능을 활용하는 전 단계에 걸쳐 감독이 가능하도록 국가기관 내외부에 체계적인 거버넌스를 구축해야한다. 국가의 인공지능 활용 감시를 중립적이고 객관적으로 평가, 감독할 수 있는 제도를 마련하는 한편,사전에 당사자가 감시 및 그에 따른 결정에 참여할 수 있는 절차를 보장하고 부당한 감시와 결정에 대해서는 간편하고 쉽게 권리구제를 도모할 수 있도록 해야 한다.

영문 초록

AI autonomously learns from vast amounts of data and conducts real-timeevaluations and analyses, enabling it to make p redictions and decisions a imed a tachieving specific goals. By utilizing AI, the state can swiftly and efficiently solveincreasing public tasks. However, this also heightens the risk of human rightsviolations due to the advancement of surveillance systems. Thus, it is crucial to assessthese risks and establish appropriate countermeasures.When the state uses AI to build a surveillance system, it can automate normativejudgments and assessments of individuals, as well as the enforcement of relatedactions. This can suppress personal autonomy based on human dignity, effectivelyinfringing on individual self-determination and the freedom to act. Moreover, despitethe limitations of AI—such as bias and errors—if surveillance and decisions basedon it persist, it can undermine the accuracy and objectivity of public task execution,perpetuating unreasonable discrimination. Additionally, as AI collects vast amountsof p ersonal inform ation, i t becom es e asier to v iolate t he r ight t o inform ationalself-determination and invade privacy. Furthermore, it is challenging to guaranteethe right to know about surveillance activities, and AI-powered surveillance can havea chilling effect on freedom of expression.The state must devise normative countermeasures to minimize the risk of humanrights violations associated with the development of surveillance systems while stillenjoying the benefits of AI. This can be achieved by ensuring that AI-basedsurveillance adheres to the rule of law. First, AI surveillance must be based on aclear legal foundation. Existing legal frameworks governing public authority mustbe reviewed comprehensively and revised to fit the AI environment, while establishingnew regulatory systems that account for the unique characteristics and risks of AI.When the state uses AI surveillance within the necessary scope, such activities mustinclude mechanisms that ensure transparency, objectivity, and accuracy. Individualssubject to AI surveillance should be informed about such activities, and meaningfulaccess to this information must be guaranteed. Additionally, to prevent AI bias anddiscrimination, measures should be taken to ensure the quality of the data used,and these measures should be reflected in regulations. Furthermore, before utilizingAI, a suitability and risk assessment should be conducted, and a systematicgovernance structure must be established within and outside government agenciesto enable supervision throughout all phases of AI usage. The state should alsoestablish institutions that can neutrally and objectively evaluate and supervise AIsurveillance, while ensuring that individuals have the right to participate insurveillance-related decisions and providing easy and accessible legal remediesagainst unjust surveillance and decisions.

키워드

인공지능 감시 기본권 헌법 법치주의 AI surveillance human rights constitution rule of law