위험한 인공지능

AI가 무기가 된 세상, AI로 맞서는 보안 전문가를 위한 실전 가이드

윤장호 , 서준석 지음

위키북스 2025년 06월 30일 출간 국내도서 : 2025년 02월 07일 출간

작품소개

책소개

인공지능이 인간을 위협하는 시나리오에는 항상 전투 로봇과 IT 시스템을 마음대로 주무르는 인공지능 머신이 따라온다. 즉, 인공지능과 정보보안 분야가 완전히 결합되어야 우리를 두려움에 떨게 만드는 영화 속 무시무시한 인공지능이 탄생하게 되는 것이다. 이 책은 인공지능 기술의 핵심 원리와 함께, 이러한 기술들이 정보보안 분야에 어떻게 융합되어 위협이 되고, 어떻게 이러한 위협에 대응할 수 있는지에 관한 내용을 담고 있다.

★ 이 책에서 다루는 내용 ★

◎ AI 기술과 정보보안 분야의 발전 과정과 사례
AI 기술의 양대 산맥인 컴퓨터 비전, 자연어 처리 기술의 동작 원리를 설명하고, 이러한 기술들이 정보 보안 분야에서 어떻게 활용될 수 있는지 다양한 사례를 통해 보여줍니다.

◎ 설명 가능한 AI(XAI)와 적대적 학습
AI 모델의 판단 근거를 이해하고 XAI 기술과 AI 모델의 취약점을 악용하는 적대적 학습 기술의 개념, 중요성, 그리고 정보 보안 분야에서의 활용 방안을 제시합니다.

◎ LLM(Large Language Model)과 정보보안
최근 급부상하고 있는 LLM의 개념, 작동 원리, 그리고 정보 보안 분야에서의 활용 가능성과 잠재적 위협을 분석합니다.

◎ AI 기반 사이버 공격과 방어
AI 기술을 악용한 사이버 공격 유형(자동화된 취약점 공격, 생성형 사회공학 공격, 생성형 악성 코드 제작, 딥페이크 등)과 이러한 공격에 대한 방어 기술 및 전략을 소개합니다.

◎ AI 버그 헌팅
AI 기술을 활용한 버그 헌팅 기술의 개념, 동작 방식, 그리고 잠재적 활용 가능성을 살펴보고, 실제 사례를 통해 AI 버그 헌팅 기술의 미래 전망을 제시합니다.

목차

▣ 01장: 격변하는 AI 시장
1.1 AI, 세상의 중심에 서다
1.2 인간의 눈을 가지다: 비전 기술
1.3 인간의 언어를 이해하다: 자연어 처리
1.4 반도체 시장의 새로운 흐름: On-Device AI 칩
1.5 인간처럼 사고한다: 멀티 모달 AI
1.6 상상과 행동: 공간 지능

▣ 02장: 컴퓨터 비전
2.1 핵심 기술 이해
2.2 사이버 보안과 비전
___비전 기술 기반의 보안 위협 탐지
___영상 데이터에서 정보 추출
2.3 지능형 영상 보안 기술
___지능형 영상 보안
___평가지표
2.4 설명 가능한 AI

▣ 03장: 적대적 학습
3.1 적대적 학습
3.2 적대적 학습 기반 생성 AI
___GAN(Generative Adversarial Network)
___GAN을 응용한 안티 바이러스 우회
3.3 적대적 공격 기술
___개요
___화이트박스 기반 공격
___블랙박스 기반 공격
3.4 적대적 공격 방어
___개요
___예방
___대응: 적응형 모델 학습

▣ 04장: 자연어 처리
4.1 핵심 기술 이해
4.2 정보보안과 자연어
4.3 언어 모델 보안
___프롬프트 인젝션
___Role-Play
___스위치
___접두어-접미어
___아스키 아트
___이미지 업로드
___인코딩
4.4 LLM as a Weapon
___공격 페이로드 생성
___악성 코드 제작
4.5 OWASP LLM TOP 10
___프롬프트 인젝션(Prompt Injection)
___안전하지 않은 출력값 처리(Insecure Output Handling)
___학습 데이터 오염(Training Data Poisoning)
___모델 서비스 거부 공격(Model Denial of Service)
___공급망 취약점(Supply Chain Vulnerability)
___민감한 정보 누출(Sensitive Information Disclosure)
___안전하지 않은 플러그인 설계(Insecure Plugin Design)
___과도한 자율성(Excessive Agency)
___과도한 의존(Overreliance)
___모델 탈취(Model theft)

▣ 05장: 딥페이크와 피싱
5.1 AI as a Weapon
___적응형 자동화 도구
___자동화된 취약점 공격
___생성형 사회공학 공격
___생성형 악성 코드 제작
5.2 AI 피싱
___개요
___AI 서비스를 활용한 이메일 생성
___AI 기반 악성 메일 대응 훈련
___대상 맞춤형 피싱 메일 제작
5.3 딥페이크
___개요
___영상 생성 단계 예시
___딥페이크 탐지 기술

▣ 06장: 소프트웨어 취약점
6.1 가장 강력한 무기: 취약점
6.2 버그헌팅 기술
6.3 AI 버그헌팅
6.4 LLM과 버그헌팅
___Puffin (Pwn 유형)
___Rebug 2 (리버싱 유형)
___Discord Admin Bot (misc 유형)
___smug-Dino (Web 유형)
___결론

▣ 부록
A.1 코랩 실습 환경 구성
A.2 openAI API 키 발급
A.3 ngrok 인증 토큰 발급
A.4 실습용 가상머신 설정 및 구동 방법
A.5 DAN(Do Not Anything) 프롬프트
___DAN 13.0 Prompt
___Anti-DAN Prompt

작가정보

저자(글) 윤장호

고려대 정보수학과를 졸업하고 정보보호대학원에서 석사과정을 마친 후, 2014년부터 삼성SDS에서 제품보안 업무를 담당하고 있습니다. 새로운 IT 기술과 서비스에 관심이 많으며, 동료와 즐겁고 재미있게 보안 업무를 하기 위해 항상 고민하고 있습니다. 최근에는 AI 서비스를 기업이 안전하고 효율적으로 사용할 수 있는 방법에 관해 관심을 가지고 연구하고 있습니다.

저자(글) 서준석

단국대 컴퓨터과학과를 졸업하고 고려대 정보보호대학원에서 석사과정을 마쳤습니다. 대학원 시절 논문을 준비하면서 인공지능 공부를 시작했고, 이후 KISEC, 삼성SDS, 보안 프로젝트에서 취약점 점검, 컨설팅, 보안 분석 등의 실무를 진행하면서 지속적으로 기술을 갈고닦아 왔습니다. 2018년부터 정보보안 콘텐츠 연구 기업인 옵스테크를 창업해 지금까지 정보보안 분야 기술 연구와 콘텐츠 개발에 힘쓰고 있습니다. 관련 저서로는 『인공지능, 보안을 배우다』(비제이퍼블릭, 2019), 역서로 『사이버 보안 공학』(에이콘출판, 2019)과 『Hacking Exposed』(에이콘출판, 2014) 등이 있습니다.