할루시네이션을 줄여주는 프롬프트 엔지니어링

한성민 지음

한빛미디어 2025년 09월 29일 출간 국내도서 : 2025년 09월 30일 출간

작품소개

책소개

LLM을 사용하거나 서비스에 적용할 때 가장 큰 장애물은 ‘할루시네이션’이다. 이 책은 지금껏 단순한 버그로 여겨졌던 할루시네이션을 제어 가능한 속성으로 바라보고, 이를 줄이는 다양한 프롬프트 엔지니어링 기법과 RAG, 에이전트 설계 전략을 코드 실습과 함께 구체적으로 다룬다.
OpenAI, Gemini, 랭체인 등 최신 도구로 실습하며 프로덕션 수준의 신뢰성 있는 AI 애플리케이션을
구현하는 방법 또한 배울 수 있다. AI를 단순히 ‘써보는’ 단계를 넘어 직접 서비스에 녹여내고 싶은 AI 엔지니어와 개발자에게 필수 지침서가 되어줄 것이다

목차

[CHAPTER 01 프롬프트 엔지니어링 개요]

1.1 프롬프트 엔지니어링이란
1.2 대규모 언어 모델
1.3 기본 환경 설정
__Google Colaboratory
__OpenAI API
__Gemini API
1.4 LLM 실습
1.5 오늘날의 프롬프팅 기법들
__제로샷 및 퓨샷 프롬프팅
__CoT 프롬프팅
__검색 증강 생성

[CHAPTER 02 할루시네이션 예방 기법]

2.1 할루시네이션의 정의와 유형
2.2 할루시네이션 발생 유형
__사실적 할루시네이션
__논리적 할루시네이션
__문맥적 할루시네이션
2.3 할루시네이션을 예방하는 기술
__데이터 품질 개선
__모델 아키텍처 개선
__사후 검증 기법
__프롬프트 엔지니어링 기법
2.4 프롬프트 엔지니어링 기법
__셀프 어텐션 메커니즘 이해
__셀프 어텐션을 고려한 프롬프트 엔지니어링
__프롬프트 엔지니어링이 가능한 이유
2.5 자기 일관성
2.6 CoT 프롬프팅
2.7 지식 생성 프롬프팅
2.8 자기 검증
2.9 CoVe 프롬프팅
2.10 평가 및 진단 도구
__LLM 할루시네이션 평가의 필요성
__벤치마크 데이터셋
__오픈소스 진단 도구
__기업 환경에서의 활용

[CHAPTER 03 심화: 프롬프트 응용]

3.1 프롬프트 체인
__프롬프트 체인 개념 및 활용
__프롬프트 체인 구현 예제와 상세 분석
3.2 랭체인 프레임워크
__랭체인 도입
__랭체인 구성 요소
__랭체인 실습
3.3 ReAct
__ReAct의 등장 배경
__ReAct의 구조
__ReAct 예제
3.4 리플렉션
__리플렉션의 메커니즘: 실행, 평가, 성찰, 그리고 기록
__리플렉션 예제
3.5 프롬프트 가드레일
__가드레일의 필요성
__가드레일 설계의 두 가지 접근법: 규범과 덕목
__[예제 1] ShieldGemma를 이용한 출력 콘텐츠 검증
__[예제 2] 다계층 가드레일 아키텍처
3.6 멀티 에이전트 시스템
__단일 에이전트 아키텍처의 본질적 한계
__멀티 에이전트 아키텍처
__주요 협력 패턴과 할루시네이션 제어
__멀티 에이전트 아키텍처 예제
3.7 도메인 특화 프롬프트
__도메인 특화 프롬프트의 이해
__도메인 특화 프롬프트 예제
3.8 LLM 시스템 평가와 관측 가능성
__무엇을, 왜, 어떻게 측정할 것인가?
__오프라인 평가 파이프라인 구축
__평가 예제: 랭스미스를 이용한 RAG 시스템 진단 및 개선

[CHAPTER 04 그라운딩과 지식 통합]

4.1 그라운딩 개념과 필요성
4.2 검색 증강 생성
__RAG의 필요성
__RAG 아키텍처
__임베딩과 벡터 저장소
__데이터 처리 파이프라인
__RAG 예제 파이프라인 구축
__RAG, 할루시네이션을 어떻게 제어하는가?
__RAG의 효과
4.3 데이터 통합과 지식 그래프
__지식 그래프 도입
__왜 RAG에 지식 그래프를 결합해야 하는가?
__지식 그래프를 활용한 RAG 구현 패턴
__지식 그래프 RAG 구현하기: Text-to-Cypher
__ 지식 그래프 구현 방식의 한계
4.4 그라운딩 기법을 고려한 체인
__RAG 체인
__라우터 체인
__자기 교정 RAG 루프
4.5 에이전트 디자인을 통한 지식 통합
__지식 통합을 위한 에이전트 도구 구성
__복합 질문을 해결하는 에이전트의 사고 과정 분석
__장기 기억과 지식 그래프의 결합
__랭체인 에이전트를 이용한 지식 통합

[CHAPTER 05 실전 프로젝트: 에이전트 만들기]

5.1 첫 번째 프로젝트: 나만의 백과사전 챗봇
5.2 두 번째 프로젝트: 실시간 질의응답 에이전트
5.3 세 번째 프로젝트: 주식 트렌드 분석 에이전트
5.4 프로젝트를 마무리하며

[부록: 고급 기법과 도구 소개]

A 심화 프롬프팅 기법
B 주요 도구 및 라이브러리
C 책임감 있는 AI 구축

출판사 서평

프롬프트 한 줄부터 시작해
할루시네이션을 제어하는 LLM 서비스 완성까지

AI 엔지니어가 현재 직면한 과제는 ‘LLM의 창의성은 살리면서, 오류는 줄이는 것’이다. 이 책은 AI 분야에서 가장 난해한 문제인 할루시네이션을 해결하기 위한 체계적이고 실용적인 해법을 제공한다. 프롬프트 엔지니어링의 기본 원리부터 출발해 생각의 사슬(CoT), 자기 일관성(Self-Consistency), 검증의 사슬(CoVe), 리플렉션(Reflection) 같은 기법을 차례대로 익히며 모델 스스로 논리 흐름을 구조적으로 정리하거나 재검증하게 만드는 등 LLM의 능력을 극대화하는 다양한 방법을 배운다. 나아가 RAG, 지식 그래프, 멀티 에이전트 구조를 통해 신뢰성 높은 외부 지식과 검증 체계를 결합해 할루시네이션 없는 AI 서비스 아키텍처를 완성한다.
개인화 백과사전 챗봇, 실시간 QA 에이전트, 주식 트렌드 분석 에이전트 등 실제 프로젝트를 따라가다 보면 단순히 모델을 ‘호출’하는 수준을 넘어 신뢰할 수 있는 AI 서비스를 직접 만드는 경험을 쌓을 수 있다.

● Step 1 | LLM과 프롬프트 엔지니어링 기초 - 기본 개념 이해와 실습 환경 설정
● Step 2 | 할루시네이션 예방 기법 - 자기 일관성, CoT, CoVe, 자기 검증, 지식 생성 프롬프팅
● Step 3 | 프롬프트 응용 - 랭체인, ReAct, 리플렉션, 멀티 에이전트 설계
● Step 4 | RAG와 지식 통합 - 외부 데이터 연동, 지식 그래프, 안정적 검색
● Step 5 | 실전 프로젝트 - 개인화 챗봇, 실시간 Q&A, 트렌드 분석 에이전트 완성
● Step 6 | 최신 기법과 도구 - 심화 프롬프팅 기법, 책임감 있는 AI 구현 전략

이 책의 대상 독자
● 신뢰할 수 있는 AI 서비스 구축을 담당하는 개발자
● LLM의 신뢰성과 정확성 향상에 관심이 많은 AI 엔지니어 및 MLOps 전문가
● LLM을 활용한 고급 분석 기법을 학습하고자 하는 실무자
● 파이썬과 머신러닝 지식을 바탕으로 LLM 활용 역량을 심화하고자 하는 전문가

먼저 읽은 베타리더들의 한 마디
● 프롬프트 엔지니어링이라는 개념을 한 차원 더 높은 ‘AI 시스템 설계’의 영역으로 확장한다. RAG, 리플렉션, 멀티 에이전트 등 최신 기술을 풍부한 코드 예제와 함께 설명하는 부분은 이 책의 가장 큰 강점이다. _이석곤 님
● 이제서야 할루시네이션에 제대로 초점을 맞춘 LLM 도서가 등장했다. 프롬프트 엔지니어링에 관심 있는 사람이라면 꼭 읽어야 할 책이다. _이장훈 님
● 이론뿐만 아니라 실제 적용 사례까지 담겨 있어 AI를 보다 신뢰성 있게 활용하고자 하는 이들에게 유익한 길잡이가 되어줄 것이다. _신진욱 님

인물정보

저자(글) 한성민

10년 차 MLOps 엔지니어. Google Developer Expert (GDE) for AI/ML과 Google Cloud Champion Innovator로 활동하는 중이다. 뤼이드에서 테크 디렉터로서 MLOps 파이프라인 구축과 ML 비즈니스 기술 전략을 담당했으며 네이버 클로바 리서치 엔지니어, 심심이 소프트웨어 엔지니어로 근무한 바 있다.
개발자 커뮤니티의 적극적인 지지자로서 Golang Korea 커뮤니티 운영자이며, PyCon Korea에서 파이썬 관련 발표를 진행하는 등 지식 공유 활동을 지속하고 있다. 현재는 F-Lab의 파이썬, ML Engineering 멘토와 패스트캠퍼스 MLOps 강사로도 활동 중이다. LLM 구축과 프롬프트 엔지니어링을 통한 교육 분야 개선에 관심이 높으며, Gemma SFT의 다양한 활용 사례를 발굴하고 있다. 여러 국가에서의 기술 소통과 AI 기술 검증을 통해 실질적인 인사이트를 도출하는 것을 즐기며, 다양한 IT 프로젝트와 컨퍼런스를 통해 지식을 전파하고 있다.