실전! RAG 기반 생성형 AI 개발

라마인덱스, 딥 레이크, 파인콘으로 나만의 검색 증강 생성 파이프라인 만들기

데니스 로스먼 지음 | 307번역랩 , 류광 옮김

위키북스 2025년 04월 03일 출간 국내도서 : 2025년 03월 18일 출간

작품소개

책소개

《실전! RAG 기반 생성형 AI 개발》은 성능과 비용의 균형을 맞추는 효과적인 LLM, 컴퓨터비전, 생성형 AI 시스템을 구축하기 위한 로드맵을 제시한다.

이 책은 RAG와 다중 모달 AI 파이프라인을 설계, 관리, 제어하는 방법을 상세히 설명한다. RAG는 출력을 추적 가능한 원본 문서와 연결함으로써 출력의 정확성과 문맥 관련성을 향상시키며, 대량의 정보를 관리하는 동적 접근 방식을 가능하게 하는 기술이다. 이 책은 또한 벡터 저장소, 청킹, 색인화, 순위 지정에 대한 실용적 지식을 제공하며, RAG 프레임워크를 처음부터 끝까지 구축하는 방법을 보여준다. 적응형 RAG와 사람의 피드백을 활용한 검색 정확도 개선, RAG와 미세조정의 균형, 실시간 의사결정을 강화하는 동적 RAG 구현, 지식 그래프를 통한 복잡한 데이터 시각화 등 프로젝트 성능을 최적화하고 데이터를 더 잘 이해할 수 있는 기법들을 배우게 될 것이다.

라마인덱스, 파인콘, 딥레이크 같은 프레임워크와 오픈AI, 허깅페이스 같은 생성형 AI 플랫폼을 이용한 풍부한 실습 예제를 담고 있다. 이 책을 통해 지능형 솔루션을 구현하는 기술을 습득한다면 프로덕션에서 고객 서비스까지 그 어떤 프로젝트에서도 경쟁력을 갖추게 될 것이다.

★ 이 책에서 다루는 내용 ★

◎ 대규모 데이터셋을 효율적으로 처리하도록 RAG 파이프라인을 확장한다.
◎ 환각 현상을 최소화하고 정확한 응답을 보장하는 기법을 적용한다.
◎ 추적 가능하고 투명한 출력으로 AI 정확도를 높이는 색인화 기법을 구현한다.
◎ RAG 주도 생성형 AI 시스템을 다양한 도메인에 걸쳐 커스텀화하고 확장한다.
◎ 딥레이크와 파인콘을 활용해서 데이터를 더 빠르고 효율적으로 검색한다.
◎ 실제 데이터에 기반해서 견고한 생성형 AI 시스템을 구축하고 제어한다.
◎ 더 풍부하고 유익한 AI 응답을 위해 텍스트와 이미지 데이터를 결합한다.

목차

▣ 01장: RAG(검색 증강 생성)가 필요한 이유
1.1 RAG란 무엇인가?
1.2 단순, 고급, 모듈형 RAG 구성
1.3 RAG 대 미세조정
1.4 RAG 생태계
__1.4.1 검색기(D)
__1.4.2 생성기(G)
__1.4.3 평가기(E)
__1.4.4 훈련기(T)
1.5 단순, 고급, 모듈형 RAG의 파이썬 구현
__1.5.1 파트 1: 기초와 기본 구현
__1.5.2 파트 2: 고급 기법과 평가

▣ 02장: 딥 레이크와 오픈AI를 활용한 RAG 임베딩 벡터 저장소
2.1 원시 데이터에서 벡터 저장소의 임베딩으로
2.2 RAG 시스템을 하나의 파이프라인으로 구성
2.3 RAG 기반 생성형 AI 파이프라인
2.4 RAG 파이프라인 구축
__2.4.1 환경 설정
__2.4.2 구성요소 1: 데이터 수집과 준비
__2.4.3 구성요소 2: 데이터 임베딩과 저장
__2.4.4 벡터 저장소 정보
__2.4.5 구성요소 3: 입력 증강과 응답 생성
2.5 코사인 유사도를 이용한 출력 평가

▣ 03장: 라마인덱스, 딥 레이크, 오픈AI를 활용한 색인 기반 RAG 구축
3.1 색인 기반 RAG를 사용하는 이유
__3.1.1 아키텍처
3.2 드론 기술 정보를 위한 의미론적 검색 엔진과 생성형 에이전트 구축
__3.2.1 환경 설치
__3.2.2 파이프라인 1: 문서 수집과 준비
__3.2.3 파이프라인 2: 벡터 저장소 준비
__3.2.4 파이프라인 3: 색인 기반 RAG
3.3 벡터 저장소 색인 및 쿼리 엔진
__3.3.1 쿼리 응답과 출처 확인
__3.3.2 최적화된 청킹
__3.3.3 성능 지표
3.4 트리 색인 쿼리 엔진
__3.4.1 성능 지표
3.5 목록 색인 쿼리 엔진
__3.5.1 성능 지표
3.6 키워드 색인 쿼리 엔진
__3.6.1 성능 지표

▣ 04장: 드론 기술을 위한 다중 모달 모듈형 RAG
4.1 다중 모달 모듈형 RAG란 무엇인가?
4.2 드론 기술용 다중 모달 모듈형 RAG 프로그램 구축
__4.2.1 LLM 데이터셋 적재
__4.2.2 다중 모달 데이터셋 적재 및 시각화
__4.2.3 다중 모달 데이터셋 구조
__4.2.4 다중 모달 쿼리 엔진 구축
__4.2.5 다중 모달 모듈형 쿼리 결과 요약
__4.2.6 성능 지표

▣ 05장: 전문가의 피드백을 이용한 RAG 성능 향상
5.1 적응형 RAG
5.2 파이썬을 이용한 하이브리드 적응형 RAG 시스템 구축
__5.2.1 검색기(섹션 1)
__5.2.2 생성기(섹션 2)
__5.2.3 평가기(섹션 3)

▣ 06장: 파인콘을 이용한 RAG 은행 고객 데이터 확장
6.1 파인콘을 이용한 확장
__6.1.1 아키텍처
6.2 파이프라인 1: 데이터셋 수집 및 준비
__6.2.1 데이터셋 수집과 처리(섹션 1)
__6.2.2 탐색적 데이터 분석(섹션 2)
__6.2.3 ML 모델 훈련(섹션 3)
6.3 파이프라인 2: 파인콘 색인(벡터 저장소) 확장
__6.3.1 벡터 저장소 관리의 난제들
__6.3.2 환경 설치
__6.3.3 데이터셋 처리
__6.3.4 데이터셋 청킹 및 임베딩
__6.3.5 파인콘 색인 생성
__6.3.6 업서트
__6.3.7 파인콘 색인 쿼리
6.4 파이프라인 3: RAG 생성형 AI
__6.4.1 GPT-4o를 이용한 RAG
__6.4.2 관련 텍스트 추출
__6.4.3 입력 증강과 프롬프트 엔지니어링
__6.4.4 증강 생성

▣ 07장: 위키백과 API와 라마인덱스를 활용한 확장 가능한 지식 그래프 기반 RAG 구축
7.1 지식 그래프 기반 의미 검색을 위한 RAG 아키텍처
__7.1.1 노드들로 트리 그래프 만들기
7.2 파이프라인 1: 문서 수집 및 준비
__7.2.1 위키백과 데이터 및 메타데이터 검색
__7.2.2 업서트를 위한 데이터 준비
7.3 파이프라인 2: 딥 레이크 벡터 저장소 생성 및 채우기
7.4 파이프라인 3: 지식 그래프 색인 기반 RAG
__7.4.1 지식 그래프 색인 생성
__7.4.2 그래프 표시
__7.4.3 지식 그래프 색인과 상호작용
__7.4.4 유사도 점수 패키지 설치 및 함수 정의
__7.4.5 재순위화
__7.4.6 예시 지표들

▣ 08장: 크로마와 허깅 페이스 라마를 이용한 동적 RAG
8.1 동적 RAG의 아키텍처
8.2 환경 설치
__8.2.1 허깅 페이스 설치
__8.2.2 크로마 설치
8.3 세션 시간 활성화
8.4 데이터셋 다운로드 및 준비
8.5 크로마 컬렉션에 데이터 임베딩 및 업서트
__8.5.1 모델 선택
__8.5.2 문서 임베딩 및 저장
__8.5.3 임베딩 표시
8.6 컬렉션에 대한 쿼리 실행
8.7 프롬프트와 검색
8.8 라마를 이용한 RAG
__8.8.1 컬렉션 삭제
8.9 전체 세션 시간

▣ 09장: AI 모델의 역량 강화 - RAG 데이터와 인간 피드백의 미세조정
9.1 정적 RAG 데이터 미세조정의 아키텍처
__9.1.1 RAG 생태계
9.2 환경 설치
9.3 미세조정을 위한 데이터셋 준비(섹션 1)
__9.3 1 데이터셋 다운로드와 시각화(섹션 1.1)
__9.3 2 미세조정을 위한 데이터셋 준비(섹션 1.2)
9.4 모델 미세조정(섹션 2)
__9.4.1 미세조정 모니터링
9.5 미세조정된 오픈AI 모델 실행(섹션 3)
9.6 지표

▣ 10장: 파인콘과 오픈AI를 활용한 동영상 스톡 제작용 RAG 시스템
10.1 동영상 제작을 위한 RAG 아키텍처
10.2 동영상 제작 생태계의 환경
__10.2.1 모듈과 라이브러리 임포트
__10.2.2 깃허브
__10.2.3 오픈AI
__10.2.4 파인콘
10.3 파이프라인 1: 생성기와 해설 작성기
__10.3.1 AI 생성 동영상 데이터셋
__10.3.2 생성기와 해설 작성기
10.4 파이프라인 2: 벡터 저장소 관리자
__10.4.1 파인콘 색인 쿼리
10.5 파이프라인 3: 동영상 전문가

▣ 부록A: 연습문제 해답

작가정보

저자(글) 데니스 로스먼

데니스 로스먼은 소르본 대학교(Sorbonne Université)와 파리디드로 대학교(Université Paris-Diderot; 파리 제7대학교)를 졸업했다. 학생 시절에 초창기 word2vector 임베딩과 단어 조각 토큰화(word piece tokenization) 솔루션 중 하나를 개발해서 특허를 등록했다. AI 배포에 중점을 둔 회사를 설립해서 초창기 AI 인지 NLP 챗봇 중 하나를 개발했는데, 그 챗봇은 모엣 & 샹동(LVMH 계열사)의 언어 교육 도구로 쓰였다. 이후 로스먼은 설명 가능한 AI(explainable AI) 전문가로 빠르게 성장해서, 항공우주와 의류, 공급망 분야의 주요 기업 프로젝트에서 해석 가능하고 수용성 기반의 설명 데이터와 인터페이스를 솔루션에 통합했다. 다른 사람에게 어떤 것을 가르쳐 봐야만 그것을 진정으로 알 수 있다는 신념을 지니고 있다.

번역 307번역랩

전문 번역가의 효율적인 번역 작업을 위해 초벌 번역 및 자료 정리 서비스를 제공하는 번역 엔지니어 집단이다. 급변하는 IT 분야의 가치 있는 외국 서적을 발빠르게 국내 독자에게 전달하는 데 보람을 느낀다.

번역 류광

커누스 교수의 《컴퓨터 프로그래밍의 예술》 시리즈를 비롯해 90여 권의 다양한 IT 전문서를 번역한 전문 번역가이다. 이 책과 연관된 번역서로는 《딥러닝을 위한 수학》 《파이썬으로 배우는 자연어 처리 인 액션》 《마스터링 트랜스포머》 등이 있으며, Manning 출판사의 《LLMs in Production》을 번역 중이다. 홈페이지 류광의 번역 이야기(https://occamsrazr.net)와 IT 및 게임 개발 정보 공유 사이트 GpgStudy (https://gpgstudy.com)를 운영한다.