RAG 엔지니어링

강한훈 지음

커뮤니케이션북스 2026년 08월 31일 출간 국내도서 : 2026년 08월 31일 출간

작품소개

책소개

RAG를 단순한 검색 기반 생성 기술이 아니라, 청크, 임베딩, 검색, 질의 변형, 문서 구성, 프롬프트, 평가가 맞물려 작동하는 하나의 시스템으로 설명한다. RAG가 왜 기대와 달리 실패하는지, 검색과 생성 사이의 불일치가 어떻게 답변 오류로 이어지는지, 이를 줄이기 위해 어떤 설계 기준이 필요한지를 실험과 사례를 통해 정리한다. RAG의 구조와 한계를 이해하고, 데이터와 질문 유형에 맞는 검색 전략, 컨텍스트 구성, 평가 방법을 판단하는 실무적 기준을 얻을 수 있다. AI문고. aiseries.oopy.io에서 필요한 인공지능 지식을 찾을 수 있다.

목차

실험으로 이해하는 검색 기반 생성

01 RAG는 무엇을 하는 시스템인가
02 청크(Chunk)는 무엇을 바꾸는가
03 임베딩은 무엇을 놓치는가
04 검색은 왜 오차가 발생하는가
05 질의는 왜 변형해야 하는가
06 문서는 왜 성능에 영향을 미치는가
07 프롬프트는 어디까지 해결하는가
08 실패 사례로 보는 RAG
09 RAG는 어떻게 평가해야 하는가
10 RAG 설계의 기준

책 속으로

또한 LLM은 최신 정보 반영에 한계를 가진다. 학습 시점 이후의 정보는 모델 내부에 반영되지 않기 때문에, 변화가 빠른 도메인에서는 시간이 오래된 응답을 생성할 가능성이 높다. 이는 모델을 재학습하지 않는 이상 해결하기 어려운 문제이며, 현실적으로 지속적인 업데이트가 필요한 환경에서는 큰 제약으로 작용한다. 더불어, LLM은 응답의 근거를 명확히 제시하지 못하는 경우가 많아 생성된 결과의 신뢰성을 검증하기 어렵다는 문제도 존재한다. 이러한 한계를 보완하기 위한 접근이 바로 RAG다. RAG는 외부 지식으로부터 관련 정보를 검색하여 이를 LLM에게 컨텍스트로 제공하고, 이를 기반으로 응답을 생성함으로써 LLM의 한계를 구조적으로 보완한다. 검색을 통해 최신 정보를 반영할 수 있으며, 실제 문서를 근거로 활용함으로써 환각을 줄이고 응답의 신뢰성을 높일 수 있다. 즉, RAG는 LLM 자체를 개선하는 것이 아니라 외부 지식과의 결합을 통해 문제를 해결하는 시스템적 접근이라 할 수 있다.
－01_“RAG는 무엇을 하는 시스템인가” 중에서

효율적인 문장 임베딩 검색 구조는 빠른 검색에는 유리하지만, 질의와 문서 사이의 세밀한 상호작용을 직접 모델링하지 않기 때문에 정답성 판단에는 한계를 가질 수 있다. 즉, 의미적 근접성의 계산과 실제 정답 판별은 서로 다른 수준의 문제일 수 있다. 이러한 괴리는 실제 실험에서도 확인된다. 구조적으로 비슷하지만 의미적으로 다른 문장, 혹은 의미가 반대인 문장 쌍에도 높은 유사도가 부여되는 현상이 나타날 수 있다. 이는 임베딩이 관련 문서를 빠르게 거르는 1차 신호로는 유용하지만, 최종 정답을 판별하는 장치로는 충분하지 않을 수 있음을 뜻한다.
－03_“임베딩은 무엇을 놓치는가” 중에서

현실 세계의 문서는 순수 텍스트보다 훨씬 복합적이다. 보고서와 논문 등에는 그림, 차트, 수식, 스크린샷, 캡션, 주석, 표가 함께 등장하며, 중요한 정보가 텍스트가 아니라 시각 요소에 담기는 경우도 많다. 그러나 전통적 검색 파이프라인은 대개 텍스트만 인덱싱하므로, 시각 요소와 그 주변 설명 사이의 관계를 충분히 반영하지 못한다. 문서 이해 분야에서 LayoutLM과 같은 모델이 텍스트, 레이아웃, 시각 정보를 함께 다루려고 한 이유도, 문서 의미가 문자열만 가지고 해결할 수 없기 때문이다.
－06_“문서는 왜 성능에 영향을 미치는가” 중에서

RAG에서 중요한 평가는 답변이 단순히 “맞아 보이는가”가 아니라, 그 답변이 실제 근거에 의해 뒷받침되는가를 확인하는 것이다. 모델이 우연히 정답을 맞혔더라도, 검색된 문서에 없는 내용을 섞어 답했다면 이는 근거 기반 답변이라기보다 추정에 가깝다. 이 때문에 최근 연구들은 답변의 근거 충실성(faithfulness), 근거 기반성(groundedness), 출처 귀속(attribution)을 RAG 평가의 핵심 축으로 다룬다. 특히 자동 RAG 평가 시스템인 ARES(Automated RAG Evaluation System)는 문맥 관련성(context relevance), 답변의 근거 충실성(answer faithfulness), 답변 관련성(answer relevance)을 구분해 평가한다. 또한 후속 연구들은 근거 충실성 판단이 실제 운영 환경에서 답변을 보류하거나 재검색하는 전략과도 연결될 수 있다고 본다.
－09_“RAG는 어떻게 평가해야 하는가” 중에서

출판사 서평

RAG의 성능은 모델보다 구성 요소의 정렬에서 갈린다
RAG는 대형 언어 모델에 외부 지식을 연결해 최신 정보를 반영하고 환각을 줄이는 방법으로 주목받았다. 그러나 실제 시스템에서는 관련 문서를 찾아 놓고도 답변에 반영하지 못하거나, 유사하지만 틀린 문서를 근거 삼아 더 그럴듯한 오류를 만드는 일이 발생한다. 이런 실패를 모델 성능의 문제가 아니라 검색과 생성이 서로 다른 기준으로 움직이는 구조적 문제로 바라본다. 청킹은 의미를 잘라내고, 임베딩은 유사성을 정답성과 혼동하며, 검색은 불필요한 문서를 끌어오고, 생성 모델은 이를 다시 하나의 자연스러운 문장으로 재구성한다. 각 요소는 개별적으로 잘 작동해도 전체 시스템에서는 예상 밖의 오류를 만들 수 있다. 그래서 “어떤 모델이 좋은가”보다 “어떤 조건에서 어떤 선택이 적절한가”를 묻는다. 청크 크기, 임베딩 모델, top-k, 질의어 변형, 검색 전략을 통제된 실험으로 비교하고 정확률·재현율·MRR·NDCG와 근거 일치성을 함께 평가한다. RAG를 조립하는 법이 아니라 왜 실패하는지 이해하고, 구성 요소의 상호작용을 실험으로 검증해 재현 가능한 설계 기준을 만드는 법을 제시한다.

인물정보

저자(글) 강한훈

세종대학교 컴퓨터공학과에서 박사학위를 받았으며, 삼성SDS 연구소에서 Senior Researcher로 근무했다. 추천 시스템, 텍스트 마이닝, 감정분석을 중심으로 연구를 시작했으며(2007∼2012), 이후 산업 현장에서 활용 가능한 텍스트 마이닝 기술 연구와 사업화 과제에 참여했다(2013∼2023). 최근에는 생성형 AI와 관련하여 이미지 생성 모델, 대규모 언어 모델(LLM), RAG 기술로 연구 영역을 확장하고 있다(2024∼). 특히 RAG의 핵심 구성 요소인 검색 기술의 개선과 실제 서비스 적용에 관심을 두고 있으며, 관련 연구를 KCI 및 SCIE급 학술지에 게재하며 연구 활동을 이어 가고 있다.