소형 언어 모델의 특정 도메인에서의 파인튜닝과 RAG의 성능 비교 - 질의응답과 감정분석을 중심으로

• 영문명: Comparison of Fine-tuning vs. RAG in sLLM - Focusing on Machine Reading Comprehension and Sentiment Analysis
• 발행기관: 한국스마트미디어학회
• 저자명: 김가현(Ga Hyeong Kim) 김도국(Doguk Kim)
• 간행물 정보: 『스마트미디어저널』제14권 제6호, 50~59쪽, 전체 10쪽
• 주제분류: 공학 > 컴퓨터학
• 파일형태: PDF
• 발행일자: 2025.06.30

국문 초록

거대 언어 모델에서 일부 특정 도메인에 대한 적응력 부족을 향상시킬 수 있는 기법인 파인튜닝(Fine-tuning)과 검색 증강 생성(RAG)의 장단점을 비교하는 연구가 활발히 진행되고 있다. 그러나 이러한 기존 연구는 질문과 정답의 출처 문서 쌍이 이미 입력된 환경에서도 여전히 RAG가 파인튜닝에 비해 특정 도메인의 성능을 손쉽게 향상시킬 수 있는 잠재력이 있는지에 대한 비교가 없었다. 이에 본 연구에서는 출처 문서가 이미 입력된 환경에서 소형 언어 모델(sLLM)을 활용한 한국어 기계독해(KorQuAD)와 감성 분석 작업(NSMC)에서 파인튜닝과 RAG의 성능을 비교하였다. 실험 결과, RAG는 기계독해에서 10.2%, 감성분석에서 32.3%의 성능 향상을 보였으며, 파인튜닝과 병행할 경우 각각 11.5%와 41.9%의 성능이 향상되었다. 이를 바탕으로, 컴퓨팅 자원이 부족하면 RAG를, 충분하다면 두 기법의 상호 보완 방식으로 성능을 향상시키는 방안을 제시하였다.

영문 초록

Studies have actively compared fine-tuning and retrieval-augmented generation (RAG) to enhance the adaptability of large language models (LLMs) to specific domains. Although question and source document pairs are already available in certain environments, no comparative study has assessed whether RAG has the potential to improve domain-specific performance more easily than fine-tuning in such settings. In this study, we compare the performance of fine-tuning and RAG for Korean machine reading comprehension (KorQuAD) and sentiment analysis (NSMC) tasks using small language models (sLLM). Our results show that RAG improved performance by 10.2% on KorQuAD and 32.3% on NSMC. when RAG and fine-tuning were combined, performance improved by 11.5% and 41.9%, respectively. Our results indicate that RAG is advantageous when resources are limited, while a complementary use of both methods can outperform fine-tuning when sufficient resources are available.

목차

Ⅰ. 서론

Ⅱ. 관련 연구

Ⅲ. 제안 방법

Ⅳ. 실험

Ⅴ. 결론

키워드

검색 증강 생성 파인튜닝 거대 언어 모델 생성형 AI RAG Fine-tuning LLM Generative Artificial Intelligence