Llama.cpp 실전 가이드

데스크톱, 서버, 엣지등 AI 통합 개발자 가이드

KR.UM 지음

콩콩컴퍼니 2025년 11월 14일 출간

작품소개

책소개

Llama.cpp는 단순한 오픈소스 프로젝트가 아니다.
이는 “누구나 자신의 장비에서 대형 언어 모델(LLM)을 자유롭게 실행할 수 있는 시대”를 연 핵심 엔진이다.
GPU가 없어도, 저사양 노트북에서도, 라즈베리 파이 같은 엣지 디바이스에서도 AI를 실행하는 그 가능성을 현실로 만든 것이 바로 Llama.cpp이다.

이 책은 Llama.cpp를 깊이 있게 이해하고 실전 환경에서 활용하고자 하는 개발자를 위한 완벽한 로드맵이다.
단순 사용법을 넘어, GGUF 구조 분석 → 양자화 전략 → API 활용 → RAG 시스템 → 엣지 배포 → 서버 운영까지,
개발·아키텍처 관점에서 전 과정을 단계적으로 안내한다.

이 책은 이런 사람에게 추천합니다

GPU 없이도 로컬에서 AI 애플리케이션을 만들고 싶은 개발자
RAG, 오프라인 챗봇, 전용 AI 비서 등 실전 서비스 구축이 목표인 사람
LLM 최적화의 기술적 원리를 깊게 알고 싶어 하는 아키텍트·엔지니어
라즈베리 파이, 엣지 AI, 임베디드 환경에 관심 있는 메이커

목차

Llama.cpp 실전 가이드
[Part 1: Llama.cpp와 로컬 AI의 시작]
Chapter 1: 왜 Llama.cpp인가?
Chapter 2: Llama.cpp 설치 및 환경 구축
[Part 2: GGUF와 모델 최적화 (핵심)]
Chapter 3: GGUF 모델 포맷 완벽 이해
Chapter 4: 양자화(Quantization): 모델 다이어트의 기술
[Part 3: Llama.cpp 핵심 API 활용]
Chapter 5: C/C++로 LLM 애플리케이션 만들기 (libllama)
Chapter 6: Python에서 Llama.cpp 활용하기 (llama-cpp-python)
[Part 4: 실전 프로젝트 및 배포]
Chapter 7: [Project 2] 로컬 RAG 시스템 구축하기
Chapter 8: [Project 3] 엣지 디바이스 배포 (라즈베리 파이)
Chapter 9: Llama.cpp 서버 활용과 배포
[부록]
부록 A. Llama.cpp 주요 파라미터 튜닝 가이드
부록 B. GGUF 모델 버전 관리와 트러블슈팅

인물정보

저자(글) KR.UM