LLM Master: 로컬 LLM Serving with Python

고우주 지음

아티팩트 2025년 12월 02일 출간

작품소개

책소개

인공지능 분야에서 대규모 언어 모델(Large Language Model, LLM)은 가장 혁신적인 기술 중 하나로 자리잡았다. GPT, Claude, Llama와 같은 모델들은 자연어 이해와 생성에서 인간 수준의 성능을 보여주며, 다양한 산업 분야에 적용되고 있다. 그러나 이러한 모델들을 실제 서비스에 활용하려면 단순히 모델을 학습하는 것을 넘어, 효율적으로 추론(inference)을 수행하는 시스템을 구축하는 것이 필수적이다.

초기에는 대부분의 LLM 서비스가 OpenAI, Anthropic, Google과 같은 클라우드 제공자의 API에 의존했다. 이러한 접근은 빠른 시작과 편리함을 제공하지만, 비용, 데이터 프라이버시, 서비스 안정성, 커스터마이징 제약 등의 한계가 명확하다. 특히 대규모 트래픽을 처리하는 기업에게 토큰당 과금 방식은 예측하기 어려운 비용 구조를 만들어낸다. 민감한 데이터를 다루는 의료, 금융, 법률 분야에서는 외부 클라우드로 데이터를 전송하는 것 자체가 규제 위반이 될 수 있다.

이러한 배경에서 로컬 LLM 추론 시스템에 대한 관심이 급증하고 있다. 온프레미스 환경이나 프라이빗 클라우드에서 직접 LLM을 구동하면 데이터 통제권을 완전히 확보할 수 있고, 초기 하드웨어 투자 후에는 한계 비용이 거의 없으며, 자사의 특수한 요구사항에 맞게 모델과 시스템을 커스터마이징할 수 있다. 또한 외부 서비스 장애나 네트워크 문제에 영향받지 않는 안정적인 서비스 제공이 가능하다.

하지만 로컬 LLM 추론 시스템을 구축하는 것은 결코 쉬운 일이 아니다. 대규모 모델은 수십 기가바이트의 메모리를 필요로 하며, 실시간 응답을 제공하려면 복잡한 최적화가 필요하다. 여러 사용자의 요청을 동시에 처리하고, 긴 컨텍스트를 효율적으로 관리하며, 제한된 하드웨어 리소스를 최대한 활용하는 것은 고도의 전문성을 요구한다. 이러한 복잡성을 해결하기 위해 등장한 것이 바로 전문화된 LLM 추론 프레임워크들이다.
본 서는 로컬 LLM 추론 생태계의 세 가지 .....

목차

저자 소개
Table of Contents (목차)
서문: 들어가며
제1장: 로컬 LLM 추론 시스템 아키텍처 개요
1.1. Ollama: 접근성을 극대화한 로컬 LLM 생태계
1.2. vLLM: 대규모 추론 서빙을 위한 고성능 엔진
1.3. SGLang: 구조화된 생성과 복잡한 워크플로우의 최적화
1.4. 종합 비교 분석과 선택 가이드
1.5. 하이브리드 아키텍처와 미래 전망
제2장: Ollama 서버 기본
2.1. Ollama를 위한 환경 설정
2.2. Ollama 서버 연결 확인
2.3. Ollama 채팅 생성
2.4. 대화 히스토리 유지하기
2.5. 스트리밍 응답 받기
2.6. 생성 파라미터 조정하기
2.7. 모델 정보 조회하기
2.8. 실용적인 챗봇 예제
제3장: Ollama를 활용한 Agent Serving
3.1. Ollama Agent 환경 설정
3.2. Agent Workflow 구현
3.3. 통합 에이전트 클래스 구현
3.4. 도구 등록 및 에이전트 초기화
3.5. 에이전트 예제 실행
3.6. 에이전트 최종 테스트
제4장: vLLM 서버 기본
4.1. vLLM 서버 환경 설정
4.2. vLLM 서버 연결을 위한 OpenAI 클라이언트 설정
4.3. vLLM 텍스트 생성
4.4. 대화 컨텍스트 유지하기
4.5. 스트리밍 응답 받기
4.6. 배치 처리로 여러 요청 동시 실행
4.7. 생성 파라미터 조정
4.8. 토큰 사용량 확인
4.9. 실용적인 채팅 클래스 구현
제5장: vLLM을 활용한 Agent Serving
5.1. vLLM 에이전트 환경 설정
5.2. Agent Workflow 구현
5.3. vLLM 에이전트 통합 구현
5.4. 도구 등록 및 에이전트 초기화
5.5. 에이전트 예제 실행
5.6. 성능 모니터링 및 분석
5.7 에이전트 최종 테스트
제6장: SGLang 서버 기본
6.1. SGLang 서버 환경 설정
6.1. 텍스트 생성
6.3. 구조화된 .....

인물정보

저자(글) 고우주

AI와 빅데이터 분야에서 두드러진 성과를 이루어낸 저자 고우주는 Swiss School of Management 에서 AI 및 빅데이터 박사 학위를 취득했으며, 학부에서는 전기공학을 전공하며 기술적 전문성을 다졌으며, 서울종합과학대학원대학교(aSSIST)와 Aalto University에서 각각 AI 및 빅데이터 MBA와 Executive MBA 석사 학위를 받았습니다.

현재 코스닥 상장기업의 CAIO로 혁신적인 인공지능 솔루션 개발을 이끌고 있으며, 2020년부터 2024년까지 명지대학교 응용소프트웨어학부의 겸임교수로 재직하며 인문, 사회학과 학생들을 대상으로 데이터 사이언스 강의로 인재 양성에 기여를 했습니다. 이전에는 센싸타테크놀러지스와 슈나이더일렉트릭에서 Technical & Product Manager로 활동하며 풍부한 실무 경험을 쌓았습니다.

저자는 기술과 데이터를 활용하여 인문학적, 사회학적, 공학적 접근으로 다양한 현상을 탐구하고 규명하는 데 깊은 관심을 가지고 연구를 수행해 왔습니다. 석사는 B2B Value Added donation model: Pledge 1% Case와 박사 논문 Developing an Explainable & Causal AI in Manufacturing Industries를 통해 AI와 빅데이터 기술의 실질적 응용과 산업적 기여를 탐구했으며, 이를 통해 학문적 연구와 실제 비즈니스 문제 해결을 연결하는 통찰력을 보여주었습니다.

저자의 주요 연구 분야는 LLM 및 생성형 AI(에이전트, 프롬프트 엔지니어링, RAG, Agent, SLM, 파인튜닝, 최적화), 에너지/환경/제조 분야의 IoT 데이터 신호처리와 이상치 탐지, 시계열 분석, 설명 가능한 AI(XAI), 인과추론, 그리고 디지털 마케팅(멀티모달 LLM 활용을 통한 CRM 분석)을 포함합니다. 이를 통해 기술적 도구를 넘어 데이터와 AI를 사회적 맥락에서 활용하여 인류와 산업이 직면한 복잡한 문제를 해결하고자 노력하고 있습니다.

저자는 .....