쿠버네티스로 만드는 나만의 AI 플랫폼

로컬 LLM부터 사내 챗봇까지, 개발자 1명이 구축하는 엔드투엔드 파이프라인: 쿠버네티스, LLM서빙, RAG, 벡터DB, GPU스케줄링, 사내챗봇, MLOps

플로우인사이트 지음

스마트북 2025년 12월 24일 출간

작품소개

책소개

“사내 GPT 하나만”으로 시작한 실험은 곧 인증·권한·보안·비용·SLA·멀티팀 운영이라는 현실과 맞부딪힙니다. 『쿠버네티스로 만드는 나만의 AI 플랫폼』은 그 현실을 전제로, 쿠버네티스 위에서 로컬 LLM부터 사내 챗봇까지 운영 가능한 AI 플랫폼을 엔드투엔드로 설계·구축하는 방법을 안내합니다. 최소 구성 레퍼런스 아키텍처를 출발점으로 LLM 서빙 계층, RAG 계층(벡터 DB·인덱싱 파이프라인), API 게이트웨이·인증·권한, 챗봇 인터페이스(웹·슬랙·포털), GPU 스케줄링·오토스케일링·비용 최적화, 관측성과 운영 자동화까지 “만드는 법”과 “버티는 법”을 함께 다룹니다. 마지막으로 멀티 테넌트·멀티 리전 확장과 도입 로드맵, 체크리스트를 제공해 개인 프로젝트를 조직 표준으로 키우는 경로까지 제시합니다.

목차

쿠버네티스로 만드는 나만의 AI 플랫폼

프롤로그. “사내 GPT 하나만”에서 플랫폼까지
1장. 쿠버네티스 위에 AI를 올리면 달라지는 것들
2장. 최소 구성의 AI 플랫폼 레퍼런스 아키텍처
3장. LLM 서빙 계층 설계
4장. RAG 계층 설계 - 벡터 DB와 인덱싱 파이프라인의 현실적인 구조
5장. API 게이트웨이·인증·권한 - 사내 시스템과 AI 플랫폼을 잇는 관문
6장. 사내 챗봇 인터페이스 - 웹, 슬랙, 포털에 붙이는 방법
7장. GPU 스케줄링·오토스케일링·비용 최적화
8장. 관측성·운영 자동화 - “보인다”와 “버틴다” 사이
9장. 멀티 팀·멀티 테넌트·멀티 리전 - “나만의 플랫폼”을 조직 표준으로 키우기
10장. AI 서비스 포트폴리오 설계 - 플랫폼 위에 무엇을 먼저 올릴 것인가
에필로그. “사내 GPT 하나만”의 다음 단계
부록. 레퍼런스 체크리스트와 도입 로드맵
부록 A. PoC → 파일럿 → 운영 전환 체크리스트
부록 B. 역할별 “오늘 체크할 것” 미니 리스트
부록 C. 첫 프로젝트 설계 템플릿
판권기재

책 속으로

“사내 GPT 하나만 만들어 줄 수 있어요?”

요즘 많은 개발자가 비슷한 메시지를 받는다. 어느 날 아침, 팀 채팅방에 간단한 요청이 올라온다. “요즘 다들 사내 GPT 만든다던데, 우리도 버전 하나 있으면 좋지 않을까요?” 설명은 짧고 가볍지만, 그 한 줄 뒤에 숨어 있는 요구사항은 결코 가볍지 않다. 사내 문서를 검색해 답해야 하고, 보안·권한 체계를 따라야 하고, SLA를 맞춰야 하고, 비용도 감당 가능해야 한다.

처음에는 외부 LLM API를 붙여 간단한 PoC를 만든다. 회사 위키를 긁어 벡터 DB에 넣고, 프롬프트 몇 개를 다듬어 데모를 돌린다. 데모 때는 반응이 나쁘지 않다. “이거 괜찮은데요?”, “여기에 우리 시스템 로그까지 붙이면 운영에 도움 되겠어요.” 그런데 데모가 끝나고 나서부터 진짜 질문이 시작된다.

“운영에 올리면 월 비용이 얼마나 나올까요?”
“사내 인사 정보나 고객 데이터도 붙일 수 있을까요?”
“우리 쪽 리전 트래픽만 따로 묶어서 관리할 수 있나요?”

출판사 서평

사내 챗봇이나 내부용 AI 기능은 데모가 끝난 다음 날부터가 진짜 시작입니다. 운영에 올리는 순간 인증·권한·보안·비용·SLA·멀티 팀 운영 같은 현실이 한꺼번에 몰려오기 때문입니다. 『쿠버네티스로 만드는 나만의 AI 플랫폼』은 그 현실을 전제로, 쿠버네티스 위에서 로컬 LLM부터 사내 챗봇까지 “운영 가능한 플랫폼”을 엔드투엔드로 설계·구축하는 경로를 제시합니다. LLM 서빙 계층과 RAG 계층(벡터 DB·인덱싱 파이프라인), API 게이트웨이와 접근 제어, 인터페이스 연결, GPU 스케줄링·오토스케일링·비용 최적화, 관측성과 운영 자동화까지 핵심 요소를 한 아키텍처로 묶어 설명합니다. 중요한 것은 ‘만드는 법’뿐 아니라 ‘버티는 법’까지 담았다는 점입니다. 개인 PoC를 조직 표준으로 키워야 하는 개발자, 사내 AI 도입을 현실적으로 추진해야 하는 팀, 운영 리스크를 관리하며 확장 가능한 구조가 필요한 리더에게 이 책은 실무의 기준과 체크리스트가 되어 줄 것입니다.

인물정보

저자(글) 플로우인사이트

플로우인사이트는 생활·학습·IT·가정 등 다양한 분야의 실전 콘텐츠를 데이터 기반으로 연구·집필하는 콘텐츠 제작 그룹입니다. 복잡한 기술을 현업의 의사결정과 운영 기준으로 재구성해, 실무자가 시행착오를 줄이도록 돕습니다.