AI 프로젝트 100% 성공을 위한 체크리스트 17

비즈니스 성장을 위한 AI 프로덕트의 기획부터 설계, 성능 평가까지 단계별 전략

유진호 지음 | 정진호 일러스트

책만 2026년 02월 27일 출간 국내도서 : 2026년 01월 30일 출간

작품소개

책소개

성공률 100%의 AI 프로젝트를 위한, 현장에서 즉시 꺼내 쓰는 실전 로드맵!

화려한 AI 기술 스택 뒤에는 비즈니스 가치 입증 실패, 운영 비용의 늪, 경험의 부재라는 수많은 함정이 도사리고 있다. 이 책은 AI 프로젝트가 왜 반복해서 실패하는지에 대한 물음으로 출발해, 기획 단계의 타당성 검토부터 개발, 설계, 구현, 운영상의 리스크 관리까지 전 과정에서 반드시 점검해야 할 17가지 핵심 질문과 체크리스트를 실제 프로젝트 흐름에 맞춰 제시한다. 단순히 AI 기술을 소개하는 책이 아니라, AI 프로젝트가 기업이나 조직의 비즈니스 성과로 이어지기 위해 무엇을 점검해야 하는지를 하나씩 확인하며 따라갈 수 있는 실전 로드맵이다.

- AI 프로젝트 사전 진단: 실패를 딛고 100% 성공으로 향하는 기본 점검 사항
- 실전 로드맵: 기획-개발-운영 단계별 놓치지 말아야 할 필수 점검 사항
- 완벽한 AI 프로덕트: 성능 평가, 최적화, 인재 확보와 관리 전략까지

목차

1부 AI 프로젝트를 시작하며: 기본 점검

1장 프로젝트가 실패할 확률을 추산해보았나?
생성AI/LLM를 이용한 프로젝트들이 인기 있는 이유
생성AI/LLM 프로젝트들의 치명적 함정들
생성AI/LLM 프로젝트의 위험성을 줄일 수 있는 방안
정리

2장 생성AI 기술은 절대반지일까?
기존 머신러닝/규칙기반 기술이 더 적합한 문제도 있다
생성AI/LLM이 더 적합한 문제도 있을까?
기존 머신러닝/규칙기반 vs 생성AI/LLM 기술의 달라진 개발 순서
정리

3장 업무 노하우와 도메인 지식을 파악해 적용했는가?
지식 습득과 생산 비용을 획기적으로 감소시킨 생성AI/LLM
무엇이 우리를 다른 경쟁자들과 다르게 만들까?
도메인 지식과 숨은 업무 노하우를 끌어내는 방법
1단계: 분석할 중요한 사건을 선정하기
2단계: 시간 순서표 만들기
3단계: 깊이 파고들기
4단계: “가정해보는(What if)” 질문하기
도메인 지식과 생성AI/LLM의 융합으로
정리

2부 AI 프로젝트의 실제 구축 방안

4장 우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?
LLM 모델만 이용할 경우
RAG: LLM 모델에 데이터를 붙여서 이용하기
에이전트: LLM모델에 도구와 메모리 붙이기
MCP: 모든 도구들의 ‘사실상 표준’
여러 에이전트들 연결하기: A2A 프로토콜
정리

5장 서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?
1단계: 가드레일 설치
2단계: 라우터와 게이트웨이
3단계: 프롬프트 템플릿 관리
4단계: 캐시로 응답시간 줄이기
5단계: 출력을 입력으로 넣어주기
6단계: 모니터링과 관찰 가능성 추가하기
정리

6장 데이터는 어떻게 확보했으며 충분히 준비할 수 있었는가?
생성AI/LLM 앱에는 어떤 데이터가 필요할까?
오픈소스 데이터셋 활용하기
데이터가 쌓이는 구조 설계하기
데이터 증강하기: CRAFT 방법론
데이터 수집이 어렵거나 법적 문제가 있을 경우
데이터를 가져오기 위한 레거시 시스템과의 연동
데이터에서 개인정보보호 방안을 마련했는가?
정리

7장 비정형 문서를 제대로 읽어와서 처리했는가?
정형 데이터 vs 비정형 데이터, 무엇이 다른가?
비정형 문서를 데이터로 변환하는 방법
파싱: 문서 파일을 기계가 읽을 수 있는 데이터로 변환하기
문서 포맷별 어려운 점: PDF
그 외 문서 포맷별 어려운 점
‘표준 데이터 형식’ 만들기
청킹: LLM이 한 번에 소화할 수 있게 잘게 나누기
정리

8장 LLM: 자체 구축할까? API를 활용할까?
AI 시스템을 자체 구축할 경우?
직접 LLM을 서빙할 때의 비용은 얼마나 드나?
LLM API의 비용은 점점 더 저렴해지고 있다
모든 것에 다 비싼 생성AI/LLM API를 쓰지 않아도 된다
정리

9장 SLM: 적시에 도입하고 제대로 활용하고 있는가?
SLM은 언제 도입해야 할까?
SLM은 어떻게 만드는가?
__언어 모델 구조 결정
__지식 증류: 특화된 작업 결정 후 그에 맞는 학습 데이터 준비
__모델 재학습: 파인튜닝
__양자화를 통한 모델 크기 축소
__만들어진 모델의 평가와 서빙
그럼에도, SLM은 성능이 너무 떨어지지 않을까?
정리

10장 비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에 맡길까?
증강LLM, LLM 워크플로, 에이전트란 무엇인가?
앤스로픽이 제안한 LLM 워크플로 패턴
정말 에이전트를 써야 할 때는 언제일까?
__정형화된 정보의 요약 및 질의응답
__반복 업무 자동화 및 보고서 작성
__외부 도구 및 API 연계를 통한 작업
__코드 생성 및 개발 보조
__대규모 데이터 분석 및 의사결정 보조
에이전트를 쓰지 말아야 할 때는 언제일까?
__직관을 이용해 실시간 대응이 필요한 작업
__복잡한 논리 추론과 인과관계 이해
__장기 기억 및 긴 문맥이 요구되는 작업
__복잡한 다단계 계획 수립 및 새로운 도구 조합
__창의적 발상과 의미 있는 혁신 작업
__사실 검증이 필요한 정확한 지식의 응용
실전 사례: 어느 증권 프로젝트의 전환점
정리

3부 더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소

11장 적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?
프롬프트 엔지니어링은 과연 끝났는가? 6
다른 사람들은 프롬프트를 어떻게 만들까?
프롬프트를 이용한 가드레일 설계
효과가 탁월한 ‘생각의 사슬(CoT)’ 프롬프트 기법
시스템 프롬프트, 사용자 프롬프트, 언어 모델별 프롬프트 작성법
LLM 모델별 프롬프트 작성 방법
LLM을 이용한 프롬프트 최적화
프롬프트를 관리하고 평가하라
컨텍스트 엔지니어링: 전체 맥락을 설계하라
정리

12장 AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?
RAG가 질문에 답하는 방법
사용자의 질문이 명확하지 않을 때
청킹: RAG에 넣기 위해 데이터 조각내기
임베딩 모델 선택과 파인튜닝
희소 벡터와 밀집 벡터
벡터DB 및 검색엔진 최적화와 재순위자
지식 그래프를 통해 검색의 정확도를 높인 RAG: 그래프RAG
일반 RAG vs 에이전틱 RAG
정리

13장 RAG 성능을 평가하고 있는가?
RAG의 성능을 평가할 수 있는 도구
평가도구 자세히 보기: RAGAS
__1단계: 평가 데이터 준비하기
__2단계: 세 가지 핵심 지표로 평가하기
RAG의 성능 평가는 반복적으로 그리고 주기적으로 해야 한다
정리

14장 LLM 모델 성능을 평가하고 있는가?
우선 ‘무엇을 잘하게 만들고 싶은가’부터 정의하라
LLM 평가: 사람과 AI, 누가 더 나은 심판인가?
단일 지표보다는 균형 잡힌 접근
정리

15장 에이전트 성능을 평가하고 있는가?
일반적으로 사용하는 에이전트의 성능 평가 지표
평가 접근법의 분류
__종합 실무 능력 평가 방법(1) 가이아
__종합 실무 능력 평가 방법(2) 더에이전트컴퍼니
펑션 콜링 기능 평가하기
벤치마크 점수에 지나치게 몰입하지 않도록
우리 에이전트를 평가하는 고유한 에이전트 벤치마크를 만들자
정리

16장 AI의 거짓말과 환각에 대응하고 있는가?
왜 환각 현상은 완전히 제거하기 어려운가?
일반적인 환각 현상 관리 전략
각 분야별 환각 현상 대응 방법
정리

17장 인재 확보와 관리 전략을 운영하고 있는가?
기술 격차와 수급 불균형의 문제
그렇다면, 어떤 사람이 필요한가?
일반 소프트웨어 엔지니어가 없으면 AI 서비스를 만들 수 없다
AI 분야의 엔지니어로 취업이나 이직을 고려하고 있다면?
정리

부록A 오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목
부록B AI 프로덕트를 기획하기 전에 고려할 사항

출판사 서평

| 이 책의 독자 대상 |
- AI로 새로운 기회를 만들고 비즈니스 가치를 높이려는 실무자와 경영진
- 당장 제품과 서비스에 AI를 적용해야 하는 개발자, 머신러닝 엔지니어, 데이터 과학자
- 기존 서비스에 AI를 접목해 프로덕트를 기획, 운영해야 하는 PM과 PO
- 반복되는 AI 프로젝트 실패의 구조적 원인을 찾고 싶은 조직 리더

| 이 책의 구성 |
1부 ‘AI 프로젝트를 시작하며: 기본 점검’
1장 ‘프로젝트가 실패할 확률을 추산해보았나?’에서는 AI 프로젝트가 실패할 확률은 왜 그리도 높은지, 실패를 피하려면 초기에 어떤 부분을 고려해야 하는지를 다룹니다.
2장 ‘생성AI 기술은 절대반지일까?’에서는 생성AI 기술이 모든 것의 해답은 아닐 수도 있다는 점을 짚어봅니다. 특히 기존에 잘 활용해온 규칙기반 시스템이나 머신러닝 시스템이 더 적합한 일들은 무엇이며, 생성AI/LLM이 적합한 일은 무엇인지를 알아봅니다.
3장 ‘업무 노하우와 도메인 지식을 파악해 적용했는가?’에서는 AI를 적용할 각 분야 실무자들의 도메인 지식과 업무 노하우를 어떻게 정리해서 AI 프로덕트에 녹여낼 것인지를 살펴봅니다.

2부 ‘AI 프로젝트의 실제 구축 방안’
4장 ‘우리 비즈니스에 맞는 AI 기술을 제대로 알고 선택했는가?’에서는 현재 해결하고자 하는 문제에 어떤 AI 기술을 선택해서 써야 할지에 대해 알아봅니다. 다양한 기술의 기본 사항과 특장점에 대한 기초 지식을 갖추고자 합니다.
5장 ‘서비스 가능한 AI 프로덕트를 위한 아키텍처 요소를 잘 구성했는가?’에서는 AI 프로덕트가 현실에서 돌아가게 하기 위해 필요한 가드레일, 라우터나 게이트웨이, 프롬프트 템플릿 관리 등을 알아보고, 그 필요성과 의미에 대해서도 살펴봅니다.
6장 ‘데이터는 어떻게 확보했으며, 충분히 준비할 수 있었는가’에서는 데이터를 가져오는 데 방해가 되는 요소들을 피하는 방법, 때에 따라서는 오픈소스로 공개된 데이터들을 이용하고 부족할 경우에는 합성 데이터를 만드는 것, 그리고 개인정보보호 방안까지 알아봅니다.
7장 ‘비정형 문서를 제대로 읽어와서 처리했는가?’에서는 다양한 문서에서 비정형 데이터를 가져와서 정리하는 방법, 파일 포맷별로 달라져야 하는 다양한 문서 파싱 전략 방안을 살펴봅니다.
8장 ‘LLM: 자체 구축할까? API를 활용할까?’에서는 직접 서빙시에 어느 정도의 비용이 드는지 추산을 해보고 상황에 따라 어떻게 접근하는 것이 경제적인지를 살펴봅니다.
9장, ‘SLM: 적시에 도입하고 제대로 활용하고 있는가?’에서는 실제 비즈니스에 맞는 SLM을 언제 만들어야 하고 어떻게 만들어야 하는지를 알아봅니다. 지식 증류, 파인튜닝, 양자화 등 독자가 꼭 알아야 하는 기본 사항들을 위주로 살펴봅니다.
10장 ‘비즈니스 문제 해결: LLM 워크플로를 만들까? 에이전트에게 맡길까?’에서는 워크플로와 에이전트의 차이를 알아보고, 언제 무엇을 선택해 쓰는 게 좋은지를 살펴봅니다.

3부 ‘더 완벽한 AI 프로덕트를 향하여: 성능 평가와 최적화, 인적 요소’
11장 ‘적절한 프롬프트를 만들어 우리가 원하는 컨텍스트를 구성했는가?’에서는 좋은 프롬프트를 만드는 많은 방법 중에 제가 직접 써보고 좋았던 방법들을 정리했습니다. 특히 ‘컨텍스트 엔지니어링’의 관점에서 어떻게 프롬프트를 봐야 할지도 알아봅니다.
12장 ‘AI 답변 수준을 높이기 위해 RAG 최적화를 했는가?’에서는 RAG를 최적화해서 AI가 더 답을 잘할 수 있는 방법을 소개합니다. 이와 관련해, 청킹, 임베딩, 검색, 재순위, 에이전틱 RAG 등을 배워봅니다.
13장 ‘RAG 성능을 평가하고 있는가?’에서는 RAG의 성능 평가를 할 때 벡터DB에 올린 자료들에 입각해서 평가 데이터셋을 만들고, LLM을 통해서 평가하는 RAGAS에 대해 알아봅니다.
14장 ‘LLM 모델 성능을 평가하고 있는가?’에서는 LLM 모델의 성능 평가가 필요한 이유를 알아봅니다. 성공적인 모델 성능 평가를 위해서는 명확한 목표를 정의하고 이에 맞는 데이터셋을 모아야 하며, 여러 가지 평가지표를 설정하고 마지막으로 이 지표들을 균형 잡힌 결과로 해석해야 합니다.
15장 ‘에이전트 성능을 평가하고 있는가?’에서는 에이전트 성능 평가가 필요한 이유, 그리고 성능 평가를 실제로 수행하기 위해 공개 벤치마크를 활용한 평가 방식을 알아봅니다. 또한 기존의 벤치마크들이 다루지 못하는 부분에 대해 직접 벤치마크와 지표를 마련하는 방법도 살펴봅니다.
16장 ‘AI의 거짓말과 환각에 대응하고 있는가?’에서는 환각 현상이 모델 학습에서부터 기인한 현상이므로, 환각 현상을 줄이기 위한 방안으로 RAG를 통한 외부 문서 참조, 롱 컨텍스트 모델 활용, 가드레일 기술을 통한 실시간 입출력 검증, 출처 명시를 통한 투명성 강화, 인적 검증 및 피드백 시스템 구축 등을 알아봅니다.
17장 ‘인재 확보와 관리 전략을 운영하고 있는가?’에서는 기업이나 조직에서 함께 사용자의 관점에서는 일할 사람들을 어떻게 뽑을 수 있을지, 그리고 이취업을 준비하는 피사용자의 관점에서는 어떻게 AI 회사에서 일할 기회를 얻을 수 있을지를 알아봅니다.

부록 A ‘오픈 가중치 모델을 선택하기 위한 체크리스트와 추정 항목’에서는 허깅페이스에 있는 모델카드상의 스펙들을 비교/추정해서 우리가 만들려는 제품에 어떤 모델이 맞는지를 판단할 수 있는 항목을 알아봅니다.
부록 B ‘AI 프로덕트를 기획하기 전에 고려할 사항’에서는 어떻게 해야 의미가 있는 프로덕트를 만들 수 있을지, 그 스펙은 어떻게 정해야 하는지, 경쟁자들은 어떻게 따돌릴지에 대해 생각해 볼 수 있는 항목을 살펴봅니다.

인물정보

저자(글) 유진호

국민대학교 전자공학과에서 공학학사를, 서강대학교 영상대학원 미디어공학과에서 공학석사를 취득했다. 컴퓨터 비전 분야에서 시작해서 GE헬스케어에서 초음파 진단 장비관련 일을 하다가 카카오엔터테인먼트에서 크로스 플랫폼 3D 렌더링 엔진 개발 업무를 했고, 파라메타에서 블록체인과 클라우드, 티켓플레이스에서 웹서비스와 클라우드 등 다양한 분야에서 소프트웨어 개발을 수행해왔다. 동시에, 애자일 코치로서 소프트웨어 팀이 높은 생산성과 열정을 가지고 일할 수 있도록 개발 조직을 운영하기 위해 노력하고 있다. 현재는 한솔PNS에서 AX 플랫폼인 AI-Atlas를 개발하고 있다.

일러스트 정진호

개발자 출신 작가, 일러스트레이터, 바이브코딩 전문가. 글로벌 인터넷 기업 엔지니어를 거쳐, 독학으로 14년째 그림을 그리고 있다. 40권 이상의 저서·역서·일러스트 작업, 기업·학교·공공기관 강의와 프로젝트를 수행하며 아날로그와 디지털을 넘나드는 창작을 실험한다. 복잡한 것을 단순하게, 어려운 것을 쉽게. 국내 최고령 크리에이터가 되는 소박한 꿈을 품고 매일 바이브 코딩으로 앱을 만든다.

작가의 말

서점에는 많은 생성AI/LLM 관련 책들이 있습니다. AI가 인류의 모든 직업을 없앨 거라는 미래 예측서들, 엊그제 출시된 AI 서비스들을 우선 빨리 써보고 스크린샷에 설명을 붙여 정리한 책들, AI는 모두 사기라는 책들, 수학과 코드를 동원해 기술적으로 아주 깊이 설명하는 책까지 정말 다양합니다. 그러나 이 책들만 들고 뭔가 일을 하기에는 다소 허망한 느낌이었습니다. 그래서 많은 사람이 챗GPT나 제미나이에 물어보거나 어디서 ‘들어본 이야기’를 바탕으로 일을 하려다가 어려움을 겪는 상황을 적잖이 볼 수 있었습니다. 혹은 지나치게 많은 자료들 가운데 일부 잘못된 이야기를 거르지 못해서 그릇된 판단을 내리는 상황을 본 적도 많습니다.
저는 ‘좋은 것이 무엇인지’ 알려줄 수 있는 지도 같은 것이 필요했습니다. 그러나 이를 찾기가 쉽지는 않았습니다. 결국 제가 선택할 수 있는 방법은 ‘스스로 지도를 만드는’ 것뿐이었습니다. 제가 본 것, 들은 것, 해본 것, 찾은 것, 또 주위에서 해주는 이야기들을 하나씩 적고 스크랩하고 정리하면서 그 속의 의미들을 고민하는 것부터 시작했습니다. 그러다 보니 저와 비슷하게 AI를 이용해서 뭔가를 하려는 사람들에게 도움이 될 수 있는 자료들을 만들 수 있었습니다. 처음에는 이 내용들을 백과사전처럼 정리했습니다. 그러다가 출판사로부터 ‘체크리스트’처럼 정리하는 것이 읽는 사람들에게 더 도움이 되겠다는 피드백을 받았습니다. 그래서 AI 프로젝트를 하거나 프로덕트를 기획할 때 꼭 가야 하는 길을 알려주고, 피해야 하는 ‘암초’들의 위치를 알려주는 17가지 체크리스트들을 각 장의 ‘제목’으로 삼아 제가 직접 현장에서 경험한 세부 사항들을 정리했습니다.
이 책은 생성AI나 LLM 등에 관한 기초 지식이나 사용법을 익히게 하려는 데 그 목표를 두지 않았으며, 실제 기업이나 조직에서 현업 AI 프로젝트를 수행하거나 AI 프로덕트를 만들 때 성공률을 100% 가까이 높이게 하고자 하는 독자를 타깃으로 했습니다. 독자분들이 책을 읽으면서 좀 더 정보를 얻으면 좋을 참고 자료 목록이나 링크 등을 주석으로 달아두었습니다. 또한 최대한 어려운 수식이나 코드는 배제하고 설명했으므로 프로젝트 성공을 바라는 독자들에게 좋은 자료가 되길 바랍니다.
다른 분야에 종사하다가 AI 분야로 들어오시는 모든 분께도 모쪼록 이 책이 좋은 길라잡이가 되었으면 합니다. 그리고 기술 그 자체에만 너무 얽매이지 말고 그 기술이 영향을 미치는 ‘사람들’과 사람 간의 ‘관계’, 이들이 만들어 내는 ‘기회’를 잡는 데 도움이 되기를 진심으로 바랍니다.