핸즈온 생성형 AI: GPT, 라마, 뮤직젠, 스테이블 디퓨전으로 배우는 트랜스포머와 확산 모델 활용법

오마르 산세비에로 , 페드로 쿠엥카 , 아폴리나리우 파소스 , 조나단 휘태커 지음 | 장윤경 옮김

한빛미디어 2025년 06월 30일 출간 국내도서 : 2025년 06월 30일 출간

작품소개

책소개

목차

[1부 개방형 모델 활용]

1장 생성 미디어 입문
_1.1 이미지 생성
_1.2 텍스트 생성
_1.3 사운드 클립 생성
_1.4 윤리적 및 사회적 영향
_1.5 생성 모델의 과거와 현재
_1.6 생성형 AI 모델 개발 방법
_1.7 요약

2장 트랜스포머
_2.1 언어 모델의 활용 사례
_2.2 트랜스포머 블록
_2.3 트랜스포머 모델 계보
_2.4 사전 학습의 힘
_2.5 트랜스포머 요약
_2.6 언어 모델을 이용한 텍스트 생성 프로젝트
_2.7 요약
_연습 문제
_도전 과제
_참고 자료

3장 정보 압축과 표현
_3.1 오토인코더
_3.2 변이형 오토인코더
_3.3 CLIP
_3.4 CLIP의 대안
_3.5 의미 기반 이미지 검색 프로젝트
_3.6 요약
_연습 문제
_도전 과제
_참고 자료

4장 확산 모델
_4.1 핵심 원리: 반복 정제
_4.2 확산 모델 학습
_4.3 노이즈 스케줄 심층 분석
_4.4 U-Net과 대안 심층 분석
_4.5 확산 목표 심층 분석
_4.6 비조건부 확산 모델 학습 프로젝트
_4.7 요약
_연습 문제
_도전 과제
_참고 자료

5장 스테이블 디퓨전과 조건부 생성
_5.1 조건부 확산 모델을 위한 조건 추가하기
_5.2 효율성을 높이는 잠재 확산
_5.3 스테이블 디퓨전 구성 요소 심층 분석
_5.4 주석이 달린 샘플링 루프
_5.5 오픈 데이터, 오픈 모델
_5.6 Gradio로 인터랙티브 머신러닝 데모 만들기 프로젝트
_5.7 요약
_연습 문제
_도전 과제
_참고 자료

[2부 생성 모델을 위한 전이 학습]

6장 언어 모델 파인튜닝
_6.1 텍스트 분류
_6.2 텍스트 생성
_6.3 지시 사항
_6.4 어댑터 소개
_6.5 양자화 소개
_6.6 통합 구현
_6.7 평가 방법에 대한 더 깊은 이해
_6.8 검색 증강 생성 프로젝트
_6.9 요약
_연습 문제
_도전 과제
_참고 자료

7장 스테이블 디퓨전 파인튜닝
_7.1 스테이블 디퓨전 전체 모델 파인튜닝
_7.2 드림부스
_7.3 LoRA 학습
_7.4 스테이블 디퓨전에 새로운 기능 추가하기
_7.5 SDXL 드림부스 LoRA 학습하기 프로젝트
_7.6 요약
_연습 문제
_도전 과제
_참고 자료


[3부 더 나아가기]

8장 텍스트-이미지 모델의 창의적 활용
_8.1 이미지-이미지 변환
_8.2 인페인팅
_8.3 프롬프트 가중치와 이미지 편집
_8.4 인버전으로 실제 이미지 편집하기
_8.5 컨트롤넷
_8.6 이미지 프롬프팅과 이미지 변형
_8.7 창의적 그림 생성 프로젝트
_8.8 요약
_연습 문제
_참고 자료

9장 오디오 생성
_9.1 오디오 데이터
_9.2 트랜스포머 기반 아키텍처를 활용한 음성-텍스트 변환
_9.3 텍스트에서 음성으로, 생성 오디오로
_9.4 오디오 생성 시스템 평가
_9.5 향후 발전 방향
_9.6 엔드-투-엔드 대화 시스템 프로젝트
_9.7 요약
_연습 문제
_도전 과제
_참고 자료

10장 생성형 AI 분야의 발전과 최신 동향
_10.1 선호도 최적화
_10.2 긴 컨텍스트
_10.3 전문가 혼합
_10.4 최적화와 양자화
_10.5 데이터
_10.6 모든 것을 해결하는 단일 모델
_10.7 컴퓨터 비전
_10.8 3D 컴퓨터 비전
_10.9 비디오 생성
_10.10 멀티 모달리티
_10.11 커뮤니티

APPENDIX A. 오픈 소스 도구
APPENDIX B. LLM 메모리 요구사항
APPENDIX C. 엔드-투-엔드 검색 증강 생성

출판사 서평

모델의 안과 밖을 설계하는 실습으로 완성하는 최신 생성형 AI 실무 가이드
『핸즈온 생성형 AI』는 생성형 AI의 핵심 원리를 이해하고 직접 구현해 보며 실무에 적용할 수 있도록 구성된 실습 중심 가이드입니다. 트랜스포머와 오토인코더, 확산 모델 등 주요 기술을 설명하고, 텍스트·이미지·오디오 등 다양한 멀티 모달 데이터를 생성하는 전 과정을 실제 코드와 함께 학습합니다.
책의 초반부에서는 생성형 AI의 개념과 기본 구조를 설명하고, 사전 학습된 모델을 활용한 텍스트 및 이미지 생성 방법을 소개합니다. 중반부에서는 트랜스포머와 확산 모델을 기반으로 한 파인튜닝 기법과 RAG 구현, LoRA와 드림부스 같은 최신 기술을 활용한 실전 예제를 다루며, 생성형 AI의 원리를 깊이 있게 이해할 수 있도록 돕습니다. 후반부에는 오디오 생성, 조건부 이미지 생성, 텍스트-이미지 응용 등 창의적인 활용 사례와 함께 생성형 AI를 실무에 접목하는 다양한 전략을 제시합니다. 또한 생성형 AI 분야의 발전과 최신 동향까지 함께 다루어 생성형 AI 기술을 책임감 있게 활용하는 개발자로 성장하도록 도와줍니다. 이 책을 통해 생성형 AI의 기초부터 실전 적용까지 탄탄하게 익히며, 최신 기술 흐름에 맞는 개발 역량을 한층 강화할 수 있습니다.
누구를 위한 책인가요?
● 생성형 AI 모델의 동작 원리를 깊이 있게 이해하고 싶은 개발자
● 단순 API 호출을 넘어, 특정 도메인에 맞는 모델을 직접 파인튜닝하고 싶은 분
● 허깅페이스 생태계를 활용해 나만의 생성 모델을 구축하려는 연구자 및 엔지니어
● LLM, 확산 모델 관련 최신 논문은 읽었지만, 실제 코드로 구현하는 데 어려움을 겪는 분

작가정보

저자(글) 오마르 산세비에로

Omar Sanseviero
허깅 페이스의 라마 최고 책임자이자 플랫폼 및 커뮤니티 책임자로서 개발자 지원 엔지니어링, 온디바이스 및 문샷 팀을 이끌었다. 구글에서 구글 어시스턴트와 텐서플로 그래픽 분야에서 폭넓은 엔지니어링 경험을 쌓았다. 오픈 소스, 제품, 연구 및 기술 커뮤니티가 교차하는 허깅 페이스에서 다양한 업무를 수행했다.

저자(글) 페드로 쿠엥카

Pedro Cuenca
허깅 페이스의 머신러닝 엔지니어로서 확산 모델 소프트웨어와 애플리케이션을 개발하고 있으며, iOS를 비롯한 소프트웨어 개발 분야에서 20년 이상의 경력을 쌓았다. LateNiteSoft의 공동 창립자이자 CTO로 재직하며 사진 화질 개선을 위한 맞춤형 머신러닝 모델을 적용한 아이폰 앱인 Camera+의 핵심 기술을 개발했다. 사진 화질 개선과 초고해상도 변환을 위한 딥러닝 모델을 직접 개발했으며, DALL·E mini 프로젝트의 개발과 운영에도 참여했다.

저자(글) 아폴리나리우 파소스

Apolinário Passos
허깅 페이스의 머신러닝 아트 엔지니어로, 여러 팀과 함께 예술과 창의성에 관련된 다양한 머신러닝 사용 사례를 연구한다. 10년 이상 미술 전시회 개최, 코딩, 제품 관리를 번갈아 가며 전문적이고 예술적인 경력을 쌓았으며, World Data Lab에서 제품 책임자로 근무했다. ML 생태계가 예술적 사용 사례를 이해하고 지원하도록 하는 것을 목표로 한다.

저자(글) 조나단 휘태커

Jonathan Whitaker
생성 모델링에 중점을 둔 데이터 과학자이자 딥러닝 연구자로, 허깅 페이스 확산 모델 수업과 ‘딥러닝 기초부터 스테이블 디퓨전까지(From Deep Learning Foundations to Stable Diffusion )’ 등의 강의를 진행했다. 또한 컨설턴트로 근무하는 동안 이러한 기술을 업계에 적용했으며 현재는 Answer.AI에서 AI 연구와 개발에 전념하고 있다.

번역 장윤경

컴퓨터 공학 학·석사 졸업 후 LG전자 CTO 조직에서 자연어 처리 연구원으로 근무했다. 현재 LINE STUDIO에서 머신러닝 엔지니어로 재직하며 생성형 AI 활용과 머신러닝 파이프라인 구축을 담당하고 있다. 기술을 통한 예술 실현에 관심이 깊어 AI 음악 및 디지털 아트 작업을 꾸준히 병행하고 있다.