밑바닥부터 시작하는 딥러닝 5

사이토 고키 지음 | 개앞맵시 옮김

한빛미디어 2024년 10월 14일 출간 국내도서 : 2024년 10월 15일 출간

작품소개

책소개

이 책은 정규 분포와 최대 가능도 추정과 같은 기본 개념에서 출발하여 가우스 혼합 모델, 변이형 오토인코더(VAE), 계층형 VAE 그리고 확산 모델에 이르기까지 다양한 생성 모델을 설명합니다. 수식과 알고리즘을 꼼꼼하게 다루며 수학 이론과 파이썬 프로그래밍을 바탕으로 한 실제 구현 방법을 알려줍니다. 생성 모델을 이론뿐만 아니라 실습과 함께 명확하게 학습할 수 있습니다. 특히 확산 모델에 이르는 10단계의 과정을 하나의 스토리로 엮어 중요한 기술들을 서로 잇고 개선할 수 있도록 구성했습니다. 이 책과 함께 생성 모델을 밑바닥부터 시작해보세요.

목차

CHAPTER 1 정규 분포
_1.1 확률의 기초
_1.2 정규 분포
_1.3 중심 극한 정리
_1.4 표본 합의 확률 분포
_1.5 우리 주변의 정규 분포

CHAPTER 2 최대 가능도 추정
_2.1 생성 모델 개요
_2.2 실제 데이터로 생성 모델 구현
_2.3 최대 가능도 추정 이론
_2.4 생성 모델의 용도

CHAPTER 3 다변량 정규 분포
_3.1 넘파이와 다차원 배열
_3.2 다변량 정규 분포
_3.3 2차원 정규 분포 시각화
_3.4 다변량 정규 분포의 최대 가능도 추정

CHAPTER 4 가우스 혼합 모델
_4.1 우리 주변의 다봉 분포
_4.2 가우스 혼합 모델 데이터 생성
_4.3 가우스 혼합 모델의 수식
_4.4 매개변수 추정의 어려움

CHAPTER 5 EM 알고리즘
_5.1 KL 발산
_5.2 EM 알고리즘 도출 ①
_5.3 EM 알고리즘 도출 ②
_5.4 GMM과 EM 알고리즘
_5.5 EM 알고리즘 구현

CHAPTER 6 신경망
_6.1 파이토치와 경사법
_6.2 선형 회귀
_6.3 매개변수와 옵티마이저
_6.4 신경망 구현
_6.5 토치비전과 데이터셋

CHAPTER 7 변이형 오토인코더
_7.1 VAE와 디코더
_7.2 VAE와 인코더
_7.3 ELBO 최적화
_7.4 VAE 구현

CHAPTER 8 확산 모델 이론
_8.1 VAE에서 확산 모델로
_8.2 확산 과정과 역확산 과정
_8.3 ELBO 계산 ①
_8.4 ELBO 계산 ②
_8.5 ELBO 계산 ③
_8.6 확산 모델의 학습(알고리즘)

CHAPTER 9 확산 모델 구현
_9.1 U-Net
_9.2 사인파 위치 인코딩
_9.3 확산 과정
_9.4 데이터 생성
_9.5 확산 모델의 학습(구현)

CHAPTER 10 확산 모델 응용
_10.1 조건부 확산 모델
_10.2 점수 함수
_10.3 분류기 가이던스
_10.4 분류기 없는 가이던스
_10.5 스테이블 디퓨전

APPENDIX A 다변량 정규 분포의 최대 가능도 추정법 도출
_A.1 μ의 최대 가능도 추정
_A.2 2차 형식의 미분([식 A.4]의 증명)
_A.3 Σ의 최대 가능도 추정
_A.4 대각합과 미분([식 A.12]의 증명)

APPENDIX B 옌센 부등식
_B.1 볼록 함수와 옌센 부등식
_B.2 오목 함수와 로그 함수
_B.3 ELBO 도출

APPENDIX C 계층형 VAE의 이론과 구현
_C.1 2계층 VAE의 구성요소
_C.2 ELBO의 식 전개
_C.3 몬테카를로 방법에 따른 ELBO의 근삿값
_C.4 2계층 VAE 구현
_C.5 구현 코드

APPENDIX D 수식 기호 목록
_D.1 이 책에서 사용하는 기호
_D.2 이 책에서 사용하는 수식

출판사 서평

정규 분포에서 확산 모델까지, 생성 모델 완전 정복!
수식과 코드로 명쾌하게 풀어낸 최고의 생성 모델 안내서!

명불허전 『밑바닥부터 시작하는 딥러닝』 시리즈가 이번에는 생성형 AI와 함께합니다.
스테이블 디퓨전, 미드저니, DALL-E 등과 같은 이미지 생성 AI가 다양한 분야에서 관심을 얻고 활용되고 있습니다. 이들 기술의 배경에는 딥러닝을 활용한 '생성 모델'이 있습니다. 이번 편에서는 바로 생성 모델에서 주목받고 있는 '확산 모델(Diffusion Model)'을 다룹니다.

정규 분포, 최대 가능도 추정(MLE)과 같은 기본 개념에서 시작해 가우스 혼합 모델(GMM), 기댓값 최대화 알고리즘(EM), 변이형 오토인코더(VAE), 계층형 VAE 그리고 확산 모델까지의 여정을 10단계로 나누어 안내합니다. 단순히 이미지나 결과를 전달하는 데 그치지 않고 ‘왜 그렇게 되는지’와 ‘어떻게 그 결과를 얻을 수 있는지’도 빼놓지 않았습니다. 이를 위해 수식을 세심하게 다루며 작은 부분까지 신경 썼습니다.

이론과 실습을 아우르는 체계적인 커리큘럼을 제공하기 때문에 기초부터 차근차근 배우고 실습을 통해 생성 모델의 원리를 깊게 이해할 수 있습니다. 확산 모델을 비롯한 생성 모델을 더욱 깊이 이해하고 응용하고자 하는 모든 이에게 이 책은 든든한 길잡이가 될 것입니다.

대상 독자
(미적분학, 선형대수학 등의 수학과 파이썬 기초 지식이 있으면 좋습니다.)
- 생성 모델 구현 원리와 응용에 대해 궁금한 개발자
- 자연어 처리, 이미지 생성, 음성 합성 등 다양한 분야에 생성 모델을 적용하고 싶은 개발자

주요 내용
- 1장 정규 분포
- 2장 최대 가능도 추정
- 3장 다변량 정규 분포
- 4장 가우스 혼합 모델
- 5장 EM 알고리즘
- 6장 신경망
- 7장 변이형 오토인코더(VAE)
- 8장 확산 모델 이론
- 9장 확산 모델 구현
- 10장 확산 모델 응용

작가정보

저자(글) 사이토 고키

斎藤 康毅
1984년 나가사키 현 쓰시마 출생. 도쿄공업대학교 공학부를 졸업하고 도쿄대학대학원 학제정보학부 석사 과정을 수료했다. 현재는 기업에서 인공지능 관련 연구ㆍ개발에 매진하고 있다. 『밑바닥부터 시작하는 딥러닝』 시리즈 집필 외에 『파이썬 인 프랙티스』, 『밑바닥부터 만드는 컴퓨팅 시스템』, 『Building Machine Learning Systems with Python』 등을 일본어로 옮겼다.

번역 개앞맵시

개앞맵시(이복연)
고려대학교 컴퓨터학과를 졸업하고 삼성전자에서 자바 가상 머신, 스마트폰 플랫폼, 메신저 서비스 등을 개발했다. 주 업무 외에 분산 빌드, 지속적 통합, 앱 수명주기 관리 도구, 애자일 등 동료 개발자들에게 실질적인 도움을 주는 일에 관심이 많았다. 그 후 창업전선에 발을 들여 좌충우돌하다가 개발자 커뮤니티에 기여하는 더 나은 방법을 찾아 출판 시장에 뛰어들었다.
『밑바닥부터 시작하는 딥러닝』 시리즈, 『구글 엔지니어는 이렇게 일한다』, 『리팩터링 2판』, 『JVM 밑바닥까지 파헤치기』, 『이펙티브 자바 3판』 등을 번역했다.
- 페이스북: facebook.com/dev.loadmap
- 브런치: brunch.co.kr/@wegra