생성형 AI의 구조

수식 없이도 정확히 이해하는 이미지, 음성, 비디오를 실현하는 플로의 핵심 원리

오카노하라 다이스케 지음 | 정원창 옮김

제이펍 2025년 06월 10일 출간 국내도서 : 2025년 05월 13일 출간

작품소개

책소개

일본 최고의 AI 전문가 오카노하라 다이스케는 비전문가도 이해할 수 있도록 수식 없이 글과 그림만으로 생성형 AI의 구조를 설명하는 이 책을 집필했다. 생성형 AI의 역사부터 플로, 확산 모델과 플로 매칭, 최적 운송까지, ‘기술을 둘러싼 풍부한 맥락을 제공’한다고 평가받는 베테랑 저자의 친절한 해설과 함께 오늘날 IT의 중심에 선 생성형 AI의 핵심을 제대로 이해해보자.

목차

옮긴이 머리말 ix
한국의 독자들에게 x
머리말 xi

CHAPTER 1 생성형 AI 1
생성형 AI란 무엇인가 1
지시와 조건에 따르는 생성 2
이전에는 생성하기 어려웠던 데이터를 생성 가능 3
규칙 기반에서 머신러닝으로 5
생성 작업은 특히 어려운 머신러닝 문제 7
데이터 생성은 광활한 바다에서 섬을 찾는 것과 같은 작업 9
광활하고 기묘한 고차원 공간 11
생성에는 올바른 출력이 하나만이 아님 13
다양체 가설: 저차원에 들어 있는 데이터 15
대칭성: 변환에 대한 불변성이 존재하는 데이터 18
구성성: 여러 부분의 조합으로 만들어지는 데이터 20
[COLUMN] 데이터가 가지는 특성은 사람이 제공하는 것인가, 아니면 스스로 학습하는 것인가? 21
요약 22

CHAPTER 2 생성형 AI의 역사 23
기억의 메커니즘 23
이징 모델에서 홉필드 네트워크로 24
에너지 기반 모델 28
자연스럽게 연상 기억을 실현하는 에너지 기반 모델 29
에너지와 확률의 상관관계: 볼츠만 분포 31
랑주뱅 몬테카를로 방법의 원리 32
에너지 기반 모델의 치명적인 문제 33
[COLUMN] 현실 세계는 거대한 시뮬레이터 34
공간 전체의 정보를 지배하는 분배함수 35
숨겨진 정보로부터 생성되는 데이터 37
생성을 위해서는 인식이 필요 38
변분 오토인코더(VAE) 40
잠재변수 모델의 문제 42
[COLUMN] 생성적 적대 신경망(GAN) 43
[COLUMN] 자기 회귀 모델 43
[COLUMN] 2024년 노벨상 44
요약 45

CHAPTER 3 플로를 사용하는 생성 47
플로란 47
연속방정식: 물질은 갑자기 사라지거나 워프하지 않음 49
플로를 사용하여 만드는 복잡한 확률분포 51
분배함수를 구할 필요가 없는 플로 기반 모델 53
정규화 플로와 연속 정규화 플로 55
플로를 따라 구한 가능도가 최대화되도록 학습 55
플로에 따라 데이터를 생성 57
복잡한 생성 문제를 간단한 부분 생성 문제로 분해하는 플로 58
플로 모델링 60
플로 결과 계산 62
정규화 플로의 과제 64
요약 65

CHAPTER 4 확산 모델과 플로 매칭 67
확산 모델의 발견 67
일반적인 확산 현상 68
[COLUMN] 브라운 운동 69
확산 모델이란 70
확산 과정이 만들어내는 플로 = 스코어 72
스코어와 에너지의 관계 73
시간과 함께 바뀌어가는 스코어 74
디노이징 스코어 매칭 76
시뮬레이션 프리 학습은 일부만을 대상으로 학습 가능 78
확산 모델에 의한 학습과 생성 요약 79
확산 모델에 의해 만들어지는 플로의 특징 79
확산 모델과 잠재변수 모델의 관계 80
데이터 생성의 계통 발생 트리를 자동으로 학습 81
확산 모델은 에너지 기반 모델 82
확산 모델은 플로를 사용하는 생성 모델 82
플로 매칭: 플로를 모아서 만드는 복잡한 플로 83
최적 운송 83
최적 운송을 사용하는 생성 85
최적 운송을 직접 구하는 것은 계산량이 너무 큼 85
플로 매칭의 학습 86
플로 매칭의 발전 88
조건부 생성은 조건부 플로로 실현 88
잠재 확산 모델: 원래 데이터를 잠재공간으로 변환하여 품질 개선 90
요약 91

CHAPTER 5 플로를 사용한 기술의 향후 전망 93
일반화의 수수께끼 해명 93
대칭성을 고려한 생성 95
어텐션 메커니즘과 플로 96
플로에 의한 수치 최적화 96
언어와 같은 이산 데이터 생성 97
뇌의 계산 메커니즘과의 접점 99
플로에 의한 생성의 미래 99

APPENDIX A 머신러닝 키워드 101
확률과 생성 모델 101
최대 가능도법 102
머신러닝 103
머신러닝의 메커니즘 104
매개변수 조정 = 학습 105
신경망 106
유한한 학습 데이터로부터 무한한 데이터에 적용할 수 있는 규칙을 얻는 일반화 106

APPENDIX B 참고 문헌 109
2장 110
3장 112
4장 112
5장 114

찾아보기 117

책 속으로

문제가 복잡해짐에 따라 규칙 기반으로 해결하기가 어려워집니다. 이 책에서 논의하는 생성 작업도 바로 그런 작업입니다. / 예를 들어 ‘해 질 녘 해변에서 파도 옆을 달리는 개와 주인의 실루엣’이라는 지시를 주고 이미지를 생성하려고 한다고 가정해보겠습니다. 이 경우 일몰 하늘의 색, 파도의 모양, 개와 주인의 가능한 움직임이 무엇인지 미리 알려주어야 합니다. 또한 그것들이 결합될 때 어떻게 될 것인지도 가르쳐야 합니다. 일몰은 바다의 색에 반영되어야 하며, 그렇게 반사된 빛은 개와 사람의 색에도 영향을 미칩니다. 물리적인 법칙에 따라 개와 주인의 실루엣은 태양과 반대 위치에 있어야 할 것입니다. (6쪽)

확률분포를 복습해봅시다. 확률분포란 가능한 각 이벤트(사건)에 0 이상의 확률을 할당하는 것입니다. 그리고 모든 이벤트에 할당된 확률의 합은 정확히 1이어야 합니다. 예를 들어 주사위를 굴려 무엇이 나올지를 나타내는 경우는 확률이 1/6인 확률분포입니다. 또, 내일 날씨가 맑음, 흐림, 비일 확률은 예를 들면 각각 1/2, 1/3, 1/6과 같은 확률분포가 될 것입니다. (35쪽)

우리 주변에는 공기의 플로나 물의 플로와 같은 다양한 플로가 있습니다. 일반적으로 물질의 상태는 온도와 압력에 따라 고체, 액체, 기체의 세 가지 유형으로 분류되며, 플로는 그중 액체와 기체에서 볼 수 있습니다. 예를 들어 물이나 물을 가열하여 얻은 수증기에는 플로가 있습니다. 플로에 의해 물질은 자유롭게 모양이 바뀌며 플로를 따라 움직일 수 있습니다. / 플로에는 다양한 성질이 있지만 그중에서도 생성 모델을 다룰 때 특히 중요한 것이 ‘연속성’입니다. 연속성이란 물질이 이유 없이 갑자기 나타나거나 사라지지 않는 것, 물질이 움직일 때 갑자기 워프(warp)해서 다른 위치에 출현한다거나 하지 않는 것을 의미합니다. (47~48쪽)

물 표면에 잉크로 글자를 썼다고 가정해봅시다. 이 잉크로 쓰여진 글자는 시간이 지남에 따라 서서히 풀어져갈 것이고 최종적으로는 잉크가 물 전체에 균일하게 섞이게 됩니다. (…) 만약 이 잉크의 확산 과정을 반대 방향으로 재현할 수 있다면, 잉크가 물에 균일하게 섞인 상태로부터 다시 잉크로 문자가 쓰여진 상태로 되돌릴 수 있습니다. 즉, 질서를 가지고 있는 대상에 노이즈가 더해지면서 서서히 파괴되어 완전한 무질서가 되는 과정을 역방향으로 거슬러 올라감으로써 무질서로부터 질서를 만들어내는 과정, 즉 생성을 실현할 수 있지 않을까 하는 생각인 것입니다. (68~69쪽)

일반화를 이해하는 것은, 학습 데이터를 어떻게 참조해서 새 데이터를 생성하고 있는지 그리고 왜 의도하지 않은 생성 결과가 발생하는지를 이해하는 데에 너무나 중요합니다. 예를 들어 일반화는 헐루시네이션(hallucination)이라는 현상을 일으키는 경우가 있습니다. 학습 데이터에는 존재하지 않는 비현실적인 데이터를 생성해버리는 문제입니다. 이미지, 오디오 및 비디오를 생성할 때는 이 현상이 문제가 되지 않는 경우도 많지만, 사실을 기반으로 생성을 하려는 경우에는 중대한 문제를 일으킬 수 있습니다. 따라서 일반화를 보다 정밀하게 제어할 수 있는 것이 바람직합니다. (94쪽)

출판사 서평

글과 그림만 가지고 생성형 AI를 설명하는 책

플로(flow)에 기반한 생성 기술, 특히 확산 모델은 이미지, 오디오, 비디오 생성 등 많은 분야에서 두각을 나타냈다. 일본 최고의 AI 전문가 오카노하라 다이스케는 《확산 모델의 수학》을 집필해 확산 모델을 수학적으로 명확히 해설한 바 있고, 이번에는 수학 공식 없이 글과 그림만으로 생성형 AI 전반을 설명하는 《생성형 AI의 구조》을 썼다.
비전문가도 이해할 수 있도록 생성형 AI의 역사부터 플로, 확산 모델과 플로 매칭, 최적 운송, 향후 전망까지 술술 읽히게 저술했다. 수식을 배제하는 대신 우리가 사는 세계에서 접할 수 있는 일상적인 비유를 활용하는 편으로, 예를 들어 확산 모델에 대해서는 다음과 같이 설명을 시작한다.
“물 표면에 잉크로 글자를 썼다고 가정해봅시다. 이 잉크로 쓰여진 글자는 시간이 지남에 따라 서서히 풀어져갈 것이고 최종적으로는 잉크가 물 전체에 균일하게 섞이게 됩니다. (…) 만약 이 잉크의 확산 과정을 반대 방향으로 재현할 수 있다면, 잉크가 물에 균일하게 섞인 상태로부터 다시 잉크로 문자가 쓰여진 상태로 되돌릴 수 있습니다. 즉, 질서를 가지고 있는 대상에 노이즈가 더해지면서 서서히 파괴되어 완전한 무질서가 되는 과정을 역방향으로 거슬러 올라감으로써 무질서로부터 질서를 만들어내는 과정, 즉 생성을 실현할 수 있지 않을까 하는 생각인 것입니다.“
오카노하라 다이스케는 일본 최대 AI 유니콘 Preferred Networks의 공동창업자로 유명하지만 10여 권 이상의 전문서를 집필해 ‘기술을 둘러싼 풍부한 맥락을 제공’한다는 평가를 받는 베테랑 저자이기도 하다. 그의 친절하면서도 정확한 해설과 함께 오늘날 IT의 중심에 선 생성형 AI의 구조를 제대로 이해해보자.

추천평
《확산 모델의 수학》에서 수식을 좇기만 할 뿐 이해하지는 못했던 저에게는 생성형 AI의 역사, 열역학과의 관계, ‘흐름’에 기반한 설명 등 생성 모델을 직관적으로 이미지화할 수 있는 구성이어서 매우 이해하기 쉬웠습니다. 생성 모델의 원리를 충분히 이해하고 있다면 비유로만 설명한 것이 오히려 이해하기 어려울 수 있고, 반대로 기초 지식이 전혀 없다면 애초에 무슨 이야기를 하는 건지 알 수 없을 테지만, 생성 모델의 원리를 이해하고자 공부하려는 분들이라면 이 책이 딱 맞을 거라고 생각합니다.
manic::moon, 일본 아마존 독자

작가정보

저자(글) 오카노하라 다이스케

(岡野原 大輔)
도쿄 대학 대학원 정보이공학계연구과 컴퓨터과학 전공 정보이공학 박사. 2006년 Preferred Infrastructure를 공동 창업했고, 2014년 Preferred Networks를 공동 창업해 대표이사 겸 최고연구책임자를 맡고 있다. 공저 포함 12권의 AI 도서를 집필했고, 2023년 《확산 모델의 수학》(제이펍, 2024)으로 32회 오카와 출판상을 받았다.

번역 정원창

전자공학과 전산학을 공부하고 국내외의 크고 작은 하드웨어와 소프트웨어 회사에서 경험을 쌓았다. 현재는 자연어 처리에 중점을 둔 머신러닝 엔지니어로 일하고 있다. 옮긴 책으로 《AI 딥 다이브》, 《인사이드 머신러닝 인터뷰》, 《개발자의 하루를 바꾸는 코파일럿 & 챗GPT》(이상 한빛미디어) 등이 있다.