딥러닝 제대로 이해하기

딥러닝의 핵심 개념부터 최신 기법까지 이론과 실제의 균형을 담은 깊이 있는 안내서

사이먼 J. D. 프린스 지음 | 고연이 옮김

제이펍 2025년 09월 10일 출간 국내도서 : 2025년 08월 28일 출간

작품소개

책소개

이 책은 복잡한 딥러닝 기술의 핵심을 직관적으로 풀어내면서도 이론과 실제 사이에서 균형을 잃지 않는다. 먼저 딥러닝을 지탱하는 기본 개념부터 차근차근 설명한다. 지도 학습과 신경망의 구조, 모델 훈련과 최적화 같은 기초를 다진 뒤, 이미지와 텍스트, 그래프 데이터를 위한 대표적인 모델인 CNN, 트랜스포머, 그래프 신경망을 살펴본다. 이어서 GAN, VAE, 디퓨전 모델 같은 생성 모델과 강화 학습까지 다루며, 마지막에는 딥러닝이 왜 효과적인지에 대한 이론적 논의와 윤리적 쟁점을 짚어본다. 딥러닝을 제대로 이해하고 싶은 모든 독자를 위한 가장 단단한 출발점이 될 것이다.
(책에 수록된 모든 이미지는 QR 코드를 통해 컬러로 확인할 수 있습니다.)

목차

옮긴이 머리말 xiii
베타리더 후기 xiv
시작하며 xvii
감사의 글 xix

CHAPTER 01 서론 1
1.1 지도 학습 2
1.2 비지도 학습 8
1.3 강화 학습 12
1.4 윤리 14
1.5 이 책의 구성 17
1.6 추천 도서 18
1.7 이 책을 읽는 방법 19
_참고 문헌 21

CHAPTER 02 지도 학습 23
2.1 지도 학습 개요 24
2.2 선형회귀 예 25
2.3 요약 30
_노트 30
_연습 문제 31

CHAPTER 03 얕은 신경망 33
3.1 신경망의 예 33
3.2 보편 근사 정리 37
3.3 다변량 입력과 출력 38
3.4 얕은 신경망: 일반적인 경우 43
3.5 용어 44
3.6 요약 45
_노트 46
_연습 문제 50
_참고 문헌 53

CHAPTER 04 심층 신경망 55
4.1 신경망 결합 55
4.2 네트워크 결합을 통한 심층 신경망 구성 58
4.3 심층 신경망 59
4.4 행렬 표기법 63
4.5 얕은 신경망 vs. 심층 신경망 65
4.6 요약 67
_노트 68
_연습 문제 71
_참고 문헌 74

CHAPTER 05 손실 함수 75
5.1 최대 우도 76
5.2 손실 함수 구성 방법 80
5.3 예제 1: 단변량 회귀분석 80
5.4 예제 2: 이진 분류 86
5.5 예제 3: 다중 클래스 분류 88
5.6 다중 출력 91
5.7 교차 엔트로피 손실 92
5.8 요약 94
_노트 95
_연습 문제 97
_참고 문헌 101

CHAPTER 06 모델 적합 103
6.1 경사 하강법 103
6.2 확률적 경사 하강법 110
6.3 모멘텀 113
6.4 적응 모멘트 추정 115
6.5 훈련 알고리즘 하이퍼파라미터 118
6.6 요약 119
_노트 120
_연습 문제 124
_참고 문헌 127

CHAPTER 07 기울기와 초기화 129
7.1 문제 정의 129
7.2 미분 계산 131
7.3 간단한 예시 133
7.4 역전파 알고리즘 137
7.5 매개변수 초기화 143
7.6 훈련 코드 예제 147
7.7 요약 149
_노트 149
_연습 문제 153
_참고 문헌 157

CHAPTER 08 성능 측정 159
8.1 간단한 모델 훈련 159
8.2 오차의 원인 161
8.3 오차 줄이기 166
8.4 이중 하강 170
8.5 하이퍼파라미터 선택 174
8.6 요약 175
_노트 176
_연습 문제 181
_참고 문헌 183

CHAPTER 09 정칙화 185
9.1 명시적 정칙화 185
9.2 암묵적 정칙화 189
9.3 성능 향상을 위한 경험적 방법 192
9.4 요약 202
_노트 203
_연습 문제 212
_참고 문헌 214

CHAPTER 10 합성곱 네트워크 219
10.1 불변성과 등변성 220
10.2 1차원 입력에 대한 합성곱 네트워크 221
10.3 2차원 입력에 대한 합성곱 네트워크 229
10.4 다운샘플링과 업샘플링 230
10.5 응용 233
10.6 요약 239
_노트 240
_연습 문제 246
_참고 문헌 249

CHAPTER 11 잔차 신경망 253
11.1 순차 처리 253
11.2 잔차 연결과 잔차 블록 256
11.3 잔차 신경망의 기울기 폭발 260
11.4 배치 정규화 262
11.5 일반적인 잔차 신경망 264
11.6 잔차 연결이 있는 신경망의 성능이 우수한 이유 271
11.7 요약 272
_노트 272
_연습 문제 280
_참고 문헌 282

CHAPTER 12 트랜스포머 285
12.1 텍스트 데이터 처리 285
12.2 점곱 셀프 어텐션 286
12.3 점곱 셀프 어텐션 확장 292
12.4 트랜스포머 층 295
12.5 자연어 처리를 위한 트랜스포머 296
12.6 인코더 모델의 예: BERT 300
12.7 디코더 모델의 예: GPT-3 303
12.8 인코더-디코더 모델의 예: 기계 번역 308
12.9 긴 시퀀스 처리를 위한 트랜스포머 310
12.10 이미지 처리를 위한 트랜스포머 311
12.11 요약 316
_노트 316
_연습 문제 328
_참고 문헌 330

CHAPTER 13 그래프 신경망 337
13.1 그래프란 무엇일까? 337
13.2 그래프 표현 340
13.3 그래프 신경망, 작업, 손실 함수 344
13.4 그래프 합성곱 네트워크 346
13.5 그래프 분류 예 349
13.6 귀납적 모델 vs. 전이적 모델 350
13.7 노드 분류 예 352
13.8 그래프 합성곱 네트워크 층 355
13.9 에지 그래프 359
13.10 요약 360
_노트 361
_연습 문제 370
_참고 문헌 373

CHAPTER 14 비지도 학습 377
14.1 비지도 학습 모델 분류 378
14.2 좋은 생성 모델의 특징 380
14.3 성능 정량화 381
14.4 요약 384
_노트 384
_참고 문헌 386

CHAPTER 15 생성적 적대 신경망 387
15.1 판별을 신호로 사용하기 387
15.2 안정성 향상 393
15.3 점진적 증가, 미니배치 판별, 절단 399
15.4 조건부 생성 402
15.5 이미지 변환 405
15.6 StyleGAN 410
15.7 요약 412
_노트 413
_연습 문제 419
_참고 문헌 421

CHAPTER 16 정규화 흐름 427
16.1 1차원 예제 427
16.2 일반 사례 430
16.3 역변환 가능한 신경망 층 433
16.4 다중 크기 흐름 442
16.5 응용 443
16.6 요약 447
_노트 448
_연습 문제 453
_참고 문헌 456

CHAPTER 17 변분 오토인코더 461
17.1 잠재변수 모델 461
17.2 비선형 잠재변수 모델 463
17.3 훈련 465
17.4 ELBO 속성 468
17.5 변분 근사 470
17.6 변분 오토인코더 471
17.7 재매개변수화 기법 474
17.8 응용 475
17.9 요약 480
_노트 481
_연습 문제 486
_참고 문헌 488

CHAPTER 18 확산 모델 493
18.1 개요 493
18.2 인코더(순방향 과정) 494
18.3 디코더 모델(역과정) 501
18.4 훈련 502
18.5 손실 함수의 재매개변수화 507
18.6 구현 510
18.7 요약 516
_노트 516
_연습 문제 521
_참고 문헌 524

CHAPTER 19 강화 학습 527
19.1 마르코프 결정 과정, 반환 및 정책 528
19.2 기대 수익 532
19.3 표 형식 강화 학습 536
19.4 Q-러닝 적합 541
19.5 정책 경사 방법 545
19.6 행위자-비평자 방법 551
19.7 오프라인 강화 학습 552
19.8 요약 554
_노트 555
_연습 문제 561
_참고 문헌 564

CHAPTER 20 왜 딥러닝이 효과적일까? 567
20.1 딥러닝에 반하는 사례 567
20.2 적합 성능에 영향을 미치는 요소 569
20.3 손실 함수의 특성 575
20.4 일반화 결정 요인 579
20.5 정말로 많은 매개변수가 필요한가? 584
20.6 신경망은 깊어야 할까? 587
20.7 요약 590
_연습 문제 591
_참고 문헌 592

CHAPTER 21 딥러닝과 윤리 597
21.1 가치 정렬 598
21.2 의도적인 오용 606
21.3 그 밖의 사회적, 윤리적, 전문적 문제 608
21.4 사례 연구 611
21.5 과학의 가치 중립적 이상 612
21.6 집단적인 행동 문제 관점에서의 책임 있는 AI 연구 614
21.7 앞으로 나아갈 길 615
21.8 요약 617
_연습 문제 618
_참고 문헌 620

APPENDIX A 표기법 627
A.1 스칼라, 벡터, 행렬, 텐서 627
A.2 변수와 매개변수 627
A.3 집합 628
A.4 함수 628
A.5 최소화와 최대화 629
A.6 확률분포 629
A.7 점근 표기법 630
A.8 기타 630

APPENDIX B 수학 개념 631
B.1 함수 631
B.2 이항계수 634
B.3 벡터, 행렬, 텐서 635
B.4 특수한 형태의 행렬 639
B.5 행렬 미적분 641

APPENDIX C 확률 643
C.1 확률변수와 확률분포 643
C.2 기댓값 647
C.3 정규 확률분포 652
C.4 샘플링 656
C.5 확률분포 사이의 거리 657

찾아보기 661

책 속으로

심층 신경망은 크기가 매우 크고 길이가 가변적이며 다양한 종류의 내부 구조를 갖는 입력을 처리할 수 있다. 하나의 실수(회귀), 여러 숫자(다변량 회귀) 또는 2개 또는 그 이상의 클래스에 대한 확률(각각 이진 분류, 다중 클래스 분류)을 출력할 수 있다. 다음 절에서 살펴보겠지만 심층 신경망의 출력 또한 매우 크고 길이가 가변적인 내부 구조를 갖고 있을 수 있다. (6쪽)

종종 동일한 모델을 사용하여 하나 이상의 예측을 하려고 할 때, 예측의 대상이 되는 출력 y는 벡터가 된다. 예를 들어 분자의 녹는점과 끓는점 예측(다변량 회귀분석 문제, 그림 1.2b)이나 또는 이미지의 모든 점에서의 객체 클래스(다변량 분류 문제, 그림 1.4a) 예측이 있다. 다변량 확률분포를 정의하고 신경망을 사용하여 모델의 매개변수를 입력에 대한 함수로 모델링할 수도 있지만, 일반적으로 각 예측을 독립적으로 처리하게 된다. (91쪽)

주요 문제 중 하나는 경사하강 알고리즘의 최종 목적지가 전적으로 시작점에 의해 결정된다는 것이다. 확률적 경사 하강법(stochastic gradient descent, SGD)은 각 단계에서 기울기에 약간의 잡음을 더해서 이 문제를 해결한다. 이 해결책은 여전히 평균적으로는 내리막 방향으로 이동하지만 어느 순간에 선택한 방향이 반드시 가장 가파른 내리막 방향이 아닐 수도 있다. 심지어 내리막 방향이 아닐 수도 있다. SGD 알고리즘은 일시적으로 오르막 방향으로 이동할 수도 있고, 경우에 따라 손실 함수의 한 ‘계곡’에서 다른 ‘계곡’으로 이동할 수도 있다(그림 6.5b). (111쪽)

편향은 모델이 실제 기저 함수를 제대로 표현할 수 없기 때문에 발생한다. 따라서 모델을 유연하게 만들어서 이 오차를 줄일 수 있다. 이는 일반적으로 모델의 용량을 늘려서 해결할 수 있다. 신경망의 경우 더 많은 은닉 유닛/은닉층을 추가해서 모델의 용량을 늘일 수 있다. / 단순한 모델에서 용량을 늘이는 것은 은닉 유닛을 추가해서 구간 [0, 1]을 좀 더 많은 선형 영역으로 분할하는 것과 같다. 그림 8.7a-c는 이를 통해 실제로 편향이 줄어드는 것을 보여준다. 선형 영역의 수를 열개로 늘리면 실제 함수에 밀접하게 적합할 만큼 모델이 충분히 유연해진다. (168쪽)

생성적 자기 지도 학습(generative self-supervised learning)에서는 각 데이터 견본의 일부를 가리고, 누락된 부분을 예측하는 보조 작업을 수행한다(그림 9.12c). 예를 들어 레이블이 지정되지 않은 이미지 모음과 이미지의 누락된 부분을 인페인팅(채우기)하기 위한 보조 작업을 사용할 수 있다(그림 9.12c). 마찬가지로, 대규모 텍스트 모음의 일부 단어를 가리고, 누락된 단어를 예측하도록 네트워크를 훈련시킨 다음 관심 있는 실제 언어 작업에 맞게 미세 조정한다(12장 참고). / 대조적 자기 지도 학습(contrastive self-supervised learning)에서는 서로 공통점이 있는 견본 쌍을 공통점이 없는 쌍과 비교한다. 이미지의 경우 보조 작업은 이미지 쌍이 서로의 변형 버전인지 또는 관련성이 없는지 식별한다. 텍스트의 경우 보조 작업은 원본 문서에서 두 문장이 서로 문맥에 맞게 이어지는 문장인지 확인한다. 때로는 보조 작업이 연결된 쌍 사이의 정확한 관계를 식별해야 하는 경우도 있다(예를 들어 동일한 이미지에서 두 패치의 상대적 위치 찾기가 있다). (201쪽)

StyleGAN은 데이터셋의 변동성을 의미 있는 구성 요소로 분할하고, 각각을 잠재변수로 다루는 보다 현대적인 GAN이다. 특히 StyleGAN은 출력 이미지를 다양한 스케일에서 조절하고 스타일과 잡음을 분리한다. 얼굴 이미지의 경우 큰 스케일의 변화에는 얼굴 모양과 머리 자세가 포함되고, 중간 스케일의 변화에는 얼굴 특징의 모양과 세부 사항이 포함되고, 미세한 스케일의 변화에는 머리카락과 피부색이 포함된다. 스타일 구성 요소는 인간에게 두드러지는 이미지의 측면을 나타내고, 잡음 구성 요소는 머리카락, 수염, 주근깨, 피부 모공의 정확한 위치와 같은 중요하지 않은 변화를 나타낸다. / 지금까지 본 GAN은 표준 기저 분포에서 추출한 잠재변수 z에서 시작했다. 이는 일련의 합성곱층을 통과해서 출력 이미지를 생성한다. 그러나 생성자에 대한 잠재변수 입력은 (i) 신경망의 다양한 지점에 적용할 수 있고 (ii) 이러한 지점에서 현재 표현을 다양한 방식으로 수정할 수 있다. StyleGAN은 신중한 선택을 통해 스케일을 조절하고 스타일을 잡음과 분리한다(그림 15.19). (410쪽)

출판사 서평

딥러닝 이론과 최신 트렌드를 아우르는 새로운 고전
딥러닝은 25년 넘게 연구를 지속해온 요슈아 벤지오, 제프리 힌튼, 얀 르쿤 등의 끈질긴 연구로 과학 분야를 혁신적으로 변화시키고 사회 전반에 큰 영향을 미쳤다. 그럼에도 딥러닝을 '제대로 이해하는' 사람은 아직 드물다.

이 책은 딥러닝의 기초부터 트랜스포머, 디퓨전 모델 등 최신 아키텍처에 이르기까지 폭넓게 다루며, 복잡한 내용을 체계적이고 직관적으로 풀어낸다. 최신 참고 문헌과 실무 예제, 풍부한 시각 자료를 통해 학습 난이도를 낮추고 독자의 깊이 있는 이해를 돕는다. 특히 이 책은 단순한 기술 안내서를 넘어서 ‘왜 딥러닝이 효과적인가’라는 근본적인 질문에서 AI 윤리에 이르기까지 넓은 시야를 제시한다.

1장에서는 딥러닝을 소개하고, 2~9장에서는 지도 학습 파이프라인 전반을 다룬다. 얕은 신경망과 심층 신경망의 구조를 설명하고, 이를 훈련하고 성능을 측정하고 개선하는 방법을 살펴본다. 10~13장에서는 합성곱 신경망, 잔차 연결, 트랜스포머 등 심층 신경망의 대표적인 구조를 다루며, 이 구조들이 지도 학습은 물론 비지도 학습, 강화 학습에도 어떻게 활용되는지를 설명한다. 14~18장에서는 생성적 적대 신경망(GAN), 변분 오토인코더(VAE), 정규화 흐름, 확산 모델 등 심층 생성 모델을 중심으로 비지도 학습을 다룬다.

19장에서는 심층 강화 학습을 간략히 소개하고, 20장에서는 ‘딥러닝은 왜 일반화를 잘할까’, ‘신경망은 왜 그렇게 깊어야 할까’, ‘왜 많은 매개변수가 필요한가’와 같은 근본적인 질문을 통해 이중 하강, 그로킹, 복권 티켓 가설 등 주요 개념을 탐구한다. 마지막으로 21장에서는 딥러닝과 윤리에 관한 논의한다. 부록에서는 표기법, 수학 개념, 확률 등 핵심 배경 지식을 정리해 학습 흐름을 끊지 않고 개념을 따라갈 수 있도록 했다. 또한 책에 수록된 모든 이미지는 QR 코드를 통해 컬러로 확인할 수 있어 학습 효과를 더욱 높인다.

이 책은 이론서도, 실용서도 아니다. 증명은 없고, 코드도 거의 없다. 대신 딥러닝의 핵심 개념을 깊이 있고 명확하게 짚으며, 기존의 성공 공식이 통하지 않는 새로운 문제 앞에서도 스스로 해답을 찾을 수 있는 개념적 기반을 제공한다. 각 장은 실전에서 마주치는 문제를 근본적으로 이해하고 해결할 수 있도록 구성되어 있다.

딥러닝을 처음부터, 깊이 있게, 제대로 이해하고자 하는 이들을 위한 딥러닝의 새로운 고전의 탄생이다.

이럴 때 권합니다딥러닝의 개념과 이론을 정리하고자 할 때개념을 효과적으로 전달할 수 있는 설명과 시각 자료가 필요할 때구현한 모델의 구조와 작동 원리를 정확히 이해하고자 할 때
주요 내용딥러닝의 기본 원리와 신경망 구조모델 훈련, 최적화, 성능 평가 기법CNN, 트랜스포머, 그래프 신경망 등 주요 구조GAN, VAE, 디퓨전 모델 등 생성 모델강화 학습의 개념과 적용 방식딥러닝의 일반화 능력과 작동 메커니즘AI 윤리와 기술의 사회적 책임

인물정보

저자(글) 사이먼 J. D. 프린스

배스 대학교의 명예 교수. AI와 딥러닝을 전문으로 하는 연구 과학자로서 Anthropics Technologies Ltd, Borealis AI 등 학계와 산업계에서 연구팀을 이끌며 활동해왔다. 저서로 《Computer Vision(컴퓨터 비전)》이 있다.

번역 고연이

공학 박사. 전자공학을 전공하고, 다양한 분야의 연구 개발과 상품화를 경험했다. 나날이 새롭게 발표되는 기술의 우아함과 멋진 제품들의 새로움, 그리고 손때 묻은 종이책의 편안함을 좋아한다. 인공지능의 몇 차례 빙하기를 이겨낸 앞선 연구자들의 어깨를 빌려 단.우.아. 연구소에서 컴퓨터 비전 관련 딥러닝 연구를 이어가고 있다. 기술로 세상에 도움이 되는 것들에 관심이 많으며, 관련 도서들을 번역하고 있다.