딥러닝의 정석

니틴 부두마 , 니킬 부두마 , 조 파파 지음 | 최재훈 , 차성재 옮김

한빛미디어 2024년 02월 05일 출간 종이책 : 2024년 02월 02일 출간

작품소개

책소개

『딥러닝의 정석 (2판)』은 딥러닝의 기본과 본질에 집중하여 독자들이 폭넓은 이론과 실무 지식을 습득할 수 있도록 구성되어 있습니다. 초반에는 딥러닝 이해에 필요한 수학적 배경지식인 선형대수학과 확률을 살펴보고, 신경망의 기본 원리와 함께 순방향 신경망의 구조, 순방향 신경망을 PyTorch 실습 코드로 구현하는 방법, 실제 데이터셋에서 순방향 신경망을 훈련하고 평가하는 방법 등을 상세하게 다룹니다. 또한 경사하강법, 최적화, 합성곱 신경망, 이미지 처리, 변이형 오토인코더 등 실전에서의 딥러닝 구현 능력을 향상할 수 있도록 도와주고, 딥러닝의 특정 응용 분야와 신경망 아키텍처를 깊이 이해하는 데 집중합니다.
후반부에는 시퀀스 분석 모델, 생성 모델, 그리고 해석 가능성 방법론 등에 대한 이론과 실무 지식을 제공해 최신 동향을 반영하여 각 분야에 딥러닝을 어떻게 적용하는지 설명합니다. 이 책은 딥러닝의 기본부터 심화 내용까지 아우르며, ‘정석’이라는 이름에 걸맞게 한 권으로 딥러닝 기술을 마스터할 수 있는 완벽한 가이드입니다.

목차

CHAPTER 1 딥러닝을 위한 선형대수학 기초
1.1 데이터 구조와 연산
__1.1.1 행렬 연산
__1.1.2 벡터 연산
__1.1.3 행렬-벡터 곱셈
1.2 기본 공간
__1.2.1 열공간
__1.2.2 영공간
1.3 고유벡터와 고유값
요약

CHAPTER 2 확률 기초
2.1 사건과 확률
2.2 조건부 확률
2.3 확률 변수
2.4 기댓값
2.5 분산
2.6 베이즈 정리
2.7 엔트로피, 교차 엔트로피 및 KL 발산
2.8 연속 확률 분포
요약 60

CHAPTER 3 신경망
3.1 지능형 머신 구축
3.2 전통적인 컴퓨터 프로그램의 한계
3.3 머신러닝 동작 원리
3.4 뉴런
3.5 뉴런으로 나타낸 선형 퍼셉트론
3.6 순방향 신경망
3.7 선형 뉴런과 그 한계
3.8 시그모이드 뉴런, Tanh 뉴런, ReLU 뉴런
3.9 소프트맥스 출력 레이어
요약

CHAPTER 4 순방향 신경망 훈련
4.1 패스트푸드 문제
4.2 경사하강법
4.3 델타 규칙과 학습률
4.4 시그모이드 뉴런을 이용한 경사하강법
4.5 역전파 알고리즘
4.6 확률적 경사하강법과 미니배치 경사하강법
4.7 테스트셋, 검증셋, 과적합
4.8 심층 신경망 과적합 방지

CHAPTER 5 PyTorch 기반 신경망 구현
5.1 PyTorch 소개
5.2 PyTorch 설치
5.3 PyTorch 텐서
__5.3.1 텐서 초기화
__5.3.2 텐서 속성
__5.3.3 텐서 연산
5.4 PyTorch에서의 경사
5.5 PyTorch nn 모듈
5.6 PyTorch 데이터셋과 데이터 로더
5.7 PyTorch에서 MNIST 분류기 구축
요약

CHAPTER 6 경사하강법
6.1 경사하강법의 도전 과제
6.2 심층 신경망 오차 표면의 극소점
6.3 모델 식별성
6.4 심층 신경망에서 가짜 극소점이 미치는 영향
6.5 오차 표면의 평평한 영역
6.6 경사 방향이 잘못된 경우
6.7 모멘텀 기반 최적화
6.8 간략한 이차 근사 방법 개요
6.9 학습률 적응
__6.9.1 AdaGrad: 경사 누적 알고리즘
__6.9.2 RMSProp: 경사 지수 가중 이동 평균
__6.9.3 Adam: 모멘텀과 RMSProp의 결합
6.10 옵티마이저 선택의 철학
요약

CHAPTER 7 합성곱 신경망
7.1 인간 시각에서의 뉴런
7.2 피처 선택의 한계
7.3 기본 심층 신경망의 확장 한계
7.4 필터와 피처 맵
7.5 합성곱 레이어에 대한 상세 설명
7.6 맥스 풀링
7.7 합성곱 신경망 아키텍처 상세 설명
7.8 합성곱 신경망으로 MNIST 문제 해결
7.9 이미지 전처리 파이프라인으로 더욱 강건한 모델 지원
7.10 배치 정규화를 통한 훈련 가속화
7.11 메모리 제약이 있는 학습 작업을 위한 그룹 정규화
7.12 CIFAR-10을 위한 합성곱 신경망 구축
7.13 합성곱 신경망에서 학습 시각화
7.14 복잡한 심층 신경망을 위한 잔차 학습과 스킵 연결
7.15 인간을 초월한 시각을 지닌 잔차 신경망 구축
7.16 합성곱 필터를 활용한 예술 스타일 재현
7.17 다른 문제 도메인에 적용되는 합성곱 필터 학습
요약

CHAPTER 8 임베딩과 표현 학습
8.1 저차원 표현 학습
8.2 주성분 분석
8.3 오토인코더 아키텍처의 필요성
8.4 PyTorch에서 오토인코더 구현
8.5 노이즈에 강한 표현을 위한 디노이징
8.6 오토인코더에서의 희소성
8.7 입력 벡터보다 컨텍스트에서 더 많은 정보를 제공하는 경우
8.8 Word2Vec 프레임워크
8.9 Skip-Gram 아키텍처 구현
요약

CHAPTER 9 시퀀스 분석 모델
9.1 가변 길이 입력 분석
9.2 신경망 N-Gram으로 seq2seq 처리
9.3 품사 태거 구현
9.4 의존성 파싱과 SyntaxNet
9.5 빔 서치와 전역 정규화
9.6 스테이트풀 딥러닝 모델 사례
9.7 순환 신경망
9.8 경사 소실의 문제점
9.9 장단기 메모리 유닛
9.10 RNN 모델을 위한 PyTorch 기본 요소
9.11 감정 분석 모델 구현
9.12 순환 신경망으로 seq2seq 작업 해결
9.13 어텐션으로 순환 신경망 증강
9.14 번역 신경망 분석
9.15 셀프 어텐션과 트랜스포머
요약

CHAPTER 10 생성 모델
10.1 생성적 적대 신경망
10.2 변이형 오토인코더
10.3 변이형 오토인코더 구현
10.4 점수 기반 생성 모델
10.5 디노이징 오토인코더와 점수 매칭
요약

CHAPTER 11 해석 가능성 방법론
11.1 개요
11.2 결정 트리와 트리 기반 알고리즘
11.3 선형 회귀
11.4 피처 중요도 평가 방법
__11.4.1 순열 피처 중요도
__11.4.2 부분 의존도 그래프
11.5 추출적 합리화
11.6 LIME
11.7 SHAP
요약

CHAPTER 12 메모리 증강 신경망
12.1 신경망 튜링 머신
12.2 어텐션 기반 메모리 접근
12.3 NTM 메모리 주소 지정 메커니즘
12.4 미분 가능 신경망 컴퓨터
12.5 DNC에서의 간섭 없는 쓰기
12.6 DNC 메모리 재사용
12.7 DNC 쓰기의 시간적 연결
12.8 DNC 읽기 헤드 이해
12.9 DNC 컨트롤러 신경망
12.10 동작 중인 DNC 시각화
12.11 PyTorch에서 DNC 구현하기
12.12 DNC에 독해를 가르치기
요약

CHAPTER 13 강화 학습
13.1 Atari 게임을 마스터한 심층 강화 학습
13.2 강화 학습 소개
13.3 마르코프 결정 과정
__13.3.1 정책
__13.3.2 미래 보상
__13.3.3 할인된 미래 보상
13.4 탐색과 활용 비교
__13.4.1 𝜖-그리디
__13.4.2 어닐링된 𝜖-그리디
13.5 정책 학습과 가치 학습 비교
13.6 정책 경사를 이용하는 폴 카트
__13.6.1 OpenAI Gym
__13.6.2 에이전트 만들기
__13.6.3 모델 및 최적화기 구축
__13.6.4 샘플링 액션
__13.6.5 이력 추적
__13.6.6 정책 경사 main 함수
__13.6.7 폴 카트에서의 PGAgent 성능
13.7 신뢰 영역 정책 최적화
13.8 근접 정책 최적화
13.9 Q러닝과 DQN
__13.9.1 벨만 방정식
__13.9.2 가치 이터레이션의 문제
__13.9.3 Q함수 근사화하기
__13.9.4 DQN
__13.9.5 DQN 훈련하기
__13.9.6 학습 안정성
__13.9.7 타깃 Q네트워크
__13.9.8 경험 리플레이
__13.9.9 Q함수에서 정책으로
__13.9.10 DQN과 마르코프 가정
__13.9.11 마르코프 가정에 대한 DQN의 해법
__13.9.12 DQN으로 Breakout 플레이
__13.9.13 아키텍처 구축
__13.9.14 프레임 스태킹
__13.9.15 훈련 연산 설정
__13.9.16 타깃 Q네트워크 업데이트
__13.9.17 경험 리플레이 구현
__13.9.18 DQN 메인 루프
__13.9.19 Breakout에 대한 DQNAgent 결과
13.10 DQN의 개선과 그 이상의 발전
__13.10.1 심층 순환 Q네트워크
__13.10.2 비동기 우위 액터 크리틱 에이전트
__13.10.3 비지도 강화 및 보조 학습
요약

출판사 서평

최신 딥러닝 기술의 핵심과 본질을 다루는 가이드

딥러닝을 깊이 있게 이해하기 위해서는 선형대수학, 확률 등의 수학적 이론이 꼭 필요합니다. 이 책은 수식 위주의 설명으로 선형대수학과 확률을 다루며 딥러닝의 기본을 충실하게 다룹니다. 딥러닝의 주요 개념을 이해할 수 있도록 상세한 설명과 예제를 제공하며, 딥러닝으로 어떻게 문제에 접근해야 하는지를 다양한 각도에서 다룹니다. 이 책을 읽고 나면 현대 딥러닝 접근 방식의 역사적 맥락을 이해하고, 파이토치를 활용한 딥러닝 알고리즘을 구현하는 방법을 이해할 수 있습니다.

이번 개정판에서는 딥러닝의 본질을 좀 더 충실하게 이해할 수 있도록 전문용어로 어려운 설명을 최대한 배제하고 선형대수학과 확률과 같은 수학적 배경 지식을 제공합니다. 뿐만 아니라 시퀀스 분석, 컴퓨터 비전, 강화 학습 내용을 업데이트하여 최신 동향에 맞게 책의 내용을 보완하였습니다. 또한 생성 모델링과 해석 가능성 방법론이라는 새로운 주제를 추가하여, 딥러닝 분야에 대한 더 넓은 시각을 제공합니다. 이 책은 독자가 딥러닝을 스스로 학습하고 실무에 적용할 수 있도록 완벽한 지침서가 될 것입니다.

작가정보

저자(글) 니틴 부두마

스탠퍼드 대학 출신으로, 하버드와 스탠퍼드를 기반으로 한 스타트업인 XY.ai에서 헬스케어 분야의 방대한 데이터 셋을 활용하여 활발히 활동하고 있다.

저자(글) 니킬 부두마

샌프란시스코에 본사를 둔 Remedy의 공동 창립자이자 수석 과학자이다.
Remedy는 데이터 기반의 1차 의료를 위한 새로운 시스템을 구축하고 있는 회사이다. 그는 16세 때 산호세 주립대학교에서 신약 개발 연구소를 운영하며, 자원이 부족한 지역 사회를 위한 저비용 스크리닝 방법론을 개발했다. 19세에는 국제 생물학 올림피아드에서 두 차례 금메달을 획득하였고, MIT에 진학하여 의료 서비스를 개선하기 위한 대규모 데이터 시스템을 개발하는 데 주력하였다. MIT에서는 전국적인 비영리 단체인 Lean On Me를 공동 설립하여 대학 캠퍼스에서 익명의 문자 핫라인을 통해 효과적인 동료 지원을 제공하고, 데이터를 활용하여 전국적으로 긍정적인 정신 건강 및 웰니스 결과에 영향을 미치는 비영리 단체를 설립하였다. 현재 니킬은 자신의 벤처 펀드인 Q Venture Partners를 통해 하드웨어 기술 및 데이터 회사에 투자하고 있으며, 밀워키 브루어스 야구팀의 데이터 분석팀을 관리하고 있다.

저자(글) 조 파파

『PyTorch Pocket Reference』(O'Reilly, 2021)의 저자이자 TeachMe.AI의 설립자이다.
연구 및 개발 분야에서 25년 이상의 경력을 보유하고 있으며, 현재는 Mobile에서 수석 AI 엔지니어로 AI 프로젝트를 이끌고 있다. MSEE 학위를 취득한 그는 Booz Allen과 Perspecta Labs에서 PyTorch를 사용하는 AI 연구팀을 이끌었다. 또한 그는 수백 명의 데이터 과학자를 지도하며 Udemy, Packt 및 O'Reilly earning을 통해 전 세계 7,000명 이상의 학생들에게 교육을 제공하고 있다.

번역 최재훈

현재 SW 엔지니어로 근무 중이며, 스마트폰, DTV, 셋톱박스, IoT, XR, 인공지능, 오토모티브 등 다양한 분야의 개발 경험이 있다.
컴퓨터공학 학사와 석사, 그리고 미국 경영대학원 석사 학위를 가지고 있으며 현재 기술경영학 박사 과정에 있기도 하다. 이전에는 씽크프리코리아(현 한글과컴퓨터그룹 씽크프리)와 휴맥스에서 근무하며 자바 오피스 슈트와 임베디드 셋탑박스 소프트웨어 양산 개발에 기여했다.
『자바 인어넛셀』(한빛미디어, 2000), 『엔터프라이즈 자바 데이터베이스 프로그래밍』(한빛미디어, 2001), 『Go 성능 최적화 가이드』(디코딩, 2023)를 번역하였다.

번역 차성재

금융 AI 스타트업 AIZEN GLOBAL의 머신러닝 팀 리더 겸 의료 AI 분야의 선두 주자 AINEX에서 책임 연구원 및 연구소장을 역임한 바 있으며, 현재는 교육A I 분야의 선두 기업 크레버스에서 AI 엔지니어로 활동 중이다.
현재는 교육 분야에서 자연어 처리와 거대 언어 모델(LLM) 및 MultiModal AI 기능을 활용한 혁신적인 서비스 개발을 주도하고 있다. 패스트캠퍼스에서 확률 및 통계, 인공지능, 머신러닝, 딥러닝 등의 과목을 담당하여 온라인 강의를 진행하였고, 서울시립대학교 스마트시티대학원에서는 데이터 분석 및 머신러닝 과목을 강의하고 있다. 금융, 의료, 교육, 스마트시티 등 다양한 산업에서 AI 서비스 개발에 참여하며 그랜드슬램을 달성해 나가고 있다.