단단한 심층강화학습

심층강화학습 기본 개념을 제대로 정리한 인공지능 교과서

로라 그레서 , 와룬켕 지음 | 김성우 옮김

제이펍 2022년 06월 23일 출간 종이책 : 2022년 02월 17일 출간

작품소개

책소개

심층강화학습의 확고한 기반을 다지기 위한 완벽한 방법!
지금 당장 활용할 수 있는 심층강화학습의 이론 및 실무를 소개합니다.

이 책은 이론과 실무적 내용을 독특하게 결합한 심층강화학습 소개서입니다. 직관적인 설명에서 시작하여 심층강화학습 알고리즘에 대한 자세한 설명과 SLM Lab 라이브러리를 이용한 구현 방법으로 이어지고, 마지막으로는 심층강화학습을 실무에 적용하기 위한 세부 내용을 다룹니다.
기본적인 기계학습 개념에 대한 이해와 파이썬을 다룰 줄 아는 컴퓨터과학 전공 학생 및 소프트웨어 엔지니어 모두에게 최선의 선택이 될 것입니다.

주요 내용
□ 심층강화학습 문제의 모든 핵심 내용을 다룹니다.
□ REINFORCE, 사르사(SARSA), DQN, 이중DQN, 우선순위가 있는 경험재현(PER)과 같은 정책-기반 알고리즘과 가치-기반 알고리즘에 대해 알아봅니다.
□ 행동자-비평자(Actor-Critic)와 근위 정책 최적화(PPO)와 같은 결합된 알고리즘에 대해 심도 있게 알아봅니다.
□ 알고리즘이 동기 및 비동기 방식으로 병렬화되는 과정을 이해합니다.
□ SLM Lab에서 알고리즘을 실행해 보고, 심층강화학습을 실무에 적용하기 위한 세부사항들을 학습합니다.
□ 튜닝된 하이퍼파라미터를 사용한 결과를 통해 알고리즘을 탐험합니다.
□ 심층강화학습 환경의 설계 방법을 이해합니다.

목차

옮긴이 머리말 xii
베타리더 후기 xiii
추천사 xv
시작하며 xvi
감사의 글 xxi

CHAPTER 01 강화학습 소개 1
1.1 강화학습 1
1.2 MDP로서의 강화학습 7
1.3 강화학습에서 학습하는 함수 11
1.4 심층강화학습 알고리즘 13
1.4.1 정책 기반 알고리즘 14
1.4.2 가치 기반 알고리즘 15
1.4.3 모델 기반 알고리즘 16
1.4.4 결합된 방법 17
1.4.5 이 책에서 다루는 알고리즘 18
1.4.6 활성정책과 비활성정책 알고리즘 19
1.4.7 요약 19
1.5 강화학습을 위한 심층학습 20
1.6 강화학습과 지도학습 22
1.6.1 오라클의 부재 23
1.6.2 피드백의 희소성 24
1.6.3 데이터 생성 24
1.7 요약 25

PART I 정책 기반 알고리즘과 가치 기반 알고리즘
CHAPTER 02 REINFORCE 29
2.1 정책 30
2.2 목적 함수 31
2.3 정책 경사 31
2.3.1 정책 경사 계산 33
2.4 몬테카를로 표본추출 36
2.5 REINFORCE 알고리즘 37
2.5.1 향상된 REINFORCE 38
2.6 REINFORCE 구현 39
2.6.1 최소 형태의 REINFORCE 구현 39
2.6.2 파이토치로 정책 생성하기 42
2.6.3 행동 추출 44
2.6.4 정책 손실 계산 45
2.6.5 REINFORCE 훈련 루프 46
2.6.6 활성정책 재현 메모리 47
2.7 REINFORCE 에이전트의 훈련 50
2.8 실험 결과 53
2.8.1 실험: 할인율 ? 의 효과 53
2.8.2 실험: 기준값의 효과 55
2.9 요약 57
2.10 더 읽을거리 57
2.11 역사 58

CHAPTER 03 살사(SARSA) 59
3.1 Q 함수와 V 함수 60
3.2 시간차 학습 63
3.2.1 시간차 학습에 대한 직관 66
3.3 살사의 행동 선택 73
3.3.1 탐험과 활용 74
3.4 살사 알고리즘 75
3.4.1 활성정책 알고리즘 76
3.5 살사의 적용 77
3.5.1 행동 함수: 엡실론 탐욕적 77
3.5.2 Q 손실의 계산 78
3.5.3 살사 훈련 루프 80
3.5.4 활성정책 배치 재현 메모리 81
3.6 살사 에이전트의 훈련 83
3.7 실험 결과 86
3.7.1 실험: 학습률의 효과 86
3.8 요약 87
3.9 더 읽을거리 88
3.10 역사 89

CHAPTER 04 심층 Q 네트워크(DQN) 91
4.1 DQN의 Q 함수 학습 92
4.2 DQN의 행동 선택 94
4.2.1 볼츠만 정책 97
4.3 경험 재현 100
4.4 DQN 알고리즘 101
4.5 DQN의 적용 103
4.5.1 Q 손실의 계산 103
4.5.2 DQN 훈련 루프 104
4.5.3 재현 메모리 105
4.6 DQN 에이전트의 훈련 108
4.7 실험 결과 111
4.7.1 실험: 신경망 아키텍처의 효과 111
4.8 요약 113
4.9 더 읽을거리 114
4.10 역사 114

CHAPTER 05 향상된 DQN 115
5.1 목표 네트워크 116
5.2 이중 DQN 119
5.3 우선순위가 있는 경험 재현(PER) 123
5.3.1 중요도 표본추출 125
5.4 수정된 DQN의 구현 126
5.4.1 네트워크 초기화 127
5.4.2 Q 손실의 계산 128
5.4.3 목표 네트워크의 업데이트 129
5.4.4 목표 네트워크를 갖는 DQN 130
5.4.5 이중 DQN 130
5.4.6 우선순위가 있는 경험 재현 131
5.5 아타리 게임을 위한 DQN 에이전트의 훈련 137
5.6 실험 결과 142
5.6.1 실험: 이중 DQN과 PER의 효과 142
5.7 요약 146
5.8 더 읽을거리 146

PART II 결합된 방법
CHAPTER 06 어드밴티지 행동자-비평자(A2C) 149
6.1 행동자 150
6.2 비평자 150
6.2.1 어드밴티지 함수 151
6.2.2 어드밴티지 함수에 대한 학습 155
6.3 A2C 알고리즘 156
6.4 A2C의 구현 159
6.4.1

작가정보

저자(글) 로라 그레서

저자 : 로라 그레서
구글에서 로보틱스를 연구하는 연구자이자 소프트웨어 엔지니어다. 뉴욕대학교에서 컴퓨터과학 전공으로 석사학위를 받았으며, 기계학습을 전문적으로 연구했다.

저자 : 와룬켕
머신존(Machine Zone)에서 산업 현장의 문제 해결을 위해 심층강화학습을 적용하는 인공지능 엔지니어로 일하고 있다. 이론물리학과 컴퓨터과학을 전공했다.

역자 : 김성우
연세대학교 천문우주학과에서 인공위성 자세/궤도 제어에 지도학습을 적용한 연구로 박사학위를 받았고, 쎄트렉아이에서 인공위성 지상 시스템 엔지니어로 근무했다. 새로운 모험을 위해 트리마란에서 인공위성 분야 기획/연구에 참여했다. 현재는 한화시스템에서 인공위성 시스템 엔지니어로서 더 큰 모험을 즐기고 있다.

저자(글) 와룬켕

번역 김성우