강화학습 기본 다지기와 PyTorch

추상목 지음

자유아카데미 2025년 01월 20일 출간 국내도서 : 2024년 11월 30일 출간

작품소개

책소개

목차

제1장 N-step DQN
1. 용어 설명과 구성요소
2. 신경망 구조
3. 정책(상태가 입력되면 행동 출력) 정의
4. 학습데이터(memory) 정의
5. 손실 정의
6. 파라미터 업데이트 함수 정의
7. Main
8. 코드 설명
9. 전체 코드
10. 연습문제
11. 부록

제2장 NoisyNet
1. 용어 설명과 구성 요소
2. 신경망 구조
3. 정책(상태가 입력되면 행동 출력) 정의
4. 학습데이터(memory) 정의
5. 손실 정의
6. 파라미터 업데이트 함수
7. Main
8. 코드 설명
9. 전체 코드
10. 연습문제
11. 부록

제3장 CategoricalDQN(C51)
1. 용어 설명과 구성 요소
2. 신경망 구조
3. 정책(상태가 입력되면 행동 출력) 정의
4. 학습데이터(memory) 정의
5. 손실 정의
6. 파라미터 업데이트 함수
7. Main
8. 코드 설명
9. 전체 코드
10. 연습문제
11. 부록

제4장 Quantile Regression DQN(QRDQN)
1. 구성 요소
2. 용어 설명
3. 신경망 구조
4. 정책(상태가 입력되면 행동 출력) 정의
5. 학습데이터(memory) 정의
6. 손실 정의
7. 파라미터 업데이트 함수
8. Main
9. 코드 설명
10. 전체 코드
11. 연습문제
12. 부록

제5장 Implicit Quantile Network(IQN)
1. 구성 요소
2. 용어 설명
3. 신경망 구조
4. 정책(상태가 입력되면 행동 출력) 정의
5. 학습데이터(memory) 정의
6. 손실 정의
7. 파라미터 업데이트 함수 정의
8. Main
9. 코드 설명
10. 전체 코드
11. 부록

제6장 Fully Parameterized Quantile Function(FQF)
1. 구성 요소
2. 용어 설명
3. 신경망 구조
4. 정책(상태가 입력되면 행동 출력) 정의
5. 학습데이터(memory) 정의
6. 손실 정의
7. 파라미터 업데이트 함수 정의
8. Main
9. 코드 설명
10. 전체 코드
11. 부록

제7장 Rainbow
1. 전체 코드
2. 연습문제

부록 Backup diagram으로 가치 계산

책 속으로

머리말
강화학습 알고리즘을 코드 구현 중심으로 설명하고, 실제 학습되는 코드를 제공하는 저서를 찾기 어렵다. 이러한 어려움을 해결하고자 2023년에 첫 번째 책인 「강화학습 기본과 PyTorch」를 출간하였고, 이 책은 2024년 세종도서 학술 부문에 선정되기도 하였다. 이번에는 두 번째 책인 「강화학습 기본 다지기와 PyTorch」를 출판하게 되었다.
첫 번째 책에서는 환경과 에이전트의 예제를 시작으로 Bellman 방정식을 소개하며, 전통적인 가치 기반(value-based) 강화학습인 DQN(Deep Q Network), Double DQN, Dueling DQN, PER(Prioritized Experience Replay) 등을 다루었다. 두 번째 책에서는 N-step DQN, NoisyNet, Categorical DQN(C51), QRDQN(Quantile Regression DQN), IQN(Implicit Quantile Network), FQF(Fully parameterized Quantile Function), Rainbow와 같은 다양한 알고리즘을 심도 있게 다루어, 가치 기반 강화학습의 폭넓은 기법들을 설명하고자 했다.
이 책은 다음의 네 가지 집필 원칙을 바탕으로 집필되었다.

1. 알고리즘을 구현한 코드가 학습되어야 한다.
2. 코드로 구현하는 데 중점을 두어 알고리즘을 설명한다.
3. 가능한 한 그림을 활용하여 이해를 돕는다.
4. 알고리즘과 코드를 이해했는지 확인할 수 있도록 연습문제를 제공한다.

알고리즘을 구현한 코드가 학습이 안 되면, 알고리즘을 실질적으로 사용할 수 없으므로 첫 번째 원칙이 필요하다. 알고리즘 이해는 코드 구현으로 완성되므로, 두 번째 원칙에 따라 코드 구현을 염두에 두고 알고리즘을 설명한다. 또한, 다양한 그림을 사용하여 알고리즘에 대한 이해도를 높이고자 했으며, 독자가 알고리즘 내용과 코드 내용을 이해했는지 확인할 수 있도록 연습문제를 제공하여 나머지 원칙을 실천하고자 했다.
QRDQN, IQN, FQF는 분위수를 이용하는 알고리즘으로, 다른 알고리즘들과 차이점이 크지만, 각 알고리즘을 용어 설명과 구성 요소, 신경망 구조, 정책(policy), 학습 데이터(memory), 손실(loss), 파라미터 업데이트 함수, main, 코드 설명, 전체 코드, 연습문제와 풀이라는 공통된 주제를 통해 설명함으로써 일관성을 유지하려고 노력했다.
출간 후 나올 수 있는 수정사항이나 참고자료 등은 자유아카데미 홈페이지 자료실(www.freeaca.com)을 통해 게시할 것이니 참고하기를 바란다. 앞서 출간한 강화학습 시리즈 1과 이번 시리즈 2를 통해 강화학습의 기본 개념과 가치 기반(value-based) 강화학습을 소개하였다. 시리즈 3에서는 정책 기반(policy-based) 강화학습에 대해 다룰 예정이다.

작가정보

저자(글) 추상목

서울대에서 이학사, 이학석사, 이학박사를 취득한 후, 울산대학교 수학과에 부임하여 현재까지 교수로 재임하면서 파이썬 프로그래밍, 수리통계학, 수리인공지능(빅데이터 분석, 순방향신경망, 언어 처리에 사용하는 순환신경망, 이미지 처리에 사용하는 합성곱신경망, 강화학습) 강의를 하고 있다.