강화학습 첫걸음

텐서플로로 살펴보는 Q 러닝, MDP, DQN, A3C 강화학습 알고리즘

아서 줄리아니 지음 | 송교석 옮김

한빛미디어 2017년 12월 26일 출간 종이책 : 2017년 12월 22일 출간

작품소개

책소개

텐서플로 코드로 입문하는 강화학습의 세계

알파고의 기반인 강화학습은 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 단연 주목받고 있다. 이 책은 복잡한 이론을 두루뭉술하게 설명하는 대신, 예제 코드를 직접 돌려보며 강화학습 알고리즘을 익히게 도와준다. 기본적인 텐서플로 사용법은 알지만 강화학습은 처음인 개발자를 대상으로, 주요 강화학습 알고리즘이 어떤 원리이며 어떻게 구현할 수 있는지 알려준다. 오픈AI 짐의 카트-폴, 얼어붙은 강 같은 고전 문제부터 <둠> 같은 3D 게임까지 이르기까지 흥미로운 예제를 통해 Q 러닝, MDP, DQN, A3C 등 주요 강화학습 알고리즘을 알차게 배울 수 있다.

목차

PART I 주요 알고리즘 및 구현

CHAPTER 1 강화학습 소개

CHAPTER 2 밴딧 문제
2.1 정책 경사
2.2 멀티암드 밴딧의 구현

CHAPTER 3 콘텍스트 밴딧
3.1 콘텍스트 밴딧 구현

CHAPTER 4 마르코프 결정 과정
4.1 기본적인 정책 경사 에이전트 구현

CHAPTER 5 Q 러닝
5.1 테이블 환경에 대한 테이블식 접근법
5.2 신경망을 통한 Q 러닝

CHAPTER 6 딥 Q 네트워크
6.1 개선 1: 합성곱 계층
6.2 개선 2: 경험 리플레이
6.3 개선 3: 별도의 타깃 네트워크
6.4 DQN을 넘어서
6.5 더블 DQN
6.6 듀얼링 DQN
6.7 모든 것을 조합하기
6.8 개선된 딥 Q 네트워크 구현

CHAPTER 7 부분관찰성과 순환 신경망
7.1 부분관찰성 문제
7.2 제한되고 변화하는 세계 이해하기
7.3 순환 신경망
7.4 텐서플로 구현을 위한 변경점
7.5 제한된 그리드 세계
7.6 DRQN 구현

CHAPTER 8 비동기적 어드밴티지 액터-크리틱
8.1 A3C의 세 가지 A
8.2 A3C 구현
8.3 <둠> 게임 플레이하기

PART II 심화 주제

CHAPTER 9 에이전트의 생각과 액션 시각화
9.1 컨트롤 센터의 인터페이스
9.2 에이전트의 머릿속 들여다보기
9.3 강화학습 컨트롤 센터 이용

CHAPTER 10 환경 모델 활용하기
10.1 모델 기반의 강화학습 구현

CHAPTER 11 탐험을 위한 액션 선택 전략
11.1 탐험은 왜 하는 것인가요?
11.2 그리디 접근법
11.3 랜덤 접근법
11.4 엡실론-그리디 접근법
11.5 볼츠만 접근법
11.6 베이지언 접근법(드롭아웃)
11.7 각 전략의 성능 비교 및 구현
11.8 고급 기법

CHAPTER 12 정책 학습을 위한 정책 학습
12.1 메타 에이전트 만들기
12.2 메타 실험
12.3 마치며

출판사 서평

인공지능의 미래로 주목받는 강화학습
쉽고 빠르게 코드로 익히기
하루가 멀다고 새로운 기법이 나오는 딥러닝 분야에서도 단연 주목받는 기법이 강화학습입니다. 알파고의 기반이기도 한 강화학습은 사람이 자전거 타는 법을 배울 때처럼 시행착오를 겪으며 더 나은 보상을 받는 쪽으로 행동 지침을 바로잡는 학습법입니다. 게임 AI나 자율주행 등 업계 활용성이 높아 인공지능의 미래로 더욱 주목받고 있습니다.
머신러닝, 딥러닝 커리큘럼을 체계적으로 익히는 것도 좋은 학습법이지만, 당면 과제 해결을 위해 강화학습부터 공부하는 수요도 늘고 있습니다. 이 책은 개발자를 위해 텐서플로 코드 중심으로 강화학습을 설명하는 가이드북입니다. 오픈AI 짐의 환경과 <둠> 같은 게임을 예로 들어 밴딧, MDP, Q 러닝, 더블/듀얼링 DQN, DRQN, A3C 등 주요 강화학습 알고리즘을 흥미롭게 배울 수 있습니다.
책 후반부에서는 짧게나마 강화학습과 관련된 몇 가지 심화 주제를 다룹니다. 에이전트 학습 과정을 시각화해보고, 환경 모델을 활용하는 방법을 살펴보며, 엡실론-그리디, 볼츠만, 베이지언 등의 여러 액션 선택 전략을 비교해봅니다. 학습하는 정책 자체를 학습하는 메타 강화학습의 개념도 알아봅니다.
이론을 어설프게 설명하려 들지 않고, 파이썬과 텐서플로 사용법도 다루지 않습니다. 고전적인 문제부터 최근 발표된 연구에 이르기까지, 주요 강화학습 알고리즘의 원리를 이해하고 구현하는 데 집중한 책입니다.

작가정보

저자(글) 아서 줄리아니

저자 아서 줄리아니(Arthur Juliani)는 딥러닝 및 인지과학 연구자. 오리건 대학교에서 심리학 석사 학위를 취득하고 현재는 인지뇌과학 박사 과정을 밟고 있다. 강화학습, 공간인지, 비주얼 콘셉트 개발, 지각 행동 교차 등에 관심이 많다.
트위터 @awjuliani

번역 송교석

역자 송교석은 고려대학교 졸업 후 카네기 멜런 대학교에서 컴퓨터과학 석사 학위를 받았다. LG전자, 동양시스템즈를 거쳐 안랩에서 10년간 근무했으며, 안랩에서 분사한 노리타운스튜디오의 대표를 역임한 바 있다. 2017년 4월에 메디픽셀(Medipixel)을 설립하여 대표를 맡고 있으며, 인공지능을 이용해 의료 영상을 분석함으로써 폐암을 조기 진단하는 프로젝트를 진행하고 있다. 옮긴 책으로 『신경망 첫걸음』, 『처음 배우는 인공지능』(이상 한빛미디어, 2017)이 있다.