본문 바로가기

추천 검색어

실시간 인기 검색어

단단한 강화학습

강화학습 기본 개념을 제대로 정리한 인공지능 교과서
제이펍

2020년 09월 07일 출간

종이책 : 2020년 03월 31일 출간

(개의 리뷰)
( 0% 의 구매자)
eBook 상품 정보
파일 정보 pdf (29.09MB)
ISBN 9791190665506
쪽수 666쪽
지원기기 교보eBook App, PC e서재, 리더기, 웹뷰어
교보eBook App 듣기(TTS) 가능
TTS 란?
텍스트를 음성으로 읽어주는 기술입니다.
  • 전자책의 편집 상태에 따라 본문의 흐름과 다르게 텍스트를​ 읽을 수 있습니다.
  • 이미지 형태로 제작된 전자책 (예 : ZIP 파일)은 TTS 기능을 지원하지 않습니다.

PDF 필기가능 (Android, iOS)
이벤트 소득공제
소장
정가 : 24,500원

판매가 22,050

10% 할인 | 5%P 적립

이 상품은 배송되지 않는 디지털 상품이며,
교보eBook앱이나 웹뷰어에서 바로 이용가능합니다.

카드&결제 혜택

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 416P
  • 리뷰 작성 시, e교환권 추가 최대 200원

작품소개

이 상품이 속한 분야

내용을 대폭 보강하여 20년 만에 개정된 강화학습 분야의 절대 바이블!

인공지능 분야에서 가장 활발하게 연구되고 있는 분야 중 하나인 강화학습은 복잡하고 불확실한 환경과 상호작용하는 학습자에게 주어지는 보상을 최대화하는 수치 계산적 학습 방법이다. 리처드 서튼과 앤드류 바르토는 이 책 《단단한 강화학습》을 통해 강화학습의 핵심적인 개념과 알고리즘을 분명하고 이해하기 쉽게 설명한다. 1판이 출간된 이후 새롭게 부각된 주제들을 추가하였고, 이미 다루었던 주제들도 최신 내용으로 업데이트하였다.
CHAPTER 01 소개 1
1.1 강화학습 2
1.2 예제 5
1.3 강화학습의 구성 요소 7
1.4 한계와 범위 9
1.5 확장된 예제: 틱택토 10
1.6 요약 16
1.7 강화학습의 초기 역사 17
참고문헌 27

PART I 표 형태의 해법
CHAPTER 02 다중 선택 31
2.1 다중 선택 문제 32
2.2 행동 가치 방법 34
2.3 10중 선택 테스트 35
2.4 점증적 구현 38
2.5 비정상 문제의 흔적 40
2.6 긍정적 초깃값 42
2.7 신뢰 상한 행동 선택 44
2.8 경사도 다중 선택 알고리즘 46
2.9 연관 탐색(맥락적 다중 선택) 50
2.10 요약 51
참고문헌 및 역사적 사실 54

CHAPTER 03 유한 마르코프 결정 과정 57
3.1 에이전트-환경 인터페이스 58
3.2 목표와 보상 64
3.3 보상과 에피소드 66
3.4 에피소딕 작업과 연속적인 작업을 위한 통합 표기법 69
3.5 정책과 가치 함수 70
3.6 최적 정책과 최적 가치 함수 76
3.7 최적성과 근사 82
3.8 요약 83
참고문헌 및 역사적 사실 84

CHAPTER 04 동적 프로그래밍 89
4.1 정책 평가(예측) 90
4.2 정책 향상 94
4.3 정책 반복 97
4.4 가치 반복 100
4.5 비동기 동적 프로그래밍 103
4.6 일반화된 정책 반복 104
4.7 동적 프로그래밍의 효율성 106
4.8 요약 107
참고문헌 및 역사적 사실 109

CHAPTER 05 몬테카를로 방법 111
5.1 몬테카를로 예측 112
5.2 몬테카를로 행동 가치 추정 118
5.3 몬테카를로 제어 119
5.4 시작 탐험 없는 몬테카를로 제어 123
5.5 중요도추출법을 통한 비활성 정책 예측 126
5.6 점증적 구현 133
5.7 비활성 몬테카를로 제어 135
5.8 할인을 고려한 중요도추출법 138
5.9 결정 단계별 중요도추출법 139
5.10 요약 141
참고문헌 및 역사적 사실 143

CHAPTER 06 시간차 학습 145
6.1 TD 예측 146
6.2 TD 예측 방법의 좋은점 150
6.3 TD(0)의 최적성 153
6.4 살사: 활성 정책 TD 제어 157
6.5 Q 학습: 비활성 정책 TD 제어 160
6.6 기댓값 살사 162
6.7 최대화 편차 및 이중 학습 163
6.8 게임, 이후상태, 그 밖의 특별한 경우들 166
6.9 요약 168
참고문헌 및 역사적 사실 169

CHAPTER 07 n단계 부트스트랩 171
7.1 n단계 TD 예측 172
7.2 n단계 살사 177
7.3 n단계 비활성 정책 학습 179
7.4 제어 변수가 있는 결정 단계별 방법 181
7.5 중요도추출법을 사용하지 않는 비활성 정책 학습: n단계 트리 보강 알고리즘 184
7.6 통합 알고리즘: n단계 Q(σ) 187
7.7 요약 189
참고문헌 및 역사적 사실 190

CHAPTER 08 표에 기반한 방법을 이용한 계획 및 학습 191
8.1 모델과 계획 192
8.2 다이나: 계획, 행동, 학습의 통합 194
8.3 모델이 틀렸을 때 199
8.4 우선순위가 있는 일괄처리 202
8.5 기댓값 갱신 대 표본 갱신 206
8.6 궤적 표본추출 210
8.7 실시간 동적 프로그래밍 213
8.8 결정 시점에서의 계획 217
8.9 경험적 탐색 219
8.10 주사위 던지기 알고리즘 221
8.11 몬테카를로 트리 탐색 223
8.12 요약 227
8.13 1부 요약: 차원 228
참고문헌 및 역사적 사실 231

PART II 근사적 해법
CHAPTER 09 근사를 이용한 활성 정책 예측 237
9.1 가치 함수 근사 238
9.2 예측 목적(VE) 239
9.3 확률론적 경사도와 준경사도 방법 241
9.4 선형 방법 246
9.5 선형 방법을 위한 특징 만들기 253
9.6 시간 간격 파라미터를 수동으로 선택하기 268
9.7 비선형 함수 근사: 인공 신경망 269
9.8 최소 제곱 TD 275
9.9 메모리 기반 함수 근사 278
9.10 커널 기반 함수 근사 280
9.11 활성 정책 학습에 대한 보다 깊은 관찰: 관심과 강조 282
9.12 요약 285
참고문헌 및 역사적 사실 286

CHAPTER 10 근사를 적용한 활성 정책 제어 293
10.1 에피소딕 준경사도 제어 294
10.2 준경사도 n단계 살사 297
10.3 평균 보상: 연속적 작업을 위한 새로운 문제 설정 300
10.4 할인된 설정에 대한 반대 304
10.5 미분 준경사도 n단계 살사 307
10.6 요약 308
참고문헌 및 역사적 사실 308

CHAPTER 11 근사를 활용한 비활성 정책 방법 311
11.1 준경사도 방법 312
11.2 비활성 정책 발산의 예제 315
11.3 치명적인 삼위일체 320
11.4 선형 가치 함수 기하 구조 322
11.5 벨만 오차에서의 경사도 강하 327
11.6 벨만 오차는 학습할 수 없다 332
11.7 경사도 TD 방법 337
11.8 강한 TD 방법 341
11.9 분산 줄이기 343
11.10 요약 345
참고문헌 및 역사적 사실 346

CHAPTER 12 적격 흔적 349
12.1 λ 이득 350
12.2 TD(λ) 355
12.3 중단된 n단계 λ 이득 방법 359
12.4 다시 갱신하기: 온라인 λ 이득 알고리즘 361
12.5 진정한 온라인 TD(λ) 363
12.6 몬테카를로 학습에서의 더치 흔적 366
12.7 살사(λ) 368
12.8 가변 λ 및 γ 372
12.9 제어 변수가 있는 비활성 정책 흔적 374
12.10 왓킨스의 Q(λ)에서 트리 보강(λ)로 378
12.11 흔

내용을 대폭 보강하여 20년 만에 개정된 강화학습 분야의 절대 바이블!
강화학습의 핵심 개념과 최신 알고리즘을 쉽고 명료하게 이해한다!

인공지능 분야에서 가장 활발하게 연구되고 있는 분야 중 하나인 강화학습은 복잡하고 불확실한 환경과 상호작용하는 학습자에게 주어지는 보상을 최대화하는 수치 계산적 학습 방법이다. 리처드 서튼과 앤드류 바르토는 이 책 《단단한 강화학습》을 통해 강화학습의 핵심적인 개념과 알고리즘을 분명하고 이해하기 쉽게 설명한다. 1판이 출간된 이후 새롭게 부각된 주제들을 추가하였고, 이미 다루었던 주제들도 최신 내용으로 업데이트하였다.

1판과 마찬가지로 2판에서도 핵심적인 온라인 학습 알고리즘을 집중적으로 다루었는데, 보다 많은 수학적 내용을 별도의 글 상자 안에 추가하였다. 이 책은 크게 다음과 같은 세 부분으로 나누어진다.

■ 첫 번째 부분에서는 정확한 해법을 찾을 수 있는 표 기반 방법만을 적용하여 가능한 한 많은 강화학습 방법을 다루었다. 첫 번째 부분에 제시되는 많은 알고리즘은 2판에서 새롭게 추가된 것인데, 여기에는 UCB, 기댓값 살사, 이중 학습이 포함된다.
■ 두 번째 부분에서는 인공 신경망이나 푸리에 기반과 같은 주제를 다루는 절이 새롭게 추가되면서 첫 번째 부분에서 제시된 방법들이 함수 근사 기반의 방법으로 확장되었고, 비활성 정책 학습과 정책 경사도 방법에 대한 내용이 더욱 풍부해졌다.
■ 세 번째 부분에서는 강화학습이 심리학 및 신경 과학과 어떤 관계인지를 다루는 새로운 장들이 추가되었고, 알파고와 알파고 제로, 아타리 게임, IBM 왓슨의 내기 전략과 같은 사례 연구를 다루는 장이 업데이트되었다. 마지막 장에서는 강화학습이 미래 사회에 미칠 영향에 대해 논의하였다.

작가정보

저자(글) 리처드 서튼

저자 : 리처드 서튼
Richard S. Sutton
앨버타 대학교의 컴퓨터 과학과 교수이자 같은 대학에서 강화학습 및 인공지능 분과의 AITF(Alberta Innovates Technology Future) 의장을 맡고 있다. 또한, 딥마인드의 우수 과학자(Distinguished Research Scientist)이기도 하다.

저자 : 앤드류 바르토
Andrew G. Barto
매사추세츠 대학교 애머스트 캠퍼스의 컴퓨터 및 정보과학 대학에서 명예 교수로 재직 중이다.

역자 : 김성우
인공위성 제어에 지도학습을 적용한 연구로 박사학위를 받았다. 지금은 인공위성 개발 업체에서 위성 충돌 회피 및 위성 영상 분석을 위한 기계학습 방법을 연구하고 있다.

이 상품의 총서

Klover리뷰 (0)

Klover리뷰 안내
Klover(Kyobo-lover)는 교보를 애용해 주시는 고객님들이 남겨주신 평점과 감상을 바탕으로, 다양한 정보를 전달하는 교보문고의 리뷰 서비스입니다.
1. 리워드 안내
구매 후 90일 이내에 평점 작성 시 e교환권 100원을 적립해 드립니다.
  • - e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • - 리워드는 1,000원 이상 eBook, 오디오북, 동영상에 한해 다운로드 완료 후 리뷰 작성 시 익일 제공됩니다.
  • - 리워드는 한 상품에 최초 1회만 제공됩니다.
  • - sam 이용권 구매 상품 / 선물받은 eBook은 리워드 대상에서 제외됩니다.
2. 운영 원칙 안내
Klover리뷰를 통한 리뷰를 작성해 주셔서 감사합니다. 자유로운 의사 표현의 공간인 만큼 타인에 대한 배려를 부탁합니다. 일부 타인의 권리를 침해하거나 불편을 끼치는 것을 방지하기 위해 아래에 해당하는 Klover 리뷰는 별도의 통보 없이 삭제될 수 있습니다.
  • 도서나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 리뷰
  • 도서와 무관한 내용의 리뷰
  • 인신공격이나 욕설, 비속어, 혐오 발언이 개재된 리뷰
  • 의성어나 의태어 등 내용의 의미가 없는 리뷰

구매 후 리뷰 작성 시, e교환권 100원 적립

문장수집

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여 주는 교보문고의 새로운 서비스 입니다. 교보eBook 앱에서 도서 열람 후 문장 하이라이트 하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 ‘좋아요’ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보없이 삭제될 수 있습니다.
리워드 안내
  • 구매 후 90일 이내에 문장 수집 등록 시 e교환권 100원을 적립해 드립니다.
  • e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • 리워드는 1,000원 이상 eBook에 한해 다운로드 완료 후 문장수집 등록 시 제공됩니다.
  • 리워드는 한 상품에 최초 1회만 제공됩니다.
  • sam 이용권 구매 상품 / 선물받은 eBook / 오디오북·동영상 상품/주문취소/환불 시 리워드 대상에서 제외됩니다.

구매 후 문장수집 작성 시, e교환권 100원 적립

    교보eBook 첫 방문을 환영 합니다!

    신규가입 혜택 지급이 완료 되었습니다.

    바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
    지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!

    교보e캐시 1,000원
    TOP
    신간 알림 안내
    단단한 강화학습 웹툰 신간 알림이 신청되었습니다.
    신간 알림 안내
    단단한 강화학습 웹툰 신간 알림이 취소되었습니다.
    리뷰작성
    • 구매 후 90일 이내 작성 시, e교환권 100원 (최초1회)
    • 리워드 제외 상품 : 마이 > 라이브러리 > Klover리뷰 > 리워드 안내 참고
    • 콘텐츠 다운로드 또는 바로보기 완료 후 리뷰 작성 시 익일 제공
    감성 태그

    가장 와 닿는 하나의 키워드를 선택해주세요.

    사진 첨부(선택) 0 / 5

    총 5MB 이하로 jpg,jpeg,png 파일만 업로드 가능합니다.

    신고/차단

    신고 사유를 선택해주세요.
    신고 내용은 이용약관 및 정책에 의해 처리됩니다.

    허위 신고일 경우, 신고자의 서비스 활동이 제한될 수
    있으니 유의하시어 신중하게 신고해주세요.


    이 글을 작성한 작성자의 모든 글은 블라인드 처리 됩니다.

    문장수집 작성

    구매 후 90일 이내 작성 시, e교환권 100원 적립

    eBook 문장수집은 웹에서 직접 타이핑 가능하나, 모바일 앱에서 도서를 열람하여 문장을 드래그하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다.

    P.
    단단한 강화학습
    강화학습 기본 개념을 제대로 정리한 인공지능 교과서
    저자 모두보기
    낭독자 모두보기
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 프리미엄 이용권입니다.
    선물하실 sam이용권을 선택하세요.
    결제완료
    e캐시 원 결제 계속 하시겠습니까?
    교보 e캐시 간편 결제
    sam 열람권 선물하기
    • 보유 권수 / 선물할 권수
      0권 / 1
    • 받는사람 이름
      받는사람 휴대전화
    • 구매한 이용권의 대한 잔여권수를 선물할 수 있습니다.
    • 열람권은 1인당 1권씩 선물 가능합니다.
    • 선물한 열람권이 ‘미등록’ 상태일 경우에만 ‘열람권 선물내역’화면에서 선물취소 가능합니다.
    • 선물한 열람권의 등록유효기간은 14일 입니다.
      (상대방이 기한내에 등록하지 않을 경우 소멸됩니다.)
    • 무제한 이용권일 경우 열람권 선물이 불가합니다.
    이 상품의 총서 전체보기
    네이버 책을 통해서 교보eBook 첫 구매 시
    교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 네이버 책을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)
    구글북액션을 통해서 교보eBook
    첫 구매 시 교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 구글북액션을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)