모두를 위한 메타러닝

PyTorch를 활용한 Few-shot 학습 모델과 빠른 강화학습 에이전트 만들기

정창훈 , 이승현 , 이동민 , 장성은 , 이승재 , 윤승제 지음

위키북스 2023년 02월 01일 출간 종이책 : 2022년 10월 25일 출간

작품소개

책소개

이 책은 최근 인공지능과 머신러닝 분야에서 각광받고 있는 메타러닝에 대한 입문 서적입니다. 독자 여러분께서 다소 생소할 수 있는 메타러닝에 대한 개념을 이해하고 실제로 세부 알고리즘들까지 구현해보는 기회를 제공하는 것을 목표로 합니다. 특히 메타러닝에서 회귀 문제, 분류 문제를 다루는 메타 지도학습뿐 아니라, 강화학습을 소개하고 이에 대해 메타러닝을 적용한 메타 강화학습까지 심도 있게 다루는 것이 이 책의 큰 장점입니다. 처음에는 다소 생소할 수 있지만, 꾸준히 이 책을 반복해서 읽고 실습하면 멋진 최신 머신러닝 기술인 메타러닝을 한층 깊이 이해할 수 있을 것입니다.

★ 이 책에서 배우는 내용 ★

◎ 아나콘다 설치와 활용, PyTorch 및 Torchmeta 라이브러리 활용
◎ 머신러닝에서의 메타러닝의 개념
◎ 메타 지도학습의 개념 및 여러 알고리즘 소개
◎ 기본 강화학습 개요
◎ 메타 강화학습의 개념 및 여러 알고리즘 소개
◎ 오픈챌린지와 메타러닝 애플리케이션

목차

▣ 1장: 메타러닝 개요
1.1 머신러닝과 딥러닝
1.2 메타러닝이란?
1.3 메타러닝 학습 환경 구축
___1.3.1 아나콘다 설치와 사용
___1.3.2 아나콘다 설치
___1.3.3 깃허브 저장소 클론 및 환경 구축

▣ 2장: 메타 지도학습
2.1 메타러닝 문제 정의
___2.1.1 태스크 정의
___2.1.2 메타러닝 데이터셋
___2.1.3 메타러닝
___2.1.4 실습: Torchmeta 라이브러리 소개
2.2 모델 기반 메타러닝
___2.2.1 모델 기반 메타러닝의 핵심 개념
___2.2.2 NTM(Neural Turing Machines)
___2.2.3 MANN(Memory-Augmented Neural Networks)
___2.2.4 실습: MANN 구현
___2.2.5 SNAIL(Simple Neural Attentive Meta-Learner)
___2.2.6 실습: SNAIL 구현
2.3 최적화 기반 메타러닝
___2.3.1 전이학습과 최적화 기반 메타러닝
___2.3.2 MAML과 FOMAML
___2.3.3 실습: MAML-Regression
___2.3.4 실습: MAML-Classification
2.4 메트릭 기반 메타러닝
___2.4.1 KNN과 메트릭 기반 메타러닝
___2.4.2 Matching 네트워크
___2.4.3 실습: Matching 네트워크 구현
___2.4.4 Prototypical 네트워크
___2.4.5 실습: Prototypical 네트워크 구현
2.5 메타러닝 알고리즘 속성과 장단점
___2.5.1 메타러닝 알고리즘의 세 가지 속성
___2.5.2 메타러닝 알고리즘 비교

▣ 3장: 강화학습 개요
3.1 마르코프 결정 과정, 정책, 가치함수
___3.1.1 마르코프 결정 과정
___3.1.2 정책과 강화학습의 목표
___3.1.3 가치 함수
3.2 탐험과 활용
3.3 강화학습 알고리즘의 종류
___3.3.1 On-policy와 Off-policy
___3.3.2 정책 기반 알고리즘
___3.3.3 가치 기반 알고리즘
___3.3.4 액터 크리틱 알고리즘
3.4 TRPO(Trust Region Policy Optimization)
___3.4.1 TRPO 아이디어
___3.4.2 Surrogate 목적 함수와 제약 조건
___3.4.3 켤레 그라디언트법 기반 최적화
3.5 PPO(Proximal Policy Optimzation)
___3.5.1 PPO 아이디어
___3.5.2 Clipped Surrogate 목적함수
___3.5.3 PPO 알고리즘
3.6 SAC(Soft Actor Critic)
___3.6.1 엔트로피
___3.6.2 최대 엔트로피 강화학습
___3.6.3 가치함수 및 정책 학습
___3.6.4 SAC 알고리즘

▣ 4장: 메타 강화학습
4.1 메타 강화학습
___4.1.1 태스크 개념 소개
___4.1.2 메타 강화학습 문제 정의
___4.1.3 MuJoCo 및 Half-Cheetah 환경 개념 소개
4.2 순환 정책 메타 강화학습
___4.2.1 GRU
___4.2.2 순환 정책 메타 강화학습
___4.2.3 RL2
___4.2.4 실습: RL2 구현
4.3 최적화 기반 메타 강화학습
___4.3.1 MAML-RL
___4.3.2 실습: MAML-RL 구현
4.4 컨텍스트 기반 메타 강화학습
___4.4.1 태스크 추론 관점에서의 메타 강화학습
___4.4.2 컨텍스트 기반 정책
___4.4.3 변분적 추론
___4.4.4 PEARL(Probabilistic Embeddings for Actor critic RL)
___4.4.5 실습: PEARL 구현

▣ 5장: 오픈 챌린지와 메타러닝 애플리케이션
5.1 오픈 챌린지(Open Chanllenges)
___5.1.1 메타 과적합
___5.1.2 치명적 망각과 지속 학습
___5.1.3 부족한 벤치마크
___5.1.4 부족한 레이블된 데이터와 메타 비지도 학습
5.2 메타러닝 애플리케이션
___5.2.1 컴퓨터 비전
___5.2.2 강화학습
___5.2.3 자연어 처리
___5.2.4 의료
___5.2.5 마치며

작가정보

저자(글) 정창훈

동국대학교에서 컴퓨터공학을 전공하고 서울대학교 컴퓨터공학부에서 박사과정 중에 있습니다. 메타러닝을 연구하고, 최근에는 메타 강화학습, 오프라인 강화학습에 관심을 가지고 연구하고 있습니다.

저자(글) 이승현

현대중공업에서 설계 엔지니어로 일했으며 현재 포항공과대학교 IT융합공학에서 박사과정 중에 있습니다. 학위주제로 의료분야에서의 환자 개인화 및 치료 자동화 인공지능을 연구해왔으며, 최근에는 파운데이션 모델의 임상적 적용에 관심을 가지고 연구 중입니다.

저자(글) 이동민

한양대학교에서 컴퓨터공학을 전공했으며, 이후에 서울대학교 로봇 학습 연구실, 바이오지능 연구실에서 머신러닝에 관한 다양한 연구 경험을 쌓았습니다. 현재는 마키나락스에서 머신러닝 엔지니어로서 실제 문제에 ML 기술과 MLOps 기술을 적용하는 데에 많은 관심을 가지고 있습니다.

저자(글) 장성은

동국대학교에서 의생명공학 학사, 컴퓨터공학 학사/석사 학위를 받았습니다. 현재는 서울대학교 협동과정 생물정보학전공 박사과정에서 메타러닝을 포함한 다양한 머신러닝 기술을 통해 생물학 데이터를 분석하는 연구를 수행하고 있습니다. 이 책의 글 및 코드 개발과 함께 삽화 작업을 도맡아 진행했습니다.

저자(글) 이승재

프린스턴 대학교에서 수학을 전공했습니다. 현재 블룸버그에서 언어모델 개발 및 상용화 업무를 맡고 있습니다.

저자(글) 윤승제

아주대학교에서 기계공학을 전공했고, KAIST 조천식 모빌리티 대학원에서 석사과정 동안 차량 거동 예측과 모델 예측 제어(model predictive control) 등을 연구했습니다. 모라이에서 인식(perception) 파트를 맡았으며, 현재 뉴빌리티 자율주행 팀에 소속되어 있습니다.