핵심 딥러닝 입문: RNN, LSTM, GRU, VAE, GAN 구현

최신 딥러닝 기술만 골라 배우는

아즈마 유키나가 지음 | 최재원 옮김

책만 2021년 02월 08일 출간 종이책 : 2020년 12월 09일 출간

작품소개

책소개

딥러닝의 기초 지식, 수학, 파이썬부터 실전 프로그래밍 구현까지,
RNN, LSTM, GRU, VAE, GAN을 망라하는 최신 딥러닝 모델 마스터!

현 시점에서 개발자가 꼭 알아야 할 최신 딥러닝 기술들만을 골라 수식과 코드를 번갈아가며 매우 이해하기 쉽게 알려준다. 간결하고 이해하기 쉬운 예제 코드들을 하나 하나 따라 해가다 최종적으로 실전에서도 활용할 수 있는 완결된 딥러닝 코드를 완성해본다. 이 책에서는 파이썬과 기초 수학부터 시작해서, RNN(순환 신경망)과 LSTM, GRU, VAE(변이형 오토인코더), GAN(생성적 적대 신경망)까지, 최신 딥러닝의 필수 모델과 원리, 내부 동작을 빠짐없이 자세하게 설명한다. 파이썬 프로그래밍을 직접 코딩하면서 차근차근 순서대로 공부해 나가다 보면 딥러닝의 기초를 완벽하게 습득할 수 있다.

| 이 책에서 다루는 내용 |
■ 실전에 응용할 수 있는 최신 딥러닝 기술 RNN, LSTM, GRU, VAE, GAN 포함
■ 딥러닝 프레임워크를 사용하지 않고 딥러닝의 알고리즘을 파이썬 프로그래밍 코드로 구현
■ 파이썬과 수치연산 라이브러리 넘파이(NumPy)를 이용한 프로그래밍 기초 지식
■ 딥러닝의 근본적인 원리를 이해하는 데 필요한 핵심 수학 이론과 수식 코딩 방법
■ 독자들이 직접 응용해 수준 높은 코드로 발전시킬 수 있는 완전한 파이썬 코드 제공

| 이 책의 독자 대상 |
■ 최신 딥러닝 기술에 대해 기초부터 차근차근 공부하고 싶은 딥러닝 입문자
■ 딥러닝 알고리즘을 수식으로 이해하고 프로그래밍 코드로 구현해보고 싶은 개발자
■ 최신 딥러닝 알고리즘 코드를 작성해 업무나 현장에서 바로 적용해보고 싶은 개발자
■ 이 모든 과정을 한 권의 책으로 해결하고 싶은 사람

목차

[1장] 딥러닝의 발전
1.1 딥러닝 개요
__1.1.1 AI와 머신러닝
__1.1.2 딥러닝
1.2 딥러닝 응용 분야
__1.2.1 이미지 인식
__1.2.2 이미지 생성
__1.2.3 이상 탐지
__1.2.4 자연어 처리
__1.2.5 강화학습
__1.2.6 기타 분야에서의 응용 사례
1.3 이 책에서 다루는 딥러닝 기술
__1.3.1 RNN
__1.3.2 생성 모델

[2장] 학습 준비
2.1 아나콘다 개발 환경 구축
__2.1.1 아나콘다 다운로드
__2.1.2 아나콘다 설치
__2.1.3 주피터 노트북 실행
__2.1.4 주피터 노트북 사용
__2.1.5 노트북 종료
2.2 구글 코랩 사용
__2.2.1 구글 코랩 준비
__2.2.2 코랩 노트북 사용
__2.2.3 GPU 사용
__2.2.4 파일 사용
2.3 파이썬 기초
__2.3.1 변수와 변수형
__2.3.2 연산자
__2.3.3 리스트
__2.3.4 튜플
__2.3.5 딕셔너리
__2.3.6 if문
__2.3.7 for문
__2.3.8 함수
__2.3.9 변수의 범위
__2.3.10 클래스
2.4 넘파이와 맷플롯립
__2.4.1 모듈 임포트
__2.4.2 넘파이 배열
__2.4.3 배열을 생성하는 다양한 함수
__2.4.4 reshape를 이용한 형태 변환
__2.4.5 배열 연산
__2.4.6 원소 값에 접근
__2.4.7 그래프 그리기
__2.4.8 이미지 생성
2.5 수학 기초
__2.5.1 벡터
__2.5.2 행렬
__2.5.3 각 원소 간의 곱셈
__2.5.4 행렬 곱
__2.5.5 행렬 전치
__2.5.6 미분
__2.5.7 연쇄 법칙
__2.5.8 편미분
__2.5.9 연쇄 법칙의 확장
__2.5.10 정규분포

[3장] 딥러닝 기초
3.1 딥러닝 개요
__3.1.1 딥러닝이란?
__3.1.2 층의 방향과 층의 개수
__3.1.3 경사 하강법
__3.1.4 에포크와 배치
3.2 전결합층 순전파
__3.2.1 순전파의 수식
__3.2.2 순전파를 행렬로 표현
__3.2.3 순전파를 코드로 구현
3.3 전결합층 역전파
__3.3.1 역전파 수식
__3.3.2 역전파를 행렬로 표현
__3.3.3 역전파를 코드로 구현
3.4 전결합층 구현
__3.4.1 공통 클래스 구현
__3.4.2 은닉층 구현
__3.4.3 출력층 구현
3.5 단순한 딥러닝 구현
__3.5.1 손글씨 숫자 이미지 데이터 확인
__3.5.2 데이터 전처리
__3.5.3 순전파와 역전파
__3.5.4 미니 배치 구현
3.6 손글씨 숫자 이미지 인식의 전체 코드

[4장] RNN
4.1 RNN 개요
4.2 RNN층의 순전파
__4.2.1 순전파 개요
__4.2.2 순전파 수식
__4.2.3 순전파를 코드로 구현
4.3 RNN층의 역전파
__4.3.1 역전파 수식
__4.3.2 역전파를 행렬로 표현
__4.3.3 역전파를 코드로 구현
4.4 RNN층 구현
__4.4.1 RNN층 클래스
4.5 간단한 구조의 RNN 구현
__4.5.1 훈련 데이터 생성
__4.5.2 데이터 전처리
4.5.3 훈련
__4.5.4 예측
__4.5.5 곡선 생성
__4.5.6 sin 곡선 예측에 대한 전체 코드
4.6 2진수 덧셈 학습
__4.6.1 2진수 덧셈
__4.6.2 2진수 준비
__4.6.3 출력층
__4.6.4 훈련
__4.6.5 2진수 계산에 대한 전체 코드
4.7 RNN의 단점

[5장] LSTM
5.1 LSTM 개요
__5.1.1 LSTM 개요
__5.1.2 기억 셀
__5.1.3 망각 게이트 주변
__5.1.4 입력 게이트와 새로운 기억
__5.1.5 출력 게이트
5.2 LSTM층의 순전파
__5.2.1 LSTM층의 순전파
__5.2.2 순전파 코드 구현
5.3 LSTM층의 역전파
__5.3.1 역전파 수식
__5.3.2 망각 게이트
__5.3.3 입력 게이트
__5.3.4 새로운 기억
__5.3.5 출력 게이트
__5.3.6 행렬로 표현
__5.3.7 역전파 코드 구현
5.4 LSTM층 구현
__5.4.1 LSTM층 클래스
5.5 간단한 LSTM 구현
__5.5.1 LSTM 훈련
__5.5.2 sin 곡선 예측에 대한 전체 코드
5.6 LSTM을 이용한 문장 자동 생성
__5.6.1 텍스트 데이터 읽어들이기
__5.6.2 문자와 인덱스 관련
__5.6.3 문자 벡터화
__5.6.4 출력 결과의 의미
__5.6.5 텍스트 생성용 함수
__5.6.6 기울기 클리핑
__5.6.7 문장 생성에 대한 전체 코드
__5.6.8 결과 확인

[6장] GRU
6.1 GRU 소개
__6.1.1 GRU
__6.1.2 리셋 게이트
__6.1.3 새로운 기억
__6.1.4 업데이트 게이트
6.2 GRU층의 순전파
__6.2.1 GRU의 순전파
__6.2.2 순전파를 코드로 구현
6.3 GRU층의 역전파
__6.3.1 새로운 기억
__6.3.2 업데이트 게이트
__6.3.3 리셋 게이트
__6.3.4 입력의 기울기
__6.3.5 이전 시점 출력의 기울기
__6.3.6 GRU의 각 기울기를 행렬로 나타내기
__6.3.7 GRU의 역전파를 코드로 구현하기
6.4 GRU층 구현
__6.4.1 GRU층의 클래스
6.5 GRU 구현
__6.5.1 GRU 구현의 전체 코드
6.6 RNN을 이용한 이미지 생성
__6.6.1 이미지를 시계열 데이터로 간주하기
__6.6.2 훈련 데이터 준비하기
__6.6.3 이미지 생성
__
6.7 Seq2Seq

[7장] VAE
7.1 VAE 소개
__7.1.1 오토인코더
__7.1.2 VAE
7.2 VAE의 구조
__7.2.1 잠재 변수 샘플링
__7.2.2 재파라미터화 트릭
__7.2.3 오차 정의
__7.2.4 재구성 오차
__7.2.5 규제화항
7.3 오토인코더의 구현
__7.3.1 신경망 구현
__7.3.2 각

출판사 서평

[옮긴이의 글]
새로운 IT 기술은 먼저 논문으로 발표되어 전문가들 사이에서만 정보가 공유되다가 몇 년이 지나면 책으로 나와 대중에게 지식이 보급됩니다. 이때 출간되는 책은 두 종류로 나뉩니다. 하나는 ‘일단 따라하기’ 유형입니다. 이론은 깊이 다루지 않고 우선 독자들이 기술을 업무나 관심 분야에 바로 적용해볼 수 있도록 절차적인 방법을 소개합니다. 또 다른 유형의 책은 기술의 근본 원리를 깊이 있게 다룹니다. 복잡한 수식이나 어려운 코딩이 동반되고 세부 내용도 자세하게 다룹니다. 두 가지 유형은 모두 장단점이 있습니다.
그런데 『핵심 딥러닝 입문: RNN, LSTM, GRU, VAE, GAN 구현』은 이 두 유형 사이에 위치하는 독특한 책입니다. 이 책은 LSTM, GAN, VAE 등 최신 딥러닝 기술을 소개하는데, 먼저 첫 부분은 기술의 근본적인 원리를 수식으로 설명합니다. 그림을 이용하거나 비유나 예시 등의 추상적인 개념으로 설명하는 책이 많지만 이 책은 우직하게 수식으로 승부합니다. 기술의 수학적인 원리를 이해해야 하는 이유는 명확합니다. 추상적인 개념 습득은 전체 내용을 빠르게 이해하는 데는 도움이 되지만 실무에서 다양한 문제를 해결하거나 실력을 키우기에는 한계가 있습니다.
이 책에서는 먼저 수식으로 원리를 설명한 이후, 수식과 개념적으로 이어지는 예제 코드를 이용해 해당 기술의 구현 사례를 보여줍니다. 예제 코드는 독자가 스스로 변형하거나 확장해 볼 수 있도록 세심하게 배려한 흔적이 엿보입니다. 첫 부분에서 수식을 이용한 설명 부분이 약간 어렵다고 느껴진다면, 예제 코드를 이용해 일단 먼저 따라해보고 성취감을 맛보는 접근 방법도 좋습니다. 또한 특정 프레임워크를 사용하지 않기 때문에 코드를 유심히 분석해 나가다 보면 코드가 그렇게 작성된 이유가 궁금해지고 결국은 앞에서 설명한 수식과 연결된다는 사실을 깨닫게 됩니다.
이렇듯 이 책은 기술의 근본적인 원리에 대한 설명과 구체적인 따라하기 실습과의 균형이 매우 적절한 책입니다. 또한 특정 분야에만 치중하지 않고 RNN, LSTM, VAE, GAN 등 최신 기술을 모두 골고루 다루는 점도 장점입니다. 딥러닝 고급 기술에 대한 기초를 다지고 싶거나 한 단계 더 도약하고 싶은 독자들에게 매우 유익한 책이 될 것으로 기대합니다.
- 최재원

2010년대 후반 IT 분야에서 가장 주목받은 키워드는 누가 뭐라든 ‘인공지능’이 아닐까 합니다. 처음에는 어려워만 보였던 기술이 많은 사람에게 자연스럽게 받아들여지고 있으며, 이 분야에 자신의 인생을 건 개발자도 많이 늘었다고 생각합니다. 옮긴이도 이러한 흐름에 따라 앞으로 인공지능 기술의 발전에 많은 관심을 두고 다양한 기술을 살펴보는 중입니다.
이 책은 여러 가지 인공지능 기술 중 딥러닝에 집중합니다. 그럼 “이미 많은 딥러닝 관련 책이 출간되었는데 굳이 또 이 책을 읽어야 하나요?”라는 의문이 들 수 있습니다. 그래도 이 책은 한 번 읽을 가치가 있습니다. 딥러닝을 처음 배우려는 사람을 배려하면서도 2020년 기준 현업에서 사용하는 최신 이론과 함께 딥러닝을 알려주기 때문입니다.
알파고가 처음 나왔을 때의 딥러닝 기초와 현재의 딥러닝 기초를 비교하면 그간 많은 발전이 있었습니다. 물론 과거의 기초 개념도 중요하지만 앞으로 딥러닝을 진지하게 파고들려는 분이라면 최신 이론을 접하는 것이 매우 중요합니다. 이 책은 그러한 점을 반영해서 순전파, 역전파, RNN 같은 전통적인 딥러닝 기초는 물론이고, LSTM, GRU, VAE, GAN같이 2020년 현 시점에서 알아두면 좋은 딥러닝의 기초를 함께 담으려고 노력했습니다. 저처럼 딥러닝에 뒤늦게 관심을 갖게 된 분이라면 이 책이 많은 도움이 될 것입니다.
- 장건희

작가정보

저자(글) 아즈마 유키나가

저자 : 아즈마 유키나가
'인간과 AI의 공존'을 미션으로 하는 주식회사 SAI-Lab의 대표이사로, AI 관련 교육과 연구 개발에 종사하고 있다. 토후쿠대학 대학원 이학연구과 수료 후 이학박사(물리학)를 취득했다.
인공지능, 복잡계, 뇌과학, 특이점(singularity) 등에 관심이 많으며 프로그래밍과 AI 분야의 온라인 강의에서 약 3만 5천 명의 학생을 가르쳤다. 세계 최대 교육 동영상 플랫폼인 유데미(Udemy)에서 '처음 시작하는 파이썬', '실전 데이터과학과 머신러닝', '모두의 딥러닝', '모두의 AI 강좌' 등을 강의하고 있다. VR, 게임, SNS 등 다양한 분야의 애플리케이션을 개발했다.

역자 : 최재원
일본 게이오 대학원을 졸업하고 아주대 대학원에서 학습분석으로 박사 학위를 취득했다.
현재 대학에서 교육 데이터 분석 및 인공지능 기반 교수학습 과정을 개발하고 있다. IT 관련 도서의 영어, 일어 번역가 겸 작가로도 활동 중이다.
번역서로는 『실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍』(책만, 2019), 『데이터 과학 트레이닝 북』(인사이트, 2020), 『IT 개발자의 영어 필살기』(책만, 2020), 『대학 혁신을 위한 빅데이터와 학습분석』(시그마프레스, 2019), 『데이터 시각화, 인지과학을 만나다』(에이콘출판, 2015), 『유니티 입문』(에이콘출판, 2012) 등이 있다. 저서로는 전자책 『VR, 가까운 미래』(리디북스, 2016)와 『스테파네트 아가씨를 찾아 헤맨 나날들』(황금가지, 2016)이 있다.

역자 : 장건희
응용수학을 전공했지만 배운 것과는 무관한 삶을 살아왔다. 그러다가 머신러닝과 딥러닝이 주목받으면서 그간 잊고 살았던 수학과 통계가 자신에게 장점이 된다는 사실을 뒤늦게 깨달았다. 앞으로 인공지능 기술을 이용해 외국어를 배우지 않아도 되는 세상을 만들면 보람찬 인생일 것으로 생각하며 꾸준하게 딥러닝 기술을 탐구 중이다.

번역 최재원

작가의 말

인간과 AI, 혹은 지구와 AI가 공존하는 미래 사회가 조금씩 다가오고 있습니다. AI 기술 중에서도 딥러닝(Deep Learning)은 전 세계적인 관심을 받으며 다양한 모습으로 발전하고 있습니다. 딥러닝을 활용한 얼굴 인식, 음성 인식, 보안 기술은 이미 우리 생활 깊숙이 침투해 있습니다.
그러나 딥러닝을 이해하기란 쉽지 않습니다. 딥러닝을 이해하려면 선형대수, 미분 같은 수학은 물론, 파이썬 프로그래밍 기술, 신경망이나 역전파 같은 알고리즘 지식까지 갖춰야 합니다. 이처럼 높은 배움의 진입 문턱을 조금이라도 낮추기 위해 저의 전작 『실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍』에서는 파이썬 프로그래밍과 기초 수학을 설명하고 프레임워크를 쓰지 않고도 딥러닝을 구현하는 방법을 살펴봤습니다. 또한, 딥러닝에 필요한 수식을 간결한 코드로 구현하고 딥러닝의 구조와 원리를 명료하게 설명했습니다.
이 책에서는 이전 책을 기반으로 조금 더 깊은 내용을 다룹니다. RNN(순환 신경망)과 RNN이 발전된 형태인 LSTM을 비롯해 GRU, 생성 모델 VAE와 GAN까지 살펴 봅니다.
이번 책에서도 마찬가지로 프레임워크는 사용하지 않으며, 필요한 수식을 직접 코딩하면서 딥러닝을 구현합니다. 이런 방식으로 학습하면 딥러닝의 내부 원리와 구현 방법을 더 잘 이해할 수 있고, 문제가 발생했을 때 원인을 찾기 쉬워 작업이 더 즐거워집니다. 되도록 프레임워크를 이용하지 않고 딥러닝을 응용하고 구현할 수 있는 실력을 갖추는 것이 바람직합니다. 이 책은 저의 전작인 『실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍』을 굳이 읽지 않았어도 학습할 수 있도록 전작에서 다룬 핵심 내용을 다시 한번 요약 정리해뒀습니다.

이 책의 독자 대상은 딥러닝을 공부하려는 모든 사람이지만, 2가지 배경 지식이 필요합니다. 첫째는 객체 지향 프로그래밍 경험입니다. 이 책에서도 파이썬을 이용해 객체 지향 프로그래밍을 설명하지만, 프로그래밍 경험이 없다면 초심자용 파이썬 책으로 미리 공부해두기를 권장합니다.
둘째는 중고교 수준의 수학 지식입니다. 이 책에서는 딥러닝에 필요한 선형대수와 미분을 간략하게 설명하지만, 어느 정도 수학 지식이 있다면 더 순조롭게 학습을 진행할 수 있습니다. 부족한 부분은 다른 책이나 웹 사이트로 보완하면서 공부하는 방법도 좋습니다.
책을 읽기만 해도 공부가 되도록 내용을 구성했지만, 파이썬 코드를 직접 실행해보면서 학습하는 것이 바람직합니다. 책에 나오는 소스 코드는 웹 사이트에서 내려받을 수 있으며 이 코드를 바탕으로 자신만의 딥러닝 코드를 작성해보기 바랍니다. 스스로 새로운 AI 기술을 개발해 보는 것도 재미있는 도전이 될 것입니다.
딥러닝 코드를 실행하는 데 간혹 며칠 또는 몇 주가 걸리는 경우도 있지만, 이 책의 실습 코드 실행은 짧으면 10초 이내, 길어도 몇 분 안에 끝납니다. 코드는 확장성을 고려해, 코드의 일부분을 수정하면서 시행착오를 반복할 수 있도록 구성했습니다. 프로그래밍 실행 환경이 다소 좋지 않아도 코드가 원활하게 실행되도록 가능한 한 작은 크기의 이미지 데이터를 활용했으며, 수식 또한 코드로 작성하기 쉽게 정리했습니다.
딥러닝은 인간의 뇌 조직을 닮은 신경망을 모방해 개발됐습니다. 지능의 구조를 프로그래밍으로 재현하는 것은 지적인 호기심을 매우 자극하는 일입니다. 물론 기술을 하루아침에 익힐 수는 없지만, 시간을 들여 직접 손과 머리를 써서 공부해나간다면 딥러닝 코드를 읽어 이해하거나 직접 구현해낼 수 있을 것입니다. 서두르지 말고 한걸음씩 착실하게 공부해봅시다.

전문가가 아니어도 모든 사람에게 딥러닝을 배운다는 것은 큰 의미가 있습니다. 부디 이 책이 많은 사람이 AI를 공부하는 계기가 될 수 있기를 바랍니다.