파이토치 첫걸음

딥러닝 모델 생성에서 애플리케이션 개발까지

두세교 지음 | 김완섭 옮김

제이펍 2020년 03월 28일 출간 종이책 : 2019년 05월 09일 출간

작품소개

책소개

정말정말 쉽게 시작하는 파이토치&딥러닝 입문!

고도의 기술을 배운다고 해서 그 시작도 어려워야만 할까요? 이 책은 미간 찌푸리지 않고 부담 없이! 마음 편히! 임할 수 있는 파이토치 입문용 최강 서적입니다. 학습을 위한 자세한 예제는 물론이고 자칫 어려워서 등돌리게 될 수 있는 수식 투성이 구성은 최대한 배제하여 초보자를 더욱 배려하였습니다. 책 내용에 따라 직접 파이토치 실습을 하다 보면 어느새 파이토치와 딥러닝의 높은 문턱을 넘어선 자신을 발견할 수 있을 것입니다.

목차

옮긴이 머리말
시작하며
이 책의 대상 독자와 필요한 사전 지식
이 책의 구성
About the SAMPLE: 이 책의 개발 환경과 예제 프로그램
베타리더 후기

PROLOGUE 개발 환경 준비 1
0.1 이 책의 검증 환경 2
0.1.1 OS 환경: 우분투 16.04 2
0.1.2 엔비디아의 GPU 2
0.1.3 클라우드에서 GPU를 탑재한 인스턴스 실행하기 3
0.2 개발 환경 구축 5
0.2.1 미니콘다 설치 5
0.2.2 가상 환경 구축 7

CHAPTER 1 파이토치의 기본 11
1.1 파이토치의 구성 12
1.1.1 파이토치의 전반적인 구성 12
1.2 텐서 13
1.2.1 텐서 생성과 변환 13
1.2.2 텐서의 인덱스 조작 15
1.2.3 텐서 연산 16
1.3 텐서와 자동 미분 20
1.4 정리 22

CHAPTER 2 최대 우도 추정과 선형 모델 23
2.1 확률 모델과 최대 우도 추정 24
2.2 확률적 경사 하강법 26
2.3 선형 회귀 모델 28
2.3.1 선형 회귀 모델의 최대 우도 추정 28
2.3.2 파이토치로 선형 회귀 모델 만들기(직접 만들기) 30
2.3.3 파이토치로 선형 회귀 모델 만들기(nn, optim 모듈 사용) 32
2.4 로지스틱 회귀 35
2.4.1 로지스틱 회귀의 최대 우도 추정 35
2.4.2 파이토치를 사용한 로지스틱 회귀 분석 36
2.4.3 다중 분류를 위한 로지스틱 회귀 분석 40
2.5 정리 42

CHAPTER 3 다층 퍼셉트론 43
3.1 MLP 구축과 학습 44
3.2 Dataset과 DataLoader 48
3.2.1 Dataset과 DataLoader 48
3.3 학습 효율화 팁 50
3.3.1 Dropout을 사용한 정규화 50
3.3.2 Batch Normalization를 사용한 학습 가속 53
3.4 신경망의 모듈화 55
3.4.1 자체 신경망 계층(커스텀 계층) 만들기 55
3.5 정리 57

CHAPTER 4 이미지 처리와 합성곱 신경망 59
4.1 이미지와 합성곱 계산 60
4.2 CNN을 사용한 이미지 분류 62
4.2.1 Fashion-MNIST 62
4.2.2 CNN 구축과 학습 65
4.3 전이 학습 69
4.3.1 데이터 준비 72
4.3.2 파이토치를 사용한 전이 학습 75
4.4 CNN 회귀 모델을 사용한 이미지 해상도 향상 80
4.4.1 데이터 준비 80
4.4.2 모델 작성 83
4.5 DCGAN을 사용한 이미지 생성 89
4.5.1 GAN이란 89
4.5.2 데이터 준비 90
4.5.3 파이토치를 사용한 DCGAN 91
4.6 정리 101

CHAPTER 5 자연어 처리와 순환 신경망 103
5.1 RNN이란? 104
5.2 텍스트 데이터의 수치화 106
5.3 RNN과 문장 분류 109
5.3.1 IMDb 리뷰 데이터 109
5.3.2 신경망 정의와 훈련 113
5.3.3 가변 길이 계열 처리 118
5.4 RNN을 사용한 문장 생성 121
5.4.1 데이터 준비 122
5.4.2 모델 정의 및 학습 124
5.5 인코더-디코더 모델을 사용한 기계 번역 129
5.5.1 인코더-디코더 모델이란 130
5.5.2 데이터 준비 131
5.5.3 파이토치를 사용한 인코더-디코더 모델 135
5.6 정리 142

CHAPTER 6 추천 시스템과 행렬 분해 143
6.1 행렬 인수분해 144
6.1.1 이론적 배경 144
6.1.2 MovieLens 데이터 145
6.1.3 파이토치에서 행렬 인수분해하기 147
6.2 신경망 행렬 인수분해 151
6.2.1 행렬 인수분해를 비선형화 151
6.2.2 부속 정보 이용 153
6.3 정리 160

CHAPTER 7 애플리케이션 적용 161
7.1 모델 저장과 불러오기 162
7.2 플라스크를 사용한 웹 API화 164
7.3 도커를 이용한 배포 173
7.3.1 nvidia-docker 설치 174
7.3.2 파이토치의 도커 이미지 작성 175
7.3.3 웹 API 배포 176
7.4 ONNX를 사용한 다른 프레임워크와의 연계 179
7.4.1 ONNX란 179
7.4.2 파이토치 모델 엑스포트 181
7.4.3 Cae2에서 ONNX 모델 사용하기 183
7.4.4 ONNX 모델을 Cae2 모델로 저장 184
7.5 정리 186

APPENDIX A 훈련 상태 가시화 187
A1.1 텐서보드를 사용한 가시화 188

APPENDIX B 컬래버레터리로 파이토치 개발 환경 구축 193
B1.1 컬래버레터리를 사용한 파이토치 개발 환경 구축 방법 194
B1.1.1 컬래버레터리란 194
B1.1.2 장비 사양 194
B1.1.3 파이토치 환경 구축 195
B1.1.4 데이터 처리 201

책 속으로

선형 모델이라는 매우 중요한 기초 개념을 설명할 때를 제외하고는 가능한 한 수식을 사용하지 않고 코드와 실제 예를 통해 설명하도록 노력했다. 간단한 데이터 식별부터 이미지 분류 및 생성, 문장 분류 및 생성, 번역, 그리고 추천 시스템 등
다양한 응용 예제를 사용해 실제 데이터가 움직이는 것을 보면서 이해할 수 있도록 주의를 기울였다. _xii

로지스틱 회귀는 두 가지 분류뿐만 아니라 여러 개를 분류할 수도 있다. 수학적인 내용은 머신러닝 서적에 양보하도록 하겠지만, 요점은 다음과 같다. 선형 결합 계층의 출력을 1차원이 아닌 분류의 차원으로 만들고, 손실 함수를 소프트맥스 크로스 엔트로피라는 함수로 변경하기만 하면 된다. 40p

전이 학습(transfer learning)이란, 특정 태스크(또는 도메인)에서 얻은 모델을 다른 태스크에 적용하는 기술을 말한다. 이미지 인식 분야의 신경망에서는 사전에 학습한 신경망의 마지막 출력 선형 계층만 새로 학습하고 다른 계층의 파라미터를 모두 고정시키면 좋은 결과를 얻을 수 있다고 알려져 있다. 특히, ImageNet이라는 대규모 이미지 인식 데이터로 사전 학습한 여러 신경망(ResNet 등)의 파라미터가 공개돼 있어서 전이 학습에 사용하기 좋다. 왜 이 방식이 좋은지는 사실 이론적으로 증명된 것은 없다(필자가 알고 있는 한). 단, CNN의 하위 계층에서 이미지를 인식할 때 필요한 일반적인 특징을 추출할 수 있다는 결과가 나와 있다. _71p

하지만 RNN은 일반 신경망보다 훈련이 어렵다. 오랜 시간 동안 쌓인 이력을 사용하려고 하면 그만큼 깊은 신경망이 되어야 하며, 경사 손실이나 경사 분실 등의 문제가 발생할 수 있다. 이것을 해결하기 위해 단순한 선형 계층이 아닌 더 정교한 처리를 모아 모듈 블록으로 바꾼 LSTM(Long Short Term Memory)나 GRU(Gated Recurrent Unit) 등의 RNN도 있다. _104p

영화 ID, 제목, 장르순으로 나열돼 있으며, 장르가 여러 개인 경우 파이프 기호(|)로 연결하고 있다. 이와 같이 복수의 항목을 가변 길이로 지니고 있는 데이터를 수치화할 때는 여러 가지 방법이 있다. 여기서는 장르가 24가지밖에 없으므로 간단하게 BoW를 사용하도록 한다. _153p

컬래버레터리는 구글이 공개한 웹 서비스로 주피터 노트북과 비슷한 환경을 제공한다. ipynb 파일은 구글 드라이브(Google Drive)상에 저장되며, 구글 독스(Google Docs)처럼 공유할 수도 있다. 컬래버레터리는 엔비디아의 Telsa K80이라는 GPU도 무료로 제공하므로 GPU 장비 없이도 손쉽게 딥러닝을 검증할 수 있다. _194p

출판사 서평

실무에도 바로 활용할 수 있는 파이토치 입문서!

딥러닝의 파이썬 라이브러리로는 구글이 개발한 텐서플로(TensorFlow) 프레임워크가 가장 유명하지만, 심벌을 사용하는 프로그래밍 스타일 때문에 초보자가 접근하기 어렵다는 의견도 존재한다. 반면 이 책에서 다루는 파이토치는 페이스북을 중심으로 개발된 오픈 소스 프로젝트로 동적 네트워크라는 구조를 도입했으며, 일반적인 파이썬 프로그램과 같은 환경에서 간단하게 신경망을 구축할 수 있다는 점에서 많은 관심을 받고 있다. 특히, 해외 연구자들로부터 많은 지지를 받고 있어서 최신 연구들이 파이토치를 사용해 구현되는 중이다. 연구 결과들도 깃허브를 통해 빠르게 공개되는 것이 당연시되고 있다. 아직 한글 자료는 부족하지만, 사용하기 쉽고 최신 연구 결과를 바로 적용할 수 있어서 서비스에 딥러닝을 곧바로 적용하고 싶은 사람에게는 최적의 프레임워크가 될 것이다. 이 책을 통해서 독자 여러분이 신경망이나 딥러닝, 그리고 머신러닝 등에 흥미를 가지고 실제로 자신의 업무에 적용할 수 있게 되기를 바란다.

- ‘시작하며’ 중에서

이 책의 대상 독자
● 인공지능을 배우고자 하는 프로그래머
● 머신러닝 및 딥러닝 엔지니어

작가정보

저자(글) 두세교

도쿄공업대학에서 계산 기기를 활용한 분자생물학을 연구했으며, 졸업 후에는 IT 기업에서 소프트웨어 개발 및 데이터 분석을 담당하고 있다. 대학원 시절에 아직 유명해지기 전이었던 파이썬과 NumPy를 접했고, 스터디 모임이나 집필 등을 통해 파이썬을 전파했다. 요근래 몇 년 동안은 스타트업을 중심으로 데이터 분석이나 머신러닝 개발 지원 등을 해왔으며, 2018년 4월부터 물류 IT 관련 스타트업에서 근무하고 있다. 머신러닝, 빅데이터 분석, 서버 개발 등에 관심이 많으나, 지금은 자녀 교육을 위해 육아 휴직 중인 아빠 엔지니어다.

번역 김완섭

네덜란드 ITC에서 Geoinformation for Disaster Risk Management 석사 학위를 취득했다. 약 9년간 일본과 한국의 기업에서 IT 및 GIS/LBS 분야 업무를 담당했으며, 일본에서는 세콤(SECOM) 계열사인 파스코(PASCO)에서 일본 외무부, 국토지리정보원 같은 정부기관을 대상으로 한 시스템 통합(SI) 업무를 담당했다. 이후 야후 재팬으로 직장을 옮겨 야후맵 개발 담당 시니어 엔지니어로 근무했으며, 한국으로 돌아와 SK에서 내비게이션 지도 데이터 담당 매니저로 근무했다. 현재는 싱가포르에 있는 일본계 회사에서 은행 관련 IT 프로젝트를 담당하고 있다. 저서로는 《나는 도쿄 롯폰기로 출근한다》가 있으며, 역서로는 《알고리즘 도감》, 《처음 만나는 HTML5 & CSS3》, 《인공지능 70》, 《처음 만나는 자바스크립트》, 《다양한 언어로 배우는 정규표현식》, 《그림으로 공부하는 IT 인프라 구조》, 《그림으로 공부하는 시스템 성능 구조》 등 20여 종이 있다. 블로그를 통해 IT 번역 관련 이야기와 싱가포르 직장 생활을 소개하고 있다.