김기현의 자연어 처리 딥러닝 캠프: 파이토치 편

딥러닝 기반의 자연어 처리 기초부터 심화까지

김기현 지음

한빛미디어 2019년 08월 06일 출간 종이책 : 2019년 07월 01일 출간

작품소개

책소개

최신 딥러닝 기술을 활용한 자연어 처리
기본기부터 실전 심화까지 한 권으로 끝내기

자연어 처리 기초부터 심화까지 파이토치를 활용하여 짜임새 있게 설명한다. 저자가 현업에서 시스템을 구현하며 얻은 경험과 인사이트를 최대한 담았다. 자칫 지루할 수 있는 수학적 이론을 최소화하고 실전에 꼭 필요한 개념을 정리했다. 최신 딥러닝을 활용한 기술뿐만 아니라, 딥러닝 이전의 전통적인 방식도 차근차근 설명하여 왜 지금의 기술이 필요하고, 어떤 부분이 성능 개선을 이끌어냈는지 쉽게 이해할 수 있다. 딥러닝과 머신러닝 관련 개념과 이론의 기본기를 어느 정도 갖춘 독자라면 자연어 처리를 실무에 적용하는 데 필요한 지식을 이 한 권으로 체계적으로 익힐 수 있다.

목차

0장_ 윈도우 개발 환경 구축
__0.1_ 아나콘다 설치
__0.2_ 파이토치 설치
__0.3_ 깃 설치

1장_ 딥러닝을 활용한 자연어 처리 개요
__1.1_ 자연어 처리란 무엇일까?
__1.2_ 딥러닝 소개
__1.3_ 왜 자연어 처리는 어려울까?
__1.4_ 무엇이 한국어 자연어 처리를 더욱 어렵게 만들까?
__1.5_ 자연어 처리의 최근 추세

2장_ 기초 수학
__2.1_ 확률 변수와 확률 분포
__2.2_ 쉬어가기: 몬티 홀 문제
__2.3_ 기댓값과 샘플링
__2.4_ MLE
__2.5_ 정보 이론
__2.6_ 쉬어가기: MSE 손실 함수와 확률 분포 함수
__2.7_ 마치며

3장_ Hello 파이토치
__3.1_ 딥러닝을 시작하기 전에
__3.2_ 설치 방법
__3.3_ 짧은 튜토리얼

4장_ 전처리
__4.1_ 전처리
__4.2_ 코퍼스 수집
__4.3_ 정제
__4.4_ 문장 단위 분절
__4.5_ 분절
__4.6_ 병렬 코퍼스 정렬
__4.7_ 서브워드 분절
__4.8_ 분절 복원
__4.9_ 토치텍스트

5장_ 유사성과 모호성
__5.1_ 단어의 의미
__5.2_ 원핫 인코딩
__5.3_ 시소러스를 활용한 단어 의미 파악
__5.4_ 특징
__5.5_ 특징 추출하기: TF-IDF
__5.6_ 특징 벡터 만들기
__5.7_ 벡터 유사도 구하기
__5.8_ 단어 중의성 해소
__5.9_ 선택 선호도
__5.10_ 마치며

6장_ 단어 임베딩
__6.1_ 들어가며
__6.2_ 차원 축소
__6.3_ 흔한 오해 1
__6.4_ word2vec
__6.5_ GloVe
__6.6_ word2vec 예제
__6.7_ 마치며

7장_ 시퀀스 모델링
__7.1_ 들어가며
__7.2_ 순환 신경망
__7.3_ LSTM
__7.4_ GRU
__7.5_ 그래디언트 클리핑
__7.6_ 마치며

8장_ 텍스트 분류
__8.1_ 들어가며
__8.2_ 나이브 베이즈 활용하기
__8.3_ 흔한 오해 2
__8.4_ RNN 활용하기
__8.5_ CNN 활용하기
__8.6_ 쉬어가기: 멀티 레이블 분류
__8.7_ 마치며

9장_ 언어 모델링
__9.1_ 들어가며
__9.2_ n-gram
__9.3_ 언어 모델의 평가 방법
__9.4_ SRILM을 활용하여 n-gram 실습하기
__9.5_ NNLM
__9.6_ 언어 모델의 활용
__9.7_ 마치며

10장_ 신경망 기계번역
__10.1_ 기계번역
__10.2_ seq2seq
__10.3_ 어텐션
__10.4_ input feeding
__10.5_ 자기회귀 속성과 Teacher forcing 훈련 방법
__10.6_ 탐색(추론)
__10.7_ 성능 평가
__10.8_ 마치며

11장_ 신경망 기계번역 심화 주제
__11.1_ 다국어 신경망 번역
__11.2_ 단일 언어 코퍼스 활용하기
__11.3_ 트랜스포머
__11.4_ 마치며

12장_ 강화학습을 활용한 자연어 생성
__12.1_ 들어가며
__12.2_ 강화학습 기초
__12.3_ 정책 기반 강화학습
__12.4_ 자연어 생성에 강화학습 적용하기
__12.5_ 강화학습을 활용한 지도학습
__12.6_ 강화학습을 활용한 비지도학습
__12.7_ 마치며

13장_ 듀얼리티 활용
__13.1_ 들어가며
__13.2_ 듀얼리티를 활용한 지도학습
__13.3_ 듀얼리티를 활용한 비지도학습
__13.4_ 쉬어가기: Back-translation 재해석하기
__13.5_ 마치며

14장_ NMT 시스템 구축
__14.1_ 파이프라인
__14.2_ 구글의 NMT
__14.3_ 에든버러 대학교의 NMT
__14.4_ MS의 NMT

15장_ 전이학습
__15.1_ 전이학습이란
__15.2_ 기존의 사전 훈련 방식
__15.3_ ELMo
__15.4_ BERT
__15.5_ OpenAI의 GPT-2
__15.6_ 마치며

8. 관련 도서 (제목 + ISBN)
● 오준석의 안드로이드 생존코딩(코틀린 편) / 9791162241196
● 레트로의 유니티 게임 프로그래밍 에센스 / 9791162241516

출판사 서평

저자의 현장 경험과 인사이트를 녹여낸 본격적인 활용 가이드
이 책은 저자가 현장에서 실제로 시스템을 구축하며 얻은 경험과 그로부터 얻은 인사이트를 꾹꾹 눌러 담은 본격적인 자연어 처리 활용서입니다. 자연어 처리의 배경이 되는 수학적 이론부터 실무와 밀접한 파이토치 예제 코드, 그리고 실전에 꼭 필요한 직관적 개념까지 한데 모아 소개합니다.

이 책의 수학적 내용이나 수식이 어렵게 다가오거나 거부감이 드는 독자라면 일단 수식은 가볍게 읽고 넘어가며 큰 그림을 먼저 이해한다는 느낌으로 완독하시고 이후 다시 처음부터 정독하시길 추천합니다. 딥러닝과 머신러닝 기본기를 어느 정도 갖춘 독자라면 자연어 처리를 실무에 적용하는 데 필요한 지식을 이 한 권으로 체계적으로 익힐 수 있습니다. 기출간 도서에서 다루는 내용이나 인터넷에서 쉽게 접할 수 있는 내용, 머신러닝/딥러닝 입문 수준의 내용, 파이토치 사용법 등은 최소화했습니다. 대신 자연어 처리에 관한 내용을 최대한 많이, 깊이 있게 다루고자 했습니다.

이 책의 전반부에는 먼저 자연어에 대한 이해를 높이고, 단어 임베딩 벡터나 텍스트 분류와 같은 실무에 적용 가능한 내용을 통해 딥러닝을 활용한 자연어 처리 방법을 설명합니다. 후반부에는 언어 모델 및 번역이라는 과제에 대해 다루며, 자연어 생성 방법을 깊이 있게 이야기합니다. 자연어 생성의 근간 알고리즘인 시퀀스 투 시퀀스(seq2seq)뿐만 아니라 어텐션(attention) 기법을 자세히 설명하고, 실전 실무 수준에서 고민해야 하는 깊은 내용을 다룹니다. 나아가 자연어 생성 성능을 더욱 끌어올리기 위한 기법들을 강화학습부터 듀얼리티에 이르기까지 다양하게 활용하여 상세히 설명합니다.

주요 내용
● 딥러닝을 활용한 자연어 처리 개요와 지금까지의 기술 연구 성과
● 자연어 처리 이해에 필요한 확률과 정보 이론 등의 수학적 개념
● 파이토치의 설치 방법과 간단한 튜토리얼 소개
● 정규 표현식을 활용한 노이즈 제거, 단어와 문장 분절, 병렬 코퍼스 생성 등 전처리 설명
● 워드넷 등의 어휘 분류 사전을 자연어 처리에 응용하는 방법
● 단어 의미의 유사성과 모호성에 따른 문제들을 머신러닝을 통해 해결하는 방법
● 차원 축소를 통해 단어의 특징(feature)을 효과적으로 추출하고, 기존의 오픈소스들을 활용해 실습하는 법
● 자연어 처리에 가장 활용도가 높은 순환 신경망(RNN)의 원리와 입출력 방식
● 합성곱 신경망(CNN) 소개와, 이를 통해 텍스트를 분류하는 방법
● 기존의 언어 모델링 방식과 신경망 기반 언어 모델링 방식의 비교
● 기계번역의 개념과, seq2seq 및 어텐션을 활용해 자연어를 생성하는 방법
● 기계번역의 성능을 더욱 끌어올리는 추가적인 주제와 기법 소개
● 강화학습과 폴리시 그래디언트, 듀얼리티, 전이학습에 대한 설명
● 신경망 기반 기계번역(NMT) 시스템 구성 요소와 서비스 제공 사례

작가정보

저자(글) 김기현

지난 10여 년간 자연어 처리 연구 및 서비스 개발에 몸담았으며, 현재 인공지능 스타트업 마키나락스(MakinaRocks)에서 딥러닝 연구 개발 수석을 맡고 있습니다. 주요 관심 연구 분야는 자연어 생성과 비지도학습입니다.
딥러닝 이전부터 머신러닝을 통해 자연어 처리의 실무를 경험하였으며, 기계번역과 음성인식 그리고 추천 시스템 등의 실제 서비스를 코드 레벨부터 직접 설계, 구현하여 상용화한 이력이 다수 있습니다. 이처럼 밑바닥부터 다져온 자연어 처리 핵심 실무 경험과 이론을 포함해, 자연어 처리 기술에 딥러닝을 접목하여 다양한 사례에 적용한 경험과 노하우를 온?오프라인 플랫폼을 통해 다른 이들에게 널리 전달하고 있습니다.
패스트캠퍼스에서 와 <자연어 처리를 위한 딥러닝 CAMP> 강의를 하고 있습니다. 같은 주제로 SK텔레콤과 KT 등의 기업에서도 강의했습니다.