파이썬 텍스트 마이닝 완벽 가이드

자연어 처리 기초부터 딥러닝 기반 BERT와 트랜스포머까지

박상언 , 강주영 지음

위키북스 2023년 07월 20일 출간 종이책 : 2023년 02월 28일 출간

작품소개

책소개

텍스트 마이닝에는 자연어 처리, 통계, 딥러닝 기법에 대해 많은 지식이 필요하지만, 이론적인 내용에 얽매이다 보면 정작 구현은 너무 먼 이야기가 되어 버리기 쉽다.

이 책에서는 실무에 바로 적용할 수 있는 실전적인 예제를 중심으로 텍스트 마이닝을 설명한다. 특히 초보자를 위해 텍스트 전처리 과정의 개념과 다양하고 상세한 활용방법을 기초부터 설명한다. 문서 분류와 감성 분석 같은 텍스트 마이닝 작업을 대상으로 다양한 머신러닝 기법을 사용하는 예를 보여주며, 차원을 축소하고 결과를 시각화하는 방법, 토픽 모델링을 수행하고 토픽 트렌드를 구해서 시각화하는 방법을 설명한다.

기본적인 딥러닝 기법을 이용한 문서 분류 외에, 최근 많이 사용되는 BERT를 이용한 미세조정학습까지 포함한다. 또, 사전학습 언어모델에 대한 관심이 높아짐에 따라, 사전학습 언어모델의 이론적 내용과 다양한 트랜스포머 변형 모형을 설명한다. 그리고 트랜스포머 모형을 활용한 문서 요약, 질의 응답의 실습과 미세조정학습을 추가했다. 더불어 한국어 문서 분석에 자신을 갖도록 대부분의 장에 관련 예제를 충분히 다뤘다.

목차

[1부] 텍스트 마이닝 기초

▣ 01장: 텍스트 마이닝 기초
1.1 텍스트 마이닝의 정의
1.2 텍스트 마이닝 패러다임의 변화
___1.2.1 카운트 기반의 문서 표현
___1.2.2 시퀀스 기반의 문서 표현
1.3 텍스트 마이닝에 필요한 지식과 도구
___1.3.1 자연어 처리 기법
___1.3.2 통계학과 선형대수
___1.3.3 시각화 기법
___1.3.4 머신러닝
___1.3.5 딥러닝
1.4 텍스트 마이닝의 주요 적용분야
___1.4.1 문서 분류
___1.4.2 문서 생성
___1.4.3 문서 요약
___1.4.4 질의응답
___1.4.5 기계번역
___1.4.6 토픽 모델링
1.5 이 책의 실습 환경과 사용 소프트웨어
___1.5.1 기본 실습 환경
___1.5.2 자연어 처리 관련 라이브러리
___1.5.3 머신러닝 관련 라이브러리
___1.5.4 딥러닝 관련 라이브러리

▣ 02장: 텍스트 전처리
2.1 텍스트 전처리의 개념
___2.1.1 왜 전처리가 필요한가?
___2.1.2 전처리의 단계
___2.1.3 실습 구성
2.2 토큰화
___2.2.1 문장 토큰화
___2.2.2 단어 토큰화
___2.2.3 정규표현식을 이용한 토큰화
___2.2.4 노이즈와 불용어 제거
2.3 정규화
___2.3.1 어간 추출
___2.3.2 표제어 추출
2.4 품사 태깅
___2.4.1 품사의 이해
___2.4.2 NLTK를 활용한 품사 태깅
___2.4.3 한글 형태소 분석과 품사 태깅
___2.4.4 참고자료

▣ 03장: 그래프와 워드 클라우드
3.1 단어 빈도 그래프 - 많이 쓰인 단어는?
3.2 워드 클라우드로 내용을 한눈에 보기
3.3 한국어 문서에 대한 그래프와 워드 클라우드

[2부] BOW 기반의 텍스트 마이닝

▣ 04장: 카운트 기반의 문서 표현
4.1 카운트 기반 문서 표현의 개념
4.2 BOW 기반의 카운트 벡터 생성
4.3 사이킷런으로 카운트 벡터 생성
4.4 한국어 텍스트의 카운트 벡터 변환
___4.4.1 데이터 다운로드
4.5 카운트 벡터의 활용
4.6 TF-IDF로 성능을 높여보자

▣ 05장: BOW 기반의 문서 분류
5.1 20 뉴스그룹 데이터 준비 및 특성 추출
___5.1.1 데이터셋 확인 및 분리
___5.1.2 카운트 기반 특성 추출
5.2 머신러닝과 문서 분류 과정에 대한 이해
5.3 나이브 베이즈 분류기를 이용한 문서 분류
5.4 로지스틱 회귀분석을 이용한 문서 분류
___5.4.1 릿지 회귀를 이용한 과적합 방지
___5.4.2 라쏘 회귀를 이용한 특성 선택
5.5 결정트리 등을 이용한 기타 문서 분류 방법
5.6 성능을 높이는 방법
5.7 카운트 기반의 문제점과 N-gram을 이용한 보완
___5.7.1 통계로는 알 수 없는 문맥 정보
___5.7.2 N-gram의 이해
___5.7.3 N-gram을 이용한 문서 분류
5.8 한국어 문서의 분류
___5.8.1 다음 영화 리뷰에 대한 영화 제목 예측
___5.8.2 성능을 개선하기 위한 노력

▣ 06장: 차원 축소
6.1 차원의 저주와 차원 축소의 이유
6.2 PCA를 이용한 차원 축소
6.3 LSA를 이용한 차원 축소와 의미 파악
___6.3.1 LSA를 이용한 차원 축소와 성능
___6.3.2 LSA를 이용한 의미 기반의 문서 간 유사도 계산
___6.3.3 잠재된 토픽의 분석
___6.3.4 단어 간 의미 유사도 분석
6.4 tSNE를 이용한 시각화와 차원축소의 효과

▣ 07장: 토픽 모델링으로 주제 찾기
7.1 토픽 모델링과 LDA의 이해
___7.1.1 토픽 모델링이란?
___7.1.2 LDA 모형의 구조
___7.1.3 모형의 평가와 적절한 토픽 수의 결정
7.2 사이킷런을 이용한 토픽 모델링
___7.2.1 데이터 준비
___7.2.2 LDA 토픽 모델링 실행
___7.2.3 최적의 토픽 수 선택하기
7.3 Gensim을 이용한 토픽 모델링
___7.3.1 Gensim 사용법과 시각화
___7.3.2 혼란도와 토픽 응집도를 이용한 최적값 선택
7.4 토픽 트렌드로 시간에 따른 주제의 변화 알아내기
7.5 동적 토픽 모델링

▣ 08장: 감성 분석
8.1 감성분석의 이해
___8.1.1 어휘 기반의 감성 분석
___8.1.2 머신러닝 기반의 감성 분석
8.2 감성 사전을 이용한 영화 리뷰 감성 분석
___8.2.1 NLTK 영화 리뷰 데이터 준비
___8.2.2 TextBlob을 이용한 감성 분석
___8.2.3 AFINN을 이용한 감성 분석
___8.2.4 VADER를 이용한 감성 분석
8.3 학습을 통한 머신러닝 기반의 감성 분석
___8.3.1 NLTK 영화 리뷰에 대한 머신러닝 기반 감성 분석
___8.3.2 다음 영화 리뷰에 대한 머신러닝 기반 감성 분석
8.4 참고문헌

▣ 09장: 인공신경망과 딥러닝의 이해
9.1 인공신경망의 이해
___9.1.1 인공신경망의 구조와 구성요소
___9.1.2 인공신경망에서의 학습
___9.1.3 손실 함수의 이해
___9.1.4 경사하강법
9.2 딥러닝의 이해
___9.2.1 딥러닝이란?
___9.2.2 층이 깊은 신경망의 문제점
___9.2.3 딥러닝에서의 해결방안
___9.2.4 다양한 딥러닝 알고리즘
___9.2.5 딥러닝 개발 및 활용환경

[3부] 텍스트 마이닝을 위한 딥러닝 기법

▣ 10장: RNN - 딥러닝을 이용한 문서 분류
10.1 왜 RNN일까?
___10.1.1 RNN의 이해
___10.1.2 RNN이 문서 분류에 적합한 이유
___10.1.3 RNN의 문서 분류 적용방안
10.2 워드 임베딩의 이해
___10.2.1 워드 임베딩이란?
___10.2.2 BOW와 문서 임베딩
___10.2.3 워드 임베딩과 딥러닝
10.3 RNN을 이용한 문서 분류 - NLTK 영화 리뷰 감성분석
___10.3.1 워드 임베딩을 위한 데이터 준비
___10.3.2 RNN이 아닌 일반적인 신경망 모형을 이용한 분류
___10.3.3 문서의 순서정보를 활용하는 RNN 기반 문서분류
10.4 LSTM, Bi-LSTM과 GRU를 이용한 성능 개선

▣ 11장: Word2Vec, ELMo, Doc2Vec의 이해
11.1 Word2Vec - 대표적인 워드 임베딩 기법
___11.1.1 Word2Vec 학습의 원리
___11.1.2 Word2Vec 활용 - 학습된 모형 가져오기
___11.1.3 FastText - 워드 임베딩에 N-gram 적용
11.2 ELMo - 문맥에 따른 단어 의미의 구분
___11.2.1 Word2Vec의 문제점
___11.2.2 ELMo의 구조
11.3 Doc2Vec - 문맥을 고려한 문서 임베딩

▣ 12장: CNN - 이미지 분류를 응용한 문서 분류
12.1 CNN의 등장과 작동 원리
12.2 CNN을 이용한 문서 분류
__12.2.1 CNN을 이용한 문서 분류의 원리
__12.2.2 CNN을 이용한 NLTK 영화 리뷰 분류

▣ 13장: 어텐션(Attention)과 트랜스포머
13.1 Seq2seq: 번역에서 시작한 딥러닝 기법
13.2 어텐션을 이용한 성능의 향상
13.3 셀프 어텐션(Self-attention)과 트랜스포머
___13.3.1 셀프 어텐션의 이해
___13.3.2 트랜스포머의 구조
___13.3.3 인코더의 셀프 어텐션 원리
___13.3.4 디코더의 작동 원리

▣ 14장: BERT의 이해와 간단한 활용
14.1 왜 언어 모델이 중요한가?
14.2 사전학습 언어모델의 이론적 이해
14.3 BERT의 구조
14.4 언어모델을 이용한 사전학습과 미세조정학습
14.5 사전학습된 BERT 모형의 직접 사용방법
14.6 자동 클래스를 이용한 토크나이저와 모형의 사용

▣ 15장: BERT 사전학습 모형에 대한 미세조정학습
15.1 BERT 학습을 위한 전처리
15.2 트랜스포머의 트레이너를 이용한 미세조정학습
15.3 파이토치를 이용한 미세조정학습

▣ 16장: 한국어 문서에 대한 BERT 활용
16.1 다중 언어 BERT 사전학습 모형의 미세조정학습
16.2 KoBERT 사전학습 모형에 대한 파이토치 미세조정학습

▣ 17장: 트랜스포머 변형 모형의 현황
17.1 트랜스포머 변형 모형의 다양한 토크나이저
__17.1.1 BPE(Byte-Pair Encoding) 토크나이저
__17.1.2 워드피스(WordPiece) 토크나이저
__17.1.3 센텐스피스(SentencePiece) 유니그램 토크나이저
__17.2 GPT 기반 트랜스포머 변형 모형
__17.2.1 GPT-2
__17.2.2 GPT-3
__17.2.3 ChatGPT
17.3 BERT 기반 트랜스포머 변형 모형
__17.3.1 RoBERTa(Robustly Optimized BERT Pretraining Approach)
__17.3.2 ALBERT(A Lite BERT)
__17.3.3 ELECTRA(Efficiently Learning an Encoder that Classifies Token Replacements Accurately)
17.4 인코더와 디코더를 모두 사용하는 트랜스포머 변형 모형
__17.4.1 BART (Bidirectional and Auto-Regressive Transformers)
__17.4.2 T5 (Text-to-Text Transfer Transformer)
17.5 국내 트랜스포머 변형 모형 현황

▣ 18장: 트랜스포머 모형을 이용한 문서 요약
18.1 문서 요약의 이해
__18.1.1 문서 요약 성능 지표: ROUGE
__18.1.2 문서 요약 데이터셋과 트랜스포머 변형 모형
18.2 파이프라인을 이용한 문서 요약
18.3 T5 모형과 자동 클래스를 이용한 문서 요약
18.4 T5 모형과 트레이너를 이용한 미세조정학습
18.5 한글 문서 요약

▣ 19장: 트랜스포머 모형을 이용한 질의 응답
19.1 질의 응답 시스템의 이해
19.2 파이프라인을 이용한 질의 응답
19.3 자동 클래스를 이용한 질의 응답
19.4 트레이너를 이용한 질의 응답 미세조정학습
19.5 한글 질의 응답

출판사 서평

★ 이 책에서 다루는 내용 ★

◎ 토큰화, 어간 추출, 표제어 추출, 불용어 처리, 품사 태깅과 같은 텍스트 전처리 기법
◎ 단어 빈도 그래프, 워드 클라우드 그리기
◎ 카운트 벡터, TF-IDF 벡터로 문서를 변환하고, 문서 간 유사도 구하기
◎ 다양한 머신러닝/딥러닝 기법으로 문서 분류와 감성 분석 수행
◎ KoNLPy를 이용해 한국어 문서를 변환하고 다양한 머신러닝 알고리즘으로 분석
◎ 문서 벡터의 차원 축소, LDA 토픽모델링, 동적 토픽 모델링, 토픽 트렌드를 구하고 시각화
◎ Word2Vec, ELMo와 같은 워드 임베딩 기법과 Doc2Vec의 이해
◎ BERT의 이해와 활용, 파이토치를 이용한 미세조정 학습의 실습, 한국어 문서에 대한 BERT 사용법 실습
◎ 사전 학습 언어모델과 GPT-2, GPT-3, chatGPT, RoBERTa, ALBERT, ELECTRA, BART, T5 등 다양한 트랜스포머 변형 모형의 이해
◎ T5, KoBART, DistilBERT, KoELECTRA 등의 트랜스포머 모형을 이용한 문서 요약과 질의 응답 실습

작가정보

저자(글) 박상언

2007년 3월부터 경기대학교 경영정보전공 교수로 재직하고 있으며, 주요 관심분야는 텍스트마이닝, 머신러닝, 딥러닝 등이다. KAIST에서 전산학 학사, 경영공학 석사와 박사학위를 취득했다. 현재 행정안전부 위원을 맡고 있다.

저자(글) 강주영

2005년 9월부터 아주대학교 e-비즈니스학과 교수로 재직하고 있으며, 주요 관심분야는 빅데이터, 텍스트 마이닝, 지능정보시스템, 블록체인 등이다. 포항공대에서 컴퓨터공학 학사, 서울대에서 컴퓨터공학 석사, KAIST에서 경영공학 박사학위를 취득했다. 현재 아주대 경영빅데이터센터장, 한국빅데이터학회지 편집위원장, 한국지능정보학회 부회장을 역임하며, 빅데이터 및 텍스트마이닝 분야 관련 프로젝트, 자문 및 연구를 수행한다.