자연어 처리와 텍스트 마이닝

고속비행오리406 지음

작가와 2024년 11월 20일 출간

작품소개

책소개

현대 사회는 정보의 홍수 속에서 살아가고 있습니다. 이러한 정보의 대부분은 텍스트 형태로 존재하며, 이를 효과적으로 분석하고 활용하는 능력은 매우 중요합니다. 자연어 처리(Natural Language Processing, NLP)와 텍스트 마이닝(Text Mining)은 이러한 텍스트 데이터를 분석하고 이해하는 데 필수적인 기술입니다.
이 책은 자연어 처리와 텍스트 마이닝에 관심 있는 분들뿐만 아니라, 데이터 과학자, 데이터 분석가, 연구원 등에게도 유용한 지식과 도구를 제공할 것입니다. 이 책을 통해 독자들이 텍스트 데이터를 효과적으로 분석하고 활용하는 능력을 키울 수 있기를 바랍니다.

목차

제1장 텍스트 마이닝의 개요
■ 구글 코랩 | 6p
■ 아나콘다 주피터 노트북 | 14p
■ 자연어 처리를 위한 KoNLPy설치 | 16p

제2장 텍스트 전처리
■ 텍스트 토큰화 | 20p
■ 텍스트 정제 | 25p
■ 텍스트 정제 패키지 | 28p

제3장 인코딩
■ 정수 인코딩 | 32p
■ 패딩 | 37p
■ 원-핫 인코딩 | 39p

제4장 형태소 분석
■ 형태소 분석기 설치 | 44p
■ 형태소 분석 및 전처리 방법 | 46p
■ AI 챗봇의 원리 | 51p

제5장 키워드 분석
■ 단어 빈도 시각화 | 53p
■ 워드 클라우드 표현 | 60p
■ 워드 클라우드 분석사례 | 63p

제6장 언어 모델
■ 언어모델 개요 | 65p
■ N-gram 기법 | 68p
■ 통계적 언어 모델 | 71p
■ LLM의 활용 | 73p

제7장 단어 표현 방법
■ BOW | 76p
■ DTM | 82p
■ TF-IDF | 84p

제8장 문장 유사도
■ 유클리디안 거리 | 90p
■ 코사인 유사도 | 94p
■ 자카드 유사도 | 97p

제9장 워드 임베딩
■ 워드 임베딩 개요 | 101p
■ Word2Vec | 105p
■ 워드 임베딩 활용 | 110p

제10장 사전 훈련 워드 임베딩
■ Word2Vec 워드 임베딩 | 112p
■ Doc2Vec 워드 임베딩 | 119p
■ 사전 훈련된 모델 활용 | 126p

제11장 RNN텍스트 분류
■ RNN 개요 | 128p
■ RNN 텍스트 분류기 | 132p
■ 텍스트 전처리 패키지 | 143p

제12장 CNN 텍스트 분류
■ CNN개요 | 146p
■ CNN 스팸 메일 분류기 | 163p

제13장 태깅
■ 태깅 개요 | 166p
■ 품사 태깅 | 169p
■ 개체명 인식 | 176p

제14장 RNN번역기
■ Seq2Seq | 185p
■ RNN 기반 번역기 생성 | 197p

제15장 BERT
■ BERT 개요 | 207p
■ BERT 영화 리뷰 분류 | 210p

제16장 GPT
■ GPT 개요 | 228p
■ KoGPT 문장 생성 | 232p

책 속으로

본 책은 자연어 처리와 텍스트 마이닝의 기본 개념과 이론을 체계적으로 설명하고, 다양한 기법과 도구를 소개합니다. 제1장에서는 텍스트 마이닝의 개요와 주요 도구인 구글 코랩과 아나콘다 주피터 노트북, 그리고 KoNLPy 설치 방법을 다룹니다. 제2장에서는 텍스트 전처리의 중요성과 방법론을 소개하며, 텍스트 토큰화와 정제, 그리고 텍스트 정제 패키지를 활용하는 방법을 설명합니다.

제3장에서는 인코딩 기법을 다루며, 정수 인코딩, 패딩, 원-핫 인코딩 등을 소개합니다. 제4장에서는 형태소 분석의 개념과 형태소 분석기를 설치하고 사용하는 방법을 설명합니다. 제5장에서는 키워드 분석을 통해 단어 빈도를 시각화하고 워드 클라우드를 표현하는 방법을 다룹니다.

제6장에서는 언어 모델의 개요와 N-gram 기법, 통계적 언어 모델을 소개합니다. 제7장에서는 단어 표현 방법인 Bag of Words, Document-Term Matrix, TF-IDF를 설명합니다. 제8장에서는 문장 유사도를 측정하는 방법으로 유클리디안 거리, 코사인 유사도, 자카드 유사도를 소개합니다.

제9장에서는 워드 임베딩의 개념과 Word2Vec을 다루며, 제10장에서는 사전 훈련된 워드 임베딩인 Word2Vec과 Doc2Vec을 소개합니다. 제11장에서는 RNN 텍스트 분류기를 구현하는 방법을 설명하고, 제12장에서는 CNN을 이용한 스팸 메일 분류기를 구현하는 방법을 다룹니다.

제13장에서는 태깅의 개념과 품사 태깅, 개체명 인식을 소개합니다. 제14장에서는 RNN 기반 번역기를 구현하는 방법을 설명하고, 제15장에서는 BERT를 이용한 영화 리뷰 분류기를 구현하는 방법을 다룹니다. 마지막으로 제16장에서는 GPT를 이용한 문장 생성 방법을 소개합니다.

작가정보

저자(글) 고속비행오리406

-작가 주요 경력 -

★ 제조사 근무 경력 17년(SCM, 생산, 품질관리, 인사 등 업무 담당)

★ 직업능력개발훈련교사