구글 BERT의 정석

인공지능, 자연어 처리를 위한 BERT의 모든 것

수다르산 라비찬디란 지음 | 전희원 옮김

한빛미디어 2021년 11월 09일 출간 종이책 : 2021년 11월 03일 출간

작품소개

책소개

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다. 다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

목차

[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문
1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료

CHAPTER 2 BERT 이해하기
2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료

CHAPTER 3 BERT 활용하기
3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료

[PART II BERT 파생 모델]

CHAPTER 4 B ERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT
4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반
5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료

[PART III BERT 적용하기]

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색
6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료

CHAPTER 7 다른 언어에 BERT 적용하기
7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기
8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERT
8.5 마치며
8.6 연습 문제
8.7 보충 자료

CHAPTER 9 VideoBERT, BART
9.1 VideoBERT로 언어 및 비디오 표현 학습
9.2 BART 이해하기
9.3 BERT 라이브러리 탐색
9.4 마치며
9.5 연습 문제
9.6 보충 자료

CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART
10.1 KoBERT
10.2 KoGPT2
10.3 KoBART

출판사 서평

인간의 인지 능력을 능가하는 구글 AI 모델, BERT

자연어 처리에서 가장 화두가 되는 BERT는 2019년 11월에 구글이 공개한 AI 언어 모델입니다. 일부 성능 평가에서 인간을 능가하며 자연어 처리 발전에 큰 영향을 끼쳤습니다. 많은 사람이 자연어 처리 분야만큼은 AI를 적용하는 건 쉽지 않다고 생각했습니다. 하지만 BERT의 등장으로 그 가능성을 입증했으며, 자연어 처리 기술의 폭발적인 발전을 이루어냈습니다. 언어를 활용한 서비스를 개발하는 기관에서는 이미 BERT를 사용하고 있습니다. 문장 내 어절을 한 글자씩 나눈 다음 앞뒤로 자주 만나는 글자를 한 단어로 인식하는 방식으로 언어 처리 11개 분야에서 많은 성능 향상을 이뤄 주목을 받고 있습니다.

이 책에서는 자연어 처리에서 핵심 트렌드로 자리 잡은 BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개합니다. 전반부에서는 BERT의 전체 과정을 이해하는 데 기본이 되는 BERT와 트랜스포머를 다룹니다. 이어서 트랜스포머의 인코더와 디코더가 어떻게 작동하는지도 배우게 됩니다. 후반부에서는 BERT 외에 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT 등 다양한 BERT의 파생 모델을 소개합니다. 마지막으로 역자가 한국어의 불규칙한 언어 특성을 극복한 한국어 모델인 KoBERT, KoGPT2, KoBART에 대한 내용을 추가했습니다.

이 책 한 권이면 복잡한 BERT 개념을 완벽하게 이해하고 적은 양의 데이터로 인공지능을 구현할 수 있게 됩니다. 자연어 처리 업무를 단순하게 만들고 싶거나 인공지능, 딥러닝의 최신 트렌드가 무엇인지 궁금한 모든 이에게 훌륭한 안내서가 되어줄 것입니다.
주요 내용
● 트랜스포머 모델
● BERT의 작동 원리
● 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
● BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
● 다운스트림 태스크를 위한 BERT 파인 튜닝
● ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
● 지식 증류 기반 BERT 모델
● XLM 및 XLM-R 언어 모델
● sentence-BERT. VideoBERT, BART 모델
● KoBERT, KoGPT2, KoBART 모델

작가정보

저자(글) 수다르산 라비찬디란

저자 : 수다르산 라비찬디란
Sudharsan Ravichandiran
데이터 과학자이자 연구원이자 저명한 저술가. 안나 대학교에서 정보 기술 학사 학위를 취득했다.
연구 분야는 자연어 처리 및 컴퓨터 비전, 딥러닝 및 강화학습의 실제 구현에 중점을 두고 있다. 오픈 소스 기여자이며 스택 오버플로 질문에 답하는 것을 좋아한다. 또한 베스트셀러 『Hands-On Reinforcement Learning with Python』(Manning, 2018)을 집필했다.

역자 : 전희원
NLP 리서치 엔지니어. 컴퓨터 공학 박사과정을 수료했다. 최초의 한국어 오픈 소스 언어 모델
KoBERT, KoGPT2, KoBART를 개발하고 깃허브에 공개했다. 대용량 언어 모델 학습과 이를 기
반으로 한 다양한 주제에 관심이 많다. AWS ML Hero, DMLC 회원이며 기술의 민주화를 위한
오픈 소스 개발 프로젝트에 관심이 많다. 유명 오픈 소스로는 PyKoSpacing, KoNLP 등이 있다.

역자 : 정승환
NLP 리서치 엔지니어. 산업공학 석사과정을 졸업했다. 데이터 과학자로 활동하면서 제조, 유통, 통신 등 다양한 도메인에 대한 데이터 분석 및 ML 모델 개발 업무를 수행했다. 이후 딥러닝에 관심을두고 AutoML 솔루션을 개발해 사내 시스템에 적용했다. 최근에는 한국어 KoBERT, KoBART를 활용한 챗봇 개발 과제에 참여했다. 또한 언어 모델을 활용한 문서 요약 과제에 관심을 두고 언어 모델을 활용한 의미 있는 기술과 제품을 개발하는 데 노력하고 있다.

역자 : 김형준
NLP 리서치 엔지니어. 인지과학 석사과정을 졸업했다. 커리어 초창기 머신러닝 분석 솔루션을 개발해 자동차, 금융권 등 열 군데 이상의 대기업에 성공적으로 적용했다. 이후 자연어 처리에
관심이 많아 한국어 KoGPT와 KoBART 등의 딥러닝을 활용한 챗봇 개발과 텍스트 요약 과제를
수행했다. 세계적인 DSTC8(The 8th Dialog System Technology Challenge) 대회에서 2위를 했다. 한국어 RoBERTa를 개발하고 오픈 소스 언어 모델 사전 학습 플랫폼(https://github.com/lassl/lassl)에 공개했다.

번역 전희원