본문 바로가기

추천 검색어

실시간 인기 검색어

안녕, 트랜스포머

이진기 지음
에이콘출판

2022년 10월 11일 출간

종이책 : 2022년 07월 29일 출간

(개의 리뷰)
( 0% 의 구매자)
eBook 상품 정보
파일 정보 pdf (7.95MB)
ISBN 9791161756851
듣기(TTS) 불가능
TTS 란?
텍스트를 음성으로 읽어주는 기술입니다.
  • 전자책의 편집 상태에 따라 본문의 흐름과 다르게 텍스트를​ 읽을 수 있습니다.
  • 전자책 화면에 표기된 주석 등을 모두 읽어 줍니다.
  • 이미지 형태로 제작된 전자책 (예 : ZIP 파일)은 TTS 기능을 지원하지 않습니다.
  • '교보 ebook' 앱을 최신 버전으로 설치해야 이용 가능합니다. (Android v3.0.26, iOS v3.0.09,PC v1.2 버전 이상)
  • sam 무제한 이용불가
  • sam 프리미엄 이용가능

이 상품은 배송되지 않는 디지털 상품이며,
교보eBook앱이나 웹뷰어에서 바로 이용가능합니다.

작품소개

이 상품이 속한 분야

자연어 처리를 위한 AI 모델의 핵심 기술과 활용법에 대해서 다룬다. N-gram으로 접근하는 전통적인 모델 방식의 한계를 설명하고, AI 모델이 그 문제를 어떻게 해결할 수 있는지 설명한다. 어텐션 네트워크의 배경과 핵심 원리를 자세하게 설명하고 있고, 이 구조를 통해서 트랜스포머나 BERT 등의 구조를 설명한다. 또한 자연어 처리에 있어서 메타학습 방법도 간략하게 소개한다.
1장 다음 단어는요? 언어 모델
__1.1. 언어 모델은 확률 게임
__1.2. N-gram 언어 모델
____1.2.1. 텍스트 전처리
____1.2.2. 제로 카운트 해결하기
____1.2.3. N-gram 모델 학습하기
____1.2.4. N-gram 언어 모델의 한계
__1.3. Word2Vec 기반의 언어 모델
__1.4. RNN 기반의 언어 모델
__1.4.1. RNN의 구조
__1.4.2. GRU 언어 모델 구현하기
__1.4.3. GRU 언어 모델로 문장 생성하기

2장 집중해 보자! 어텐션
__2.1. 하나의 벡터로 모든 정보를 담는 RNN
__2.2. 왜 어텐션(Attention)하지 않지?
__2.3. 어떻게 어텐션(Attention)하지?
____2.3.1. 묻고 참고하고 답하기
____2.3.2. 어텐션 계산해 보기
____2.3.3. 어텐션 구현하기
____2.3.4 모델링 학습하기

3장 안녕, 트랜스포머
__3.1. 트랜스포머의 구조
__3.2. 트랜스포머 구현하기
____3.2.1. 인코더
__3.3. Why Transformer
__3.4. 트랜스포머 학습 결과
____3.4.1. Perplexity(PPL)
____3.4.2. BLEU 스코어

4장 중간부터 학습하자! 사전학습과 파인튜닝
__4.1. 사전학습과 Fine-Tuning
__4.2. BERT
____4.2.1. BERT의 모델 구조와 이해하기
____4.2.2. BERT 모델의 입력 이해하기
____4.2.3. 사전학습 이해하기
____4.2.4. Masked Language Model(MLM)
____4.2.5. Next Sentence Prediction(NSP)
____4.2.6. 사전학습을 위한 데이터셋 준비와 Self-supervised Learning
____4.2.7. 사전학습 파헤치기
____4.2.8. 사전학습 정리하기
____4.2.9. Fine-Tuning 이해하기
____4.2.10. 텍스트 분류 모델로 파인튜닝하기
____4.2.11. 질의응답 모델로 파인튜닝하기
__4.3. GPT
____4.3.1. GPT의 사전학습
____4.3.2. Masked Self-Attention
__4.4. RoBERTa
____4.4.1. 정적 또는 동적 마스킹 전략
____4.4.2. NSP 전략
____4.4.3. 배치 사이즈와 데이터셋 크기
__4.5. ALBERT
____4.5.1. Factorized Embedding Parameterization
____4.5.2. Cross-layer Parameter Sharing
____4.5.3. Sentence Order Prediction(SOP)
____4.5.4. ALBERT 정리
__4.6. ELECTRA
____4.6.1. 학습 구조
____4.6.2. RTD
__4.7. DistilBERT
____4.7.1. 지식 증류
____4.7.2. DistilBERT의 구조와 성능 비교
__4.8. BigBird
____4.8.1. 전체 문장에 대한 어텐션, 글로벌 어텐션
____4.8.2. 가까운 단어에만 집중하기, 로컬 어텐션
____4.8.3. 임의의 토큰에 대한 어텐션, 랜덤 어텐션
____4.8.4. 토큰 길이에 따른 연산량 비교
__4.9. 리포머
____4.9.1. 트랜스포머 구조의 문제점
____4.9.2. LSH 어텐션
____4.9.3. Reversible 트랜스포머
__4.10. GLUE 데이터셋
____4.10.1. CoLA
____4.10.2. SST-2 데이터셋
____4.10.3. MRPC
____4.10.4. QQP
____4.10.5. STS-B
____4.10.6. MNLI
____4.10.7. QNLI
____4.10.8. RTE
____4.10.9. WNLI
____4.10.10. GLUE 데이터셋의 평가 지표

5장 어떻게 배우지? 메타러닝
__5.1. 학습을 위한 학습, 메타러닝
__5.2. 메타러닝을 이용한 Amazon 리뷰 감정 분류 학습하기
____5.2.1. 데이터셋과 데이터로더 만들기
__5.3. GPT2에서의 메타러닝
____5.3.1. GPT2를 학습하기 위한 접근 방법
____5.3.2. GPT2의 학습 데이터셋과 멀티태스크
____5.3.3. GPT2 성능 평가 결과
____5.3.4. GP2를 통한 문장 생성
____5.3.5. GPT2를 이용한 퓨샷 러닝

부록. 양자화
__1.1. 양자화에 대한 수학적인 이해와 코드 구현
__1.2. 양자화된 행렬을 이용한 행렬 곱셈과 덧셈
__1.3. 동적 양자화와 정적 양자화
__1.4. BERT 양자화하기

◈ 이 책에서 다루는 내용 ◈

◆ N-gram을 이용한 자연어 처리 기법
◆ 자연어 처리를 위한 RNN 기반의 AI 모델 구조 및 장단점
◆ 어텐션 네트워크의 탄생 배경과 핵심 원리
◆ 어텐션 네트워크를 활용한 트랜스포머의 구조
◆ BERT의 구조 및 사전학습/파인튜닝 방법
◆ BERT 이후의 AI 모델들
◆ 자연어 처리에 대한 메타러닝 방법

◈ 이 책의 대상 독자 ◈

어느 정도 파이썬 코드를 읽고 구현할 수 있으며 머신러닝에 대한 기초 역량이 있는 독자를 대상으로 저술했다. 파이썬을 접해본 적 없거나 머신러닝에 입문하는 독자가 공부하기에 어려울 수 있다.

◈ 이 책의 구성 ◈

1장에서는 언어 모델에 관한 내용을 다뤘다. 언어 모델이 무엇인지 확률적으로 정의한 후, N-gram 기법을 이용해서 언어 모델을 설명하고 그 과정을 코드를 통해 구현했다. 또한 N-gram 이후에 오랫동안 사용됐던 인공지능 모델인 RNN 계열의 인공지능 모델도 설명했다. RNN 계열의 언어 모델도 간단하게 학습해볼 수 있도록 샘플 코드를 구현했다.
2장에서는 어텐션에 대해서 자세하게 다뤘다. 어텐션은 트랜스포머의 핵심을 이루는 연산이다. 어텐션 연산을 RNN 계열에 추가했을 때 어떠한 장점이 있는지 설명했\하고 관련된 샘플 코드도 공부해볼 수 있도록 구현했다.
3장부터 본격적으로 트랜스포머의 구조를 다뤘다. 2장에서 다룬 어텐션을 기반으로 트랜스포머를 어떻게 구현했는지 구조적으로 설명했다.
4장에서는 BERT 모델에 대해서 설명했다. BERT를 사전 학습하는 방법에 대해서 소개했고, 사전학습된 모델을 파인튜닝하는 방법에 대해서도 소개하며 또한 BERT 이후에 발표된 개선된 모델도 몇 가지 소개했다.
5장에서는 GPT 계열의 모델을 설명했다. GPT2에서부터는 메타러닝의 개념이 추가된다. 자연어 처리에서 메타러닝이 왜 필요하고 어떤 방법으로 학습되는지 소개했다. 다만 GPT2/GPT3의 정확한 학습 방법은 공개되지 않았기 때문에 학습 과정은 코드로 구현하지 못했다.
마지막으로 부록에서는 딥러닝 모델의 양자화에 대해서 살펴본다. 딥러닝 모델의 성능이 비약적으로 발전했지만 그와 동시에 모델의 연산량과 파라미터 수도 굉장히 많아졌다. 큰 모델을 간단하게 경량화할 수 있는 방법으로 양자화가 있다. 부록에서는 양자화의 기본 원리에 대해서 다루고 4장에서 살펴본 BERT를 파인 튜닝해서 학습한 분류 모델을 경량화하는 내용을 다룬다.

작가정보

저자(글) 이진기

안랩의 보안 관제 엔지니어로 IT 업계에 발을 들였다. 그러던 중 2015년에 데이터 분석을 공부하기 위해 영국의 워릭대학교(The University of Warwick)로 석사 유학을 떠났다. 석사 취득 후에는 안랩에서 보안 관제를 위한 머신러닝/AI 서비스를 연구하고 개발했다. 현재는 포스코ICT의 AI기술그룹에서 컴퓨터 비전 프로젝트를 연구하고 있다.

작가의 말

2015년 전까지도 AI라는 용어는 IT 전문직에 종사하는 소수만이 알고 있는 전문 용어였습니다. 사람들은 이세돌 9단을 이긴 알파고의 바둑 실력에 놀라움을 감추지 못했고 실제 기자가 쓴 기사와 비슷한 수준의 가짜 기사문을 보고 기계가 정말 사람과 같이 말하고 생각할 수 있다는 것을 알게 됐습니다. 그로부터 7년이 지난 지금 AI는 누구나 상식으로 알고 있는 용어가 됐고, AI는 더욱 발전해서 특정 영역에서는 이미 사람을 뛰어넘는 성능을 보이고 있습니다. 2015년부터 2022년 현재까지 수많은 글로벌 대기업과 해외 유명대학에서 AI에 대해 수많은 연구가 이뤄졌습니다. 그 연구의 성과는 여러 가지가 있겠지만, 제가 가장 높이 평가하는 것은 AI 기술에 대한 접근성이 대중에게 조금 더 가까워졌다는 것입니다. 모델을 개발할 때 사용하는 플랫폼도 사용하기 쉽게 바뀌었고, 모델을 학습할 때 사용하는 데이터 역시 여러 기관에서 오픈 데이터 형태로 다운로드할 수 있게 됐습니다. 또한 AI 기술에 대한 블로그나 영상도 많아서 혼자 AI 공부를 시작하는 것도 훨씬 수월해졌습니다.
이 책을 통해서 AI가 예전처럼 그렇게 진입장벽이 높은 학문이 아니라는 것을 알려주고 싶습니다. 수많은 대기업과 연구 기관에서 핵심 알고리즘을 오픈소스로 공개했고, 그 알고리즘으로 학습한 모델을 다운로드해서 사용할 수 있도록 공개했습니다. AI 기술, 특히 자연어 처리를 위한 AI를 공부하고자 하는 사람들에게 이 책이 디딤돌 역할을 할 수 있었으면 좋겠습니다.

이 상품의 총서

Klover리뷰 (0)

Klover리뷰 안내
Klover(Kyobo-lover)는 교보를 애용해 주시는 고객님들이 남겨주신 평점과 감상을 바탕으로, 다양한 정보를 전달하는 교보문고의 리뷰 서비스입니다.
1. 리워드 안내
구매 후 90일 이내에 평점 작성 시 e교환권 100원을 적립해 드립니다.
  • - e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • - 리워드는 1,000원 이상 eBook, 오디오북, 동영상에 한해 다운로드 완료 후 리뷰 작성 시 익일 제공됩니다.
  • - 리워드는 한 상품에 최초 1회만 제공됩니다.
  • - sam 이용권 구매 상품 / 선물받은 eBook은 리워드 대상에서 제외됩니다.
2. 운영 원칙 안내
Klover리뷰를 통한 리뷰를 작성해 주셔서 감사합니다. 자유로운 의사 표현의 공간인 만큼 타인에 대한 배려를 부탁합니다. 일부 타인의 권리를 침해하거나 불편을 끼치는 것을 방지하기 위해 아래에 해당하는 Klover 리뷰는 별도의 통보 없이 삭제될 수 있습니다.
  • 도서나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 리뷰
  • 도서와 무관한 내용의 리뷰
  • 인신공격이나 욕설, 비속어, 혐오 발언이 개재된 리뷰
  • 의성어나 의태어 등 내용의 의미가 없는 리뷰

구매 후 리뷰 작성 시, e교환권 100원 적립

문장수집

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여 주는 교보문고의 새로운 서비스 입니다. 교보eBook 앱에서 도서 열람 후 문장 하이라이트 하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 ‘좋아요’ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보없이 삭제될 수 있습니다.
리워드 안내
  • 구매 후 90일 이내에 문장 수집 등록 시 e교환권 100원을 적립해 드립니다.
  • e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • 리워드는 1,000원 이상 eBook에 한해 다운로드 완료 후 문장수집 등록 시 제공됩니다.
  • 리워드는 한 상품에 최초 1회만 제공됩니다.
  • sam 이용권 구매 상품/오디오북·동영상 상품/주문취소/환불 시 리워드 대상에서 제외됩니다.

구매 후 문장수집 작성 시, e교환권 100원 적립

    교보eBook 첫 방문을 환영 합니다!

    신규가입 혜택 지급이 완료 되었습니다.

    바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
    지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!

    교보e캐시 1,000원
    TOP
    신간 알림 안내
    안녕, 트랜스포머 웹툰 신간 알림이 신청되었습니다.
    신간 알림 안내
    안녕, 트랜스포머 웹툰 신간 알림이 취소되었습니다.
    리뷰작성
    • 구매 후 90일 이내 작성 시, e교환권 100원 (최초1회)
    • 리워드 제외 상품 : 마이 > 라이브러리 > Klover리뷰 > 리워드 안내 참고
    감성 태그

    가장 와 닿는 하나의 키워드를 선택해주세요.

    사진 첨부(선택) 0 / 5

    총 5MB 이하로 jpg,jpeg,png 파일만 업로드 가능합니다.

    신고/차단

    신고 사유를 선택해주세요.
    신고 내용은 이용약관 및 정책에 의해 처리됩니다.

    허위 신고일 경우, 신고자의 서비스 활동이 제한될 수
    있으니 유의하시어 신중하게 신고해주세요.


    이 글을 작성한 작성자의 모든 글은 블라인드 처리 됩니다.

    문장수집 작성

    구매 후 90일 이내 작성 시, e교환권 100원 적립

    eBook 문장수집은 웹에서 직접 타이핑 가능하나, 모바일 앱에서 도서를 열람하여 문장을 드래그하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다.

    P.
    안녕, 트랜스포머
    저자 모두보기
    저자(글)
    낭독자 모두보기
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 프리미엄 이용권입니다.
    선물하실 sam이용권을 선택하세요.
    결제완료
    e캐시 원 결제 계속 하시겠습니까?
    교보 e캐시 간편 결제
    sam 열람권 선물하기
    • 보유 권수 / 선물할 권수
      0권 / 1
    • 받는사람 이름
      받는사람 휴대전화
    • 구매한 이용권의 대한 잔여권수를 선물할 수 있습니다.
    • 열람권은 1인당 1권씩 선물 가능합니다.
    • 선물한 열람권이 ‘미등록’ 상태일 경우에만 ‘열람권 선물내역’화면에서 선물취소 가능합니다.
    • 선물한 열람권의 등록유효기간은 14일 입니다.
      (상대방이 기한내에 등록하지 않을 경우 소멸됩니다.)
    • 무제한 이용권일 경우 열람권 선물이 불가합니다.
    이 상품의 총서 전체보기
    네이버 책을 통해서 교보eBook 첫 구매 시
    교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 네이버 책을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)
    구글북액션을 통해서 교보eBook
    첫 구매 시 교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 구글북액션을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)