파이썬을 활용한 딥러닝 전이학습

Transfer Learning으로 빠르고 손쉽게 구축하는 고급 딥러닝 모델

디파니안 사르카르 , 러그허브 발리 , 타모그나 고시 지음 | 송영숙 , 심상진 , 한수미 , 고재선 옮김

위키북스 2023년 07월 10일 출간 종이책 : 2019년 10월 11일 출간

작품소개

책소개

이 책의 목적은 두 가지다. 첫째, 딥러닝과 전이학습에 관한 자세한 내용을 집중적으로 다루고 이해하기 쉬운 개념과 예제로 이 둘을 비교 및 대조한다. 둘째, 텐서플로, 케라스, 파이썬 등의 기존 생태계를 활용해 실제 사례와 연구 문제 등을 실습 예제로 다룬다.

이 책은 머신러닝과 딥러닝의 핵심 개념으로 시작해, 중요한 딥러닝 아키텍처인 CNN, DNN, RNN, LSTM, 캡슐 네트워크 등을 다룬다. 그다음, 전이학습의 개념에 초점을 맞춰 모델 동결, 미세 튜닝, VGG, Inception, ResNet을 포함한 사전 훈련된 최신 네트워크를 다룬다. 그리고 이러한 네트워크를 활용해 딥러닝 모델의 성능을 어떻게 향상시킬 수 있는지를 설명한다. 마지막으로 컴퓨터 비전, 오디오 분석, 자연어 처리(NLP) 같은 분야에서 다양한 실제 사례 연구와 문제를 다룬다.

이 책을 다 읽을 때쯤이면 각자의 시스템에서 딥러닝과 전이학습 이론을 구현할 만반의 준비가 돼 있을 것이다.

목차

▣ 1장: 머신러닝의 기초 원리
왜 머신러닝인가?
___공식적 정의
___얕은 학습과 딥러닝
머신러닝 기법
___지도 학습
___비지도 학습
CRISP-DM
___비즈니스 이해
___데이터 이해
___데이터 준비
___모델링
___평가
___배포
표준 머신러닝 워크플로
___데이터 검색
___데이터 준비
___모델링
___모델 평가와 튜닝
___배포와 모니터링
탐색적 데이터 분석
특성 추출과 특성 엔지니어링
___특성 엔지니어링에서 쓰는 전략
___텍스트 데이터 다루기
특성 선택
정리

▣ 2장: 딥러닝 기초
딥러닝이란 무엇인가?
딥러닝 프레임워크
GPU가 지원되는 클라우드 기반의 딥러닝 환경 구축
GPU 지원을 통한 강력한 딥러닝 환경 구축하기
신경망 기초
___단순한 선형 뉴런
___기울기 기반 최적화
___야코비와 헤세 행렬
___미분의 연쇄 규칙
___확률적 경사 하강
___비선형 신경 유닛
___간단한 비선형 유닛 학습 - 로지스틱 유닛
___손실 함수
___데이터 표현
___다층 신경망
___역전파 - 심층 신경망 훈련하기
___신경망 학습의 과제
___모델 파라미터의 초기화
___SGD의 개선
___신경망에서의 과대 적합과 과소 적합
___신경망의 하이퍼 파라미터
정리

▣ 3장: 딥러닝 아키텍처 이해하기
신경망 아키텍처
___왜 다른 아키텍처가 필요할까
다양한 아키텍처
___MLP와 심층 신경망
___오토인코더 신경망
___변분 오토인코더
___적대적 생성망
___CNN
___캡슐 네트워크
___순환 신경망
___메모리 신경망
___신경 튜링 기계
___어텐션 기반 신경망 모델
정리

▣ 4장: 전이학습의 기초
전이학습 소개
___전이학습의 혜택
전이학습 전략
전이학습과 딥러닝
___전이학습의 방법
___사전 훈련 모델
___활용
심층 전이학습의 유형
___도메인 적응
___도메인 혼란
___다중 과제 학습
___원샷 학습
___제로샷 학습
전이학습의 도전 과제
___부정적 전이
___전이 범위
정리

▣ 5장: 전이학습의 위력 발휘하기
전이학습의 필요성
___실제적인 문제에서의 설정
___데이터 세트 구축
___접근법 설정
CNN 모델 처음부터 구축하기
___기본 CNN 모델
___CNN 모델과 정규화
___CNN 모델과 이미지 늘리기
전이학습에서 사전 훈련된 CNN 모델 활용하기
___VGG-16 모델의 이해
___특성 추출기로 사전 훈련된 CNN 모델
___특성 추출기와 이미지 늘리기로 사전 훈련된 CNN 모델
___사전 훈련된 CNN 모델과 미세 튜닝 및 이미지 늘리기
딥러닝 모델 평가
___샘플 테스트 이미지로 모델 예측
___CNN 모델이 인지한 것을 시각화하기
___테스트 데이터로 수행한 평가 모델 성능
정리

▣ 6장: 이미지 인식과 분류
딥러닝 기반의 이미지 분류
벤치마킹 데이터 세트
최신 이미지 분류 모델
이미지 분류와 전이학습
___CIFAR-10
___개 품종 식별 데이터 세트
정리

▣ 7장: 텍스트 문서의 범주화
텍스트 범주화
___전통적인 텍스트 범주화
단어 표현
___Word2vec 모델
___Gensim을 이용한 Word2vec
___GloVe 모델
CNN 문서 모델
___리뷰 감성 분류기 구현
___가장 많이 변경된 임베딩은 무엇일까?
___전이학습 - IMDB 데이터 세트에 적용
___Word2vec 임베딩으로 전체 IMDB 데이터 세트 훈련
___CNN 모델로 문서 요약하기
___ CNN 모델을 이용한 다중 클래스 분류
___문서 임베딩 시각화
정리

▣ 8장: 오디오 이벤트 식별과 분류
오디오 이벤트 분류의 이해
___실세계 문제에서의 설정
___오디오 이벤트의 탐색적 분석
특성 엔지니어링과 오디오 이벤트의 표현
전이학습을 통한 오디오 이벤트 분류
기본 특성으로 데이터 세트 구축하기
___특성 추출을 위한 전이학습
___분류 모델 만들기
___분류기 성능 평가
딥러닝 오디오 이벤트 식별자 만들기
정리


▣ 9장: 딥드림
소개
___컴퓨터 비전의 알고리즘적 환각
___특성 지도 시각화
딥드림
___예제
정리

▣ 10장: 스타일 전이
신경 스타일 전이의 이해
이미지 전처리 방법
손실 함수 구축
___내용 손실
___스타일 손실
___총 변동 손실
___총 손실 함수
커스텀 최적화기 만들기
스타일 전이의 작동
정리

▣ 11장: 자동 이미지 캡션 생성기
이미지 캡션 넣기의 이해
목표 설정
데이터 이해하기
자동화된 이미지 캡션 넣기의 접근 방식
___개념적 접근
___유용한 실습 방법
전이학습과 이미지 특성 추출
캡션에 쓸 어휘집 작성
이미지 캡션 데이터 세트 생성기 구축
이미지에 쓸 언어 인코더-디코더 딥러닝 모델 구축
이미지에 캡션을 넣는 딥러닝 모델 훈련
이미지에 캡션을 넣는 딥러닝 모델 평가
___데이터와 모델 불러오기
___그리디 서치와 빔 서치의 이해
___빔 서치 기반 캡션 생성기 구현
___BLEU 채점의 이해와 구현
___테스트 데이터에서 모델 성능 평가
이미지에 캡션 넣기 자동화의 실제
___야외 장면에서 샘플 이미지에 캡션 넣기
___인기 있는 스포츠의 샘플 이미지에 캡션 넣기
___개선할 점들
정리

▣ 12장: 이미지 채색
문제 설명
컬러 이미지
___색상 이론
___색상 모델과 색상 공간
___문제 상태 재검토
채색 심층 신경망 구축
___전처리
___손실 함수
___인코더
___전이학습 - 특성 추출
___융합층
___디코더
___후처리
___훈련과 결과
도전 과제
추가 개선 사항
정리

출판사 서평

★ 이 책에서 다루는 내용 ★
◎ GPU(graphics processing unit)와 클라우드가 지원되는 자신만의 딥러닝 환경 설정
◎ 머신러닝과 딥러닝 모델로 전이학습의 원리 탐구
◎ CNN과 LSTM, 캡슐 네트워크를 포함한 다양한 딥러닝 아키텍처 탐색
◎ 데이터 및 네트워크 표현과 손실 함수에 관한 학습
◎ 전이학습 모델과 전략 파악
◎ 복잡한 전이학습 모델을 처음부터 구축할 때 생길 수 있는 잠재적 문제 해결
◎ 컴퓨터 비전 및 오디오 분석과 관련된 실제 연구 문제 탐색
◎ 자연어 처리에서 전이학습을 활용하는 방법 이해

작가정보

저자(글) 디파니안 사르카르

(Dipanjan(DJ) Sarkar)
디파니안 사르카르는 데이터 과학과 머신러닝, 딥러닝을 활용해 대규모 지능형 시스템을 구축하고 있는 인텔의 데이터 과학자다. 그는 데이터 과학 및 소프트웨어 엔지니어링 분야의 전문 기술로 석사 학위를 취득했다. 현재 머신러닝과 자연어 처리, 통계 방법, 딥러닝을 전문적으로 분석하고 있다.

저자(글) 러그허브 발리

(Raghav Bali)
러그허브 발리는 옵텀(United Health Group)의 데이터 과학자다. 유스케이스에 기초해서 머신러닝, 딥러닝, 의료와 보험 관련 자연어 처리로 기업 수준의 솔루션 연구와 개발을 하고 있다. 이전에 인텔에서 상황 주도적인 데이터 중심의 IT 기획에 관여했었다.

저자(글) 타모그나 고시

(Tamoghna Ghosh)
타모그나 고시는 인텔의 머신러닝 엔지니어다. 마이크로소프트 연구소(Microsoft Research, MSR) 인도에서의 4년간의 핵심 연구 경험을 포함해 총 11년의 경력이 있다. MSR에서 그는 암호 분석 연구 분야 조교로 블록 암호를 푸는 일을 했다. 빅 데이터, 머신러닝, 자연어 처리, 정보 검색, 데이터 시각화 및 소프트웨어 개발에 전문적인 지식이 있다.

번역 송영숙

경희대학교 국어국문학과에서 공부하고 있다. 국어학을 전공했고 전산언어학과 언어 유형론에 관심이 많다. 사람의 언어와 기계의 언어에 장벽을 조금이라고 줄여서 벽을 허물고 길을 내는 사람이 되려고 노력하고 있다.

번역 심상진

물리학을 전공하고 company.AI에서 챗봇 관련 업무를 담당하고 있다. 늘 머신러닝을 현실에서 잘 사용할 수 있는 방법을 찾기 위해 고심하고 있다.

번역 한수미

한림대학교 영어영문학과 및 디지털 인문예술전공 조교수다. 영어평가 및 응용언어학을 전공했고 자동언어평가를 연구하기 위해서 딥러닝의 세계에 입문했다. 현재 대학에서 영어학과 데이터분석 및 시각화 관련 수업을 하고 있고, 교육공학에 관심이 많다.

번역 고재선

역자 고재선
주식회사 농협은행 준법감시부 법무팀 변호사다. 통신공학과 법학을 전공했고, 법과 과학기술 사이의 접점에 관심이 많다