XGBoost와 사이킷런을 활용한 그레이디언트 부스팅

캐글 고수에게 배우는 실전 파이썬 머신러닝, 코랩에서 실습 가능

코리 웨이드 지음 | 박해선 옮김

한빛미디어 2022년 04월 11일 출간 종이책 : 2022년 04월 08일 출간

작품소개

책소개

캐글 우승자들의 머신러닝 우승 비법이자 현존하는 가장 우월한 머신러닝 모델 XGBoost

이 책은 기본적인 머신러닝과 판다스부터 사용자 정의 변환기, 파이프라인과 희소 행렬로 새로운 데이터의 예측을 만드는 강력한 XGBoost 모델 튜닝까지 모두 다룹니다. 또한 XGBoost의 탄생 배경과 XGBoost를 특별하게 만드는 수학적 이론과 기술, 물리학자와 천문학자가 우주를 연구하는 사례 연구까지 다양한 XGBoost의 흥미로운 이야기와 캐글 마스터들의 우승 비법까지 소개합니다. 마지막으로 더 확실한 이해를 위해 원서에는 없는 친절하고 상세한 역자 노트와 다른 그레이디언트 부스팅 라이브러리를 배울 수 있는 한국어판만의 부록을 추가하여 내용을 더욱 가득 채웠습니다. 이 책 한 권이면 복잡한 XGBoost 개념을 완벽하게 이해하고 제품을 위한 머신러닝을 구축해볼 수 있게 됩니다. 그레이디언트 부스팅을 현업에 적용해보고 싶은 머신러닝 엔지니어나 캐글 대회를 준비하고 있는 캐글 도전자에게 훌륭한 안내서가 되어줄 것입니다

목차

CHAPTER 0 코딩 환경 설정
0.1 아나콘다
0.2 주피터 노트북 사용하기
0.3 XGBoost
0.4 버전

PART 1 배깅과 부스팅

CHAPTER 1 머신러닝 개요
1.1 XGBoost 소개
1.2 데이터 랭글링
1.3 회귀 모델 만들기
1.4 분류 모델 만들기
1.5 마치며

CHAPTER 2 결정 트리
2.1 결정 트리 소개
2.2 결정 트리 알고리즘
2.3 분산과 편향
2.4 결정 트리 하이퍼파라미터 튜닝
2.5 심장 질환 예측하기 - 사례 연구
2.6 마치며

CHAPTER 3 배깅과 랜덤 포레스트
3.1 배깅 앙상블
3.2 랜덤 포레스트 살펴보기
3.3 랜덤 포레스트 매개변수
3.4 랜덤 포레스트 성능 높이기 - 사례 연구
3.5 마치며

CHAPTER 4 그레이디언트 부스팅에서 XGBoost까지
4.1 배깅에서 부스팅까지
4.2 그레이디언트 부스팅 작동 방식
4.3 그레이디언트 부스팅 매개변수 튜닝
4.4 빅 데이터 다루기 - 그레이디언트 부스팅 vs XGBoost
4.5 마치며

PART 2 XGBoost

CHAPTER 5 XGBoost 소개
5.1 XGBoost 구조
5.2 XGBoost 파라미터 최적화
5.3 XGBoost 모델 만들기
5.4 힉스 보손 찾기 - 사례 연구
5.5 마치며

CHAPTER 6 XGBoost 하이퍼파라미터
6.1 데이터와 기준 모델 준비
6.2 XGBoost 하이퍼파라미터 튜닝
6.3 조기 종료 적용
6.4 하이퍼파라미터 결합
6.5 하이퍼파라미터 조정
6.6 마치며

CHAPTER 7 XGBoost로 외계 행성 찾기
7.1 외계 행성 찾기
7.2 오차 행렬 분석하기
7.3 불균형 데이터 리샘플링
7.4 XGBClassifier 튜닝
7.5 마치며

PART 3 고급 XGBoost

CHAPTER 8 XGBoost 기본 학습기
8.1 여러 가지 기본 학습기
8.2 gblinear 적용하기
8.3 dart 비교하기
8.4 XGBoost 랜덤 포레스트
8.5 마치며

CHAPTER 9 캐글 마스터에게 배우기
9.1 캐글 대회 둘러보기
9.2 특성 공학
9.3 상관관계가 낮은 앙상블 만들기
9.4 스태킹
9.5 마치며

CHAPTER 10 XGBoost 모델 배포
10.1 혼합 데이터 인코딩
10.2 사용자 정의 사이킷런 변환기
10.3 XGBoost 모델 만들기
10.4 머신러닝 파이프라인 구성하기
10.5 마치며

APPENDIX A (한국어판 부록) 다른 그레이디언트 부스팅 라이브러리
A.1 LightGBM
A.2 사이킷런의 히스토그램 기반 그레이디언트 부스팅
A.3 CatBoost

출판사 서평

데이터 과학 전문가를 위한 XGBoost와 사이킷런 활용법

XGBoost는 빠르고 효율적으로 수십억 개의 데이터 포인트에 적용하기 위한 그레이디언트 부스팅 프레임워크로, 업계에서 입증된 오픈 소스 소프트웨어 라이브러리입니다. 이 책은 그레이디언트 부스팅에 대한 이론을 설명하기 전에 사이킷런으로 머신러닝과 XGBoost를 소개합니다. 결정 트리를 다루고 머신러닝 관점에서 배깅을 분석하며 XGBoost까지 확장되는 하이퍼파라미터를 배우겠습니다. 밑바닥부터 그레이디언트 부스팅 모델을 구축해보고 그레이디언트 부스팅을 빅 데이터로 확장하면서 속도의 중요성을 설명합니다. 그리고 속도 향상 및 수학적인 이론에 초점을 두고 XGBoost의 세부 사항을 알아봅니다. 자세한 사례 연구를 이용하여 사이킷런 API와 원본 파이썬 API 방식으로 XGBoost 분류 모델과 회귀 모델을 만들고 튜닝하는 방법을 연습합니다. 또한, XGBoost 하이퍼파라미터를 활용하여 성능 개선, 누락된 값 수정 및 불균형 데이터 세트 적용, 그리고 다른 기본 학습기를 튜닝합니다. 마지막으로 상관관계가 낮은 앙상블과 스태킹 모델을 만들어보고, 모델 배포를 위해 희소 행렬과 사용자 정의 변환기, 파이프라인과 같은 고급 XGBoost 기술을 적용합니다.

주요 내용
● 그레이디언트 부스팅 모델 구축
● 정확하고 빠른 XGBoost 회귀 및 분류 모델 개발
● XGBoost 하이퍼파라미터 미세 조정 측면에서 분산 및 편향 분석
● 상관관계가 없는 앙상블을 구축하고 XGBoost 모델을 스태킹하여 정확성 향상
● 다트, 선형 모델 및 XGBoost 랜덤 포레스트와 같은 기본 학습기 적용
● 사용자 정의 변환기와 파이프라인을 사용한 XGBoost 모델 배포
● 누락된 값 자동 수정 및 불균형 데이터 조정

작가정보

저자(글) 코리 웨이드

저자 : 코리 웨이드
Corey Wade
수학과 예술 분야 석사이고 버클리 코딩 아카데미(Berkeley Coding Academy)의 설립자이자 이사로 전세계 10대들에게 머신러닝과 인공지능을 가르치고 있습니다. 또한 코리는 버클리 고등학교 독립 학습 프로그램의 수학 분야 의장으로서 프로그래밍과 고등 수학을 가르치고있습니다. 기초적인 자연어 처리를 가르치며, 패스스트림(Pathstream)과 데이터 과학 커리큘럼을 개발하고, 투워드 데이터 사이언스(Towards Data Science), 스프링보드(Springboard), 미디엄(Medium)에 통계학과 머신러닝 글을 기고합니다. 『The Python Workshop』(Packt, 2019)의 공동 저자이기도 합니다.

역자 : 박해선
기계공학을 전공했지만 졸업 후엔 줄곧 코드를 읽고 쓰는 일을 했습니다. 텐서플로 블로그(tensorflow.blog )를 운영하고 있고, 머신러닝과 딥러닝에 관한 책을 집필하고 번역하면서 소프트웨어와 과학의 경계를 흥미롭게 탐험하고 있습니다.
『혼자 공부하는 머신러닝+딥러닝』(한빛미디어, 2020), 『Do it! 딥러닝 입문』(이지스퍼블리싱,2019)을 집필했습니다.
『파이썬 라이브러리를 활용한 머신러닝(번역개정2판)』(한빛미디어, 2022 ), 『머신러닝 파워드 애플리케이션』(한빛미디어, 2021 ), 『파이토치로 배우는 자연어 처리』(한빛미디어, 2021 ),
『머신 러닝 교과서 with 파이썬, 사이킷런, 텐서플로(개정3판)』(길벗, 2021 ), 『딥러닝 일러스트레이티드』(시그마프레스, 2021 ), 『GAN 인 액션』(한빛미디어, 2020 ), 『핸즈온 머신러닝(2판)』(한빛미디어, 2020 ), 『미술관에 GAN 딥러닝 실전 프로젝트』(한빛미디어, 2019 ), 『파이썬을 활용한 머신러닝 쿡북』(한빛미디어, 2019 ), 『케라스 창시자에게 배우는 딥러닝』(길벗,2018 )을 포함하여 여러 권의 책을 우리말로 옮겼습니다.

번역 박해선