쉽게 시작하는 캐글 데이터 분석

캐글 대회 참여 방법부터 캐글 그랜드마스터 인터뷰까지!

시노다 히로유키 지음 | 조태호 옮김

길벗 2021년 09월 15일 출간 종이책 : 2021년 09월 08일 출간

작품소개

책소개

캐글 대회 참여 방법부터 캐글 그랜드마스터 인터뷰까지!

캐글은 세계적인 데이터 분석 경진대회 플랫폼으로, 전 세계의 데이터 분석가들이 많이 즐겨 사용한다. 캐글 경진대회에 참여하여 자신의 실력을 뽐낼 수 있으며, 캐글 마스터, 그랜드마스터 등 타이틀을 얻어 인지도를 쌓을 수도 있다. 더불어 개인적인 성취감도 느낄 수 있다.
이 책은 캐글 개요와 경진대회 참여 방법, 데이터 분석을 위한 기초 이론과 실습 환경 구축부터 설명한다. 초보자용 튜토리얼 경진대회인 타이타닉 생존자 예측하기, 주택 가격 예측하기 과제를 직접 해결하면서 데이터 분석 과정과 머신 러닝을 익히고, 실력을 향상시킬 수 있다. 마지막으로 캐글 마스터와 그랜드마스터의 경험과 조언을 들으며 캐글에 성공적으로 입문할 수 있다.

목차

0장 캐글에서 실용적인 기술을 체험해 보자!
0.1 캐글 세계로 뛰어들어 보자!
__0.1.1 데이터, 데이터 분석으로 알 수 있는 것
__0.1.2 캐글: 세계 각국에서 이용하는 데이터 분석 경진대회 플랫폼
__0.1.3 이 책의 활용 방법

1장 캐글이란
1.1 전 세계 데이터 과학자가 경쟁하는 플랫폼
1.2 캐글의 메달과 등급
1.3 캐글 경진대회 참여 흐름
1.4 경진대회 종류
1.5 캐글 커뮤니티

2장 데이터 분석 절차, 데이터 분석 환경 구축
2.1 데이터 분석의 순서 및 개요
2.2 데이터 분석 환경
__2.2.1 파이썬을 이용한 데이터 분석 환경
__2.2.2 로컬 또는 클라우드에서 데이터 분석 환경
2.3 주피터 노트북을 이용한 대화형 데이터 분석 환경
__2.3.1 로컬 컴퓨터에서 데이터 분석 환경 구축
2.4 아나콘다의 가상 환경 이용(윈도)
2.5 pyenv 환경 이용(맥)
2.6 캐글 분석 도구 사용

3장 캐글 경진대회 도전 ①: 타이타닉 생존자 예측
3.1 캐글을 이용하여 실제 데이터 분석
3.2 타이타닉 생존자 예측 경진대회란
3.3 데이터 내려받기
3.4 데이터 분석을 위한 준비 작업
__3.4.1 [순서 1] 데이터 분석 환경 준비
__3.4.2 [순서 2] 새로운 파일 작성
__3.4.3 [순서 3] 디렉터리 구성 확인
__3.4.4 [순서 4] 라이브러리를 설치하고 가져오기
__3.4.5 [순서 5] 데이터 읽어 보기
__3.4.6 [순서 6] 랜덤 시드 설정
3.5 데이터 개요 파악
3.6 데이터의 시각화
__3.6.1 목적 변수 관련 데이터의 시각화
3.7 데이터 전처리와 특징 값 생성
3.8 머신 러닝 모델링
__3.8.1 검증 데이터로 예측 정확도 확인
__3.8.2 교차 검증을 이용한 학습
3.9 캐글에 결과 제출
3.10 정확도 이외의 여러 가지 분석
__3.10.1 추가 분석 ①: 타이타닉에는 어떤 사람이 승선하고 있었는가?
__3.10.2 추가 분석 ②: 특정 클러스터에 주목

4장 캐글 경진대회 도전 ②: 주택 가격 예측
4.1 더 상세하게 알아보는 데이터 분석
4.2 주택 가격 예측하기 경진대회란
4.3 데이터 내려받기
4.4 벤치마크용 베이스라인 작성
__4.4.1 LightGBM으로 예측
__4.4.2 교차 검증으로 모델 학습과 예측
__4.4.3 각 변수의 중요도 확인
4.5 목적 변수의 전처리: 목적 변수의 분포 확인
__4.5.1 SalePrice 데이터의 분포 확인
4.6 설명 변수의 전처리: 결측치 확인
__4.6.1 각 설명 변수의 결측치 확인
4.7 이상치 제외
__4.7.1 이상치란
__4.7.2 각 설명 변수의 데이터 분포 확인
4.8 설명 변수 확인: 특징 값 생성
4.9 하이퍼파라미터 최적화
__4.9.1 Optuna 구현
__4.9.2 캐글에 결과 제출
4.10 여러 가지 머신 러닝 방법을 이용한 앙상블
__4.10.1 랜덤 포레스트로 학습
__4.10.2 LotFrontage의 결측치 삭제
__4.10.3 XGBoost로 학습
__4.10.4 XGBoost와 LightGBM 결과 조합
4.11 추가 분석 ①: 통계 기법을 이용한 클러스터 분석
__4.11.1 통계 기법을 써서 주택 분류
__4.11.2 주성분 분석
4.12 추가 분석 ②: 고급 주택의 조건을 분석하고 시각화
__4.12.1 결정 트리로 시각화

5장 새로운 데이터 과학 능력 향상을 위한 팁
5.1 캐글 마스터와 특별 인터뷰
5.2 캐글에서 권장하는 스타터 노트북
__5.2.1 판매량 예측하기 경진대회
__5.2.2 PUBG 최종 순위 예측하기(커널만 해당) 경진대회
__5.2.3 IEEE- CIS 부정 거래 탐지하기 경진대회
5.3 GCP의 AI 플랫폼 분석 절차
__5.3.1 GCP의 AI 플랫폼에 관하여
__5.3.2 GCP 이용
__5.3.3 GCP에 데이터 업로드
__5.3.4 GCP의 AI 플랫폼 이용
__5.3.5

출판사 서평

파이썬으로 세계적인 데이터 분석 경진대회 캐글에 성공적으로 입문하는 법!

캐글을 시작하는 데 필요한 모든 것을 다룬다!
캐글은 세계적인 데이터 분석 경진대회 플랫폼으로, 자신의 데이터 분석 능력을 측정하고 이를 향상시킬 수 있는 공간이면서 서로 논의하고 자신의 코드를 공유할 수 있는 커뮤니티의 장이기도 하다. 책에서는 캐글이 무엇인지 알아보고, 캐글 경진대회의 종류, 메달과 등급, 경진대회에 참가하는 방법 등을 소개한다. 또한, 경진대회 참가 전 데이터 분석을 어떻게 할 것인지 순서를 알아보고, 데이터 분석에 알맞은 환경을 구축한다. 입문자도 경진대회에 참가할 수 있도록 캐글 경진대회의 기본적인 절차와 데이터 분석에 필요한 지식을 모두 설명한다.

경진대회 과제를 해결하며 데이터 분석 과정을 익힌다!
캐글의 대표적인 초보자용 튜토리얼 경진대회에 참여하여 정확도가 높은 모델을 단계별로 구축하고, 같은 데이터에 다른 방법을 적용하여 문제에 접근하기도 한다. 실제 경진대회 과제를 해결하면서 데이터 분석 과정과 머신 러닝을 직접 체험하며 익힐 수 있다. 또한, 이 과정에서 데이터 분석 스킬을 습득해 업무에 활용하거나 캐글 상위권을 목표로 할 수 있는 밑바탕도 다질 수 있다.

캐글 마스터와 그랜드마스터의 경험담에서 평소 궁금했던 내용도 알아보자!
일본 캐글 마스터 2명과 국내 캐글 그랜드마스터 1명의 경험담을 실었다. 어떻게 캐글을 시작했으며, 캐글 마스터/그랜드마스터가 되기 위해 어떻게 공부했는지, 캐글과 업무를 연관시킬 수 있는지 등 캐글 마스터/그랜드마스터가 되기까지의 여정을 소개한다. 이들의 생생한 경험담을 통해 평소 캐글과 관련해 궁금했던 내용들과 다양한 팁도 알아보자.

작가정보

저자(글) 시노다 히로유키

저자 : 시노다 히로유키
주식회사 하쿠호도 DY미디어 파트너즈 소속으로, 데이터 분석을 바탕으로 한 미디어 전략 기획, 상품 개발, 콘텐츠 제작을 한다. 데이터 분석 및 데이터 시각화에 관한 세미나에 참석하였고, 다수의 책을 집필하였다.

역자 : 조태호
머신 러닝, 딥러닝을 이용해 알츠하이머 질병을 연구하며 틈틈이 책을 쓰고 번역한다. 일본 도쿄의과치과대학에서 단백질 구조 예측으로 박사학위를 받았고, 미국으로 이주해 단백질 구조 예측에 딥러닝을 도입하는 연구를 했다. 2018년부터 미국 인디애나 대학교 의과대학에 재직하며 딥러닝을 이용한 알츠하이머 진단(2019), 딥러닝을 이용한 알츠하이머 원인 단백질 추적(2020), 딥러닝을 이용한 유전자 변이 예측(2021) 등을 연구하고 진행했다. 저서로는 『모두의 딥러닝』, 제7회 브런치북 대상 수상작 『당신의 이유는 무엇입니까』 등이 있다.

번역 조태호