데이터 분석가가 반드시 알아야 할 모든 것

파이썬 코드와 캐글 데이터셋으로 실습하는

황세웅 지음

위키북스 2024년 09월 30일 출간 국내도서 : 2024년 08월 30일 출간

작품소개

책소개

데이터 분석과 머신러닝의 각 업무 단계를 깊이 있게 이해하자!

이 책은 실무적인 관점에서 데이터 분석의 기초 체력이라 할 수 있는 통계학부터 머신러닝 기법까지 다룹니다. 비즈니스 문제 정의 단계부터 시작해서 탐색적 데이터 분석(EDA), 데이터 전처리와 파생변수 생성, 머신러닝 모델링 및 성능평가, 그리고 스토리텔링까지, 데이터 분석가라면 반드시 알아야 하는 모든 내용을 담고 있습니다.

실무자가 회사에서 바로 활용할 수 있도록 불필요한 수식과 이론을 최소화하고 핵심 개념을 쉽게 이해할 수 있게 구성했습니다. 데이터 분석 및 머신러닝의 전체 과정을 미니 프로젝트 기반으로 실습하면서 데이터를 올바르게 이해하고 의미 있는 비즈니스 인사이트를 얻는 방법을 배울 수 있습니다.

★ 이 책에서 다루는 내용 ★

◎ 데이터 분석에 필수적인 통계학의 기본 개념
◎ 데이터 편향과 인지적 편향
◎ 비즈니스 문제를 정의하고 데이터 분석의 목적을 도출하는 방법
◎ 데이터 분석 환경 구성
◎ 데이터 탐색과 시각화
◎ 데이터 전처리와 파생변수 생성
◎ 주요 머신러닝 알고리즘과 모델 성능 평가 기법
◎ A/B 테스트와 MAB

목차

[1부] 데이터 기초체력 기르기

▣ 01장: 통계학 이해하기
1.1 왜 통계학을 알아야 할까?
1.2 머신러닝과 전통적 통계학의 차이
1.3 통계학의 정의와 기원
1.4 기술 통계화 추론 통계
___1.4.1 기술 통계
___1.4.2 추론 통계

▣ 02장: 모집단과 표본추출
2.1 모집단과 표본, 전수조사와 표본조사
2.2 표본조사를 하는 이유와 데이터과학 적용 방법
2.3 표본추출에서 나타나는 편향의 종류
2.4 인지적 편향의 종류
___2.4.1 확증 편향(confirmation bias)
___2.4.2 기준점 편향(anchoring bias)
___2.4.3 선택 지원 편향(choice-supportive bias)
___2.4.4 분모 편향(denominator bias)
___2.4.5 생존자 편향(survivorship bias)
2.5 머신러닝 모델 측면의 편향과 분산
2.6 표본 편향을 최소화하기 위한 표본 추출 방법

▣ 03장: 변수와 척도
3.1 변수의 종류
3.2 변수 관계의 종류
3.3 척도의 종류

▣ 04장: 데이터의 기술 통계적 측정
4.1 중심 성향의 측정
4.2 분산과 표준편차
4.3 산포도와 범위, 사분위수, 변동계수
4.4 왜도와 첨도
___4.4.1 왜도
___4.4.2 첨도
4.5 표준편차의 경험법칙

▣ 05장: 확률과 확률변수
5.1 확률의 기본 개념
5.2 확률의 종류
5.3 분할과 베이지안 이론
___5.3.1 분할
___5.3.2 베이지안 이론
5.4 확률변수의 개념과 종류
5.5 심슨의 역설

▣ 06장: 확률분포
6.1 확률분포의 정의와 종류
6.2 이산확률분포
___6.2.1 균등분포
___6.2.2 이항분포
___6.2.3 초기하분포
___6.2.4 포아송분포
6.3 연속확률분포
___6.3.1 정규분포
___6.3.2 지수분포
6.4 중심극한정리

▣ 07장: 가설검정
7.1 귀무가설과 대립가설
7.2 가설검정의 절차
7.3 가설검정의 유의수준과 p값
7.4 1종 오류와 2종 오류

[2부] 데이터 분석 준비하기

▣ 08장: 분석 프로젝트 준비 및 기획
8.1 데이터 분석의 전체 프로세스
___8.1.1 데이터 분석의 3단계
___8.1.2 CRISP-DM 방법론
___8.1.3 SAS SEMMA 방법론
8.2 비즈니스 문제 정의와 분석 목적 도출
8.3 분석 목적의 전환
8.4 도메인 지식
8.5 외부 데이터 수집과 크롤링

▣ 09장: 분석 환경 세팅하기
9.1 어떤 데이터 분석 언어를 사용하는 것이 좋을까?
9.2 데이터 처리 프로세스 이해하기
9.3 분산데이터 처리
___9.3.1 HDFS
___9.3.2 아파치 스파크
9.4 테이블 조인과 정의서 그리고 ERD
___9.4.1 테이블 조인
___9.4.2 데이터 단어사전
___9.4.3 테이블 정의서
___9.4.4 ERD

▣ 10장: 데이터 탐색과 시각화
10.1 탐색적 데이터 분석
___10.1.1 엑셀을 활용한 EDA
___10.1.2 탐색적 데이터 분석 실습
10.2 공분산과 상관성 분석
___10.2.1 공분산
___10.2.2 상관계수
___10.2.3 공분산과 상관성 분석 실습
10.3 시간 시각화
___10.3.1 시간 시각화 실습
10.4 비교 시각화
___10.4.1 비교 시각화 실습
10.5 분포 시각화
___10.5.1 분포 시각화 실습
10.6 관계 시각화
___10.6.1 관계 시각화 실습
10.7 공간 시각화
___10.7.1 공간 시각화 실습
10.8 박스 플롯
___10.8.1 박스 플롯 실습

▣ 11장: 데이터 전처리와 파생변수 생성
11.1 결측값 처리
___11.1.1 결측값 처리 실습
11.2 이상치 처리
___11.2.1 이상치 처리 실습
11.3 변수 구간화(Binning)
___11.3.1 변수 구간화 실습
11.4 데이터 표준화와 정규화 스케일링
___11.4.1 데이터 표준화와 정규화 스케일링 실습
11.5 모델 성능 향상을 위한 파생 변수 생성
___11.5.1 파생 변수 생성 실습
11.6 슬라이딩 윈도우 데이터 가공
___11.6.1 슬라이딩 윈도우 실습
11.7 범주형 변수의 가변수 처리
___11.7.1 범주형 변수의 가변수 처리 실습
11.8 클래스 불균형 문제 해결을 위한 언더샘플링과 오버샘플링
___11.8.1 언더샘플링과 오버샘플링 실습
11.9 데이터 거리 측정 방법
___11.9.1 대표적인 거리 측정 방법
___11.9.2 데이터 거리 측정 실습

[3부] 데이터 분석하기

▣ 12장: 통계 기반 분석 방법론
12.1 분석 모델 개요
12.2 주성분 분석(PCA)
___12.2.1 주성분 분석 실습
12.3 공통요인분석(CFA)
___12.3.1 공통요인분석 실습
12.4 다중공선성 해결과 섀플리 밸류 분석
12.5 데이터 마사지와 블라인드 분석
___12.5.1 데이터 마사지
___12.5.2 블라인드 분석
12.6 Z-test와 T-test
___12.6.1 Z-test와 T-test 실습
12.7 ANOVA(Analysis of Variance)
___12.7.1 ANOVA 실습
12.8 카이제곱 검정(교차분석)
___12.8.1 카이제곱 검정 실습

▣ 13장: 머신러닝 분석 방법론
13.1 선형 회귀분석과 Elastic Net(예측모델)
___13.1.1 회귀분석의 기원과 원리
___13.1.2 다항 회귀(Polynomial regression)
___13.1.3 Ridge와 Lasso 그리고 Elastic Net
___13.1.4 선형 회귀분석과 Elastic Net 실습
13.2 로지스틱 회귀분석 (분류 모델)
___13.2.1 로지스틱 회귀분석 실습
13.3 의사결정나무와 랜덤 포레스트(예측/분류 모델)
___13.3.1 분류나무와 회귀나무
___13.3.2 의사결정나무 모델의 장단점
___13.3.3 의사결정나무 모델의 과적합 방지를 위한 방법
___13.3.4 랜덤 포레스트
___13.3.5 의사결정나무와 랜덤 포레스트 실습
13.4 선형 판별분석과 이차 판별분석(분류 모델)
___13.4.1 선형 판별분석
___13.4.2 이차 판별분석
___13.4.3 선형 판별분석과 이차 판별분석 실습
13.5 서포트벡터머신(분류 모델)
___13.5.1 서포트벡터머신 실습
13.6 KNN(분류, 예측 모델)
___13.6.1 KNN 실습
13.7 시계열 분석(예측모델)
___13.7.1 회귀 기반 시계열 분석
___13.7.2 ARIMA 모델
___13.7.3 시계열 분석 실습
13.8 k-means 클러스터링(군집 모델)
___13.8.1 k-means 클러스터링 실습
13.9 연관규칙과 협업 필터링(추천 모델)
___13.9.1 연관 규칙
___13.9.2 콘텐츠 기반 필터링과 협업 필터링
___13.9.3 연관규칙과 협업 필터링 실습
13.10 인공 신경망(CNN, RNN, LSTM)
___13.10.1 CNN
___13.10.2 RNN과 LSTM
___13.10.3 인공 신경망 실습

▣ 14장: 모델 평가
14.1 학습 셋, 검증 셋, 테스트 셋과 과적합 해결
14.2 주요 교차 검증 방법
___14.2.1 k-Fold Cross Validation
___14.2.2 LOOCV(Leave-one-out Cross-validation)
___14.2.3 Stratified K-fold Cross Validation
___14.2.4 Nested Cross Validation
___14.2.5 Grid Search Cross Validation
___14.2.6 주요 교차 검증 방법 실습
14.3 회귀성능 평가지표
___14.3.1 R-Square와 Adjusted R-Square
___14.3.2 RMSE(Root Mean Square Error)
___14.3.3 MAE(Mean Absolute Error)
___14.3.4 MAPE(Mean Absolute Percentage Error)
___14.3.5 RMSLE(Root Mean Square Logarithmic Error)
___14.3.6 AIC와 BIC
___14.3.7 회귀성능 평가지표 실습
14.4 분류, 추천 성능 평가지표
___14.4.1 혼동 행렬
___14.4.2 정확도, 오분류율, 정밀도, 민감도, 특이도 그리고 f-score
___14.4.3 향상도 테이블과 향상도 차트 그리고 향상도 곡선
___14.4.4 ROC 곡선과 AUC
___14.4.5 수익 곡선
___14.4.6 Precision at k, Recall at K 그리고 MAP
___14.4.7 분류, 추천 성능 평가지표 실습
14.5 A/B 테스트와 MAB
___14.5.1 A/B 테스트
___14.5.2 MAB
14.6 유의확률의 함정
14.7 분석가의 주관적 판단과 스토리텔링

작가정보

저자(글) 황세웅

선문대학교 SW융합대학 AI소프트웨어학과 교수로 머신러닝, 인공지능, 파이썬 프로그래밍을 가르치며, 여러 기업의 기술 자문을 맡고 있다. 연세대학교에서 센서 데이터를 활용한 실시간 대중교통체계(Real-time Public Transportation Systems) 연구로 박사학위를 받았으며, 약 8년간 코오롱, 롯데 그룹 등에서 데이터 분석가 및 데이터 사이언티스트로서 다양한 비즈니스 도메인의 데이터를 분석하고 추천 시스템, 수요 예측 알고리즘 등의 모델을 구축 및 운영했다.
- 깃허브: https://github.com/c-karl