파이썬을 이용한 통계적 머신러닝

박유성 지음

자유아카데미 2022년 10월 24일 출간 종이책 : 2022년 06월 15일 출간

작품소개

책소개

임의표본의 개념을 간단한 그림으로 설명한 후, 왜 특성변수(또는 독립변수)가 필요한지 그리고 무슨 역할을 하는지 등을 모형의 관점에서 살펴보고, 통계학의 검정 대신 머신러닝에서는 모형의 적합도와 특성변수의 기여도를 어떻게 평가하고 측정하는지를 논의하였다.

머신러닝 모형의 기본구조를 살펴본 후, 모형개선의 관점에서 통계적 머신러닝, 딥러닝, 강화학습의 특성을 비교하여 설명하고 이들 각각에 속한 모형들을 네 가지 모형군으로 재분류해서 각 모형군의 목적과 응용 분야를 논의하였다. 또한 데이터의 시각화와 데이터 자료분석 순서를 제공하였다.

목차

1장 통계학의 원리와 머신러닝
1.1 좋은 데이터란?
1.2 임의표본추출에 의한 추정
1.3 특성변수를 이용한 통계모형
1.4 통계학과 머신러닝의 관계
1.5 모형의 성능향상
1.6 머신러닝 모형과 손실함수
1.7 머신러닝을 이용한 자료분석 절차
1.8 통계적 머신러닝 모형의 요약정리
1.9 Data analyst, Data scientist, Data engineer

2장 사전과정과 최적화
2.1 실수자료로의 전환
2.2 자료의 특성
2.3 사례분석
2.4 불균형자료의 처리
2.5 특성변수의 선택
2.6 손실함수와 최적화

3장 데이터 시각화
3.1 AutoViz
3.2 Bamboolib
3.3 Plotly

4장 K-Nearlest Neighbors
4.1 KNN의 적용
4.2 커널분포함수 추정

5장 로지스틱 회귀 분류
5.1 적응선형뉴런
5.2 로지스틱 회귀
5.3 과대적합에 대한 규제화
5.4 Scikit을 이용한 로지스틱 회귀

6장 판별분석과 단순베이즈모형
6.1 판별분석
6.2 단순베이즈모형
6.3 Scikit learn을 이용한 LDA와 단순베이즈모형

7장 분류와 회귀나무
7.1 회귀나무
7.2 분류나무
7.3 Scikit learn을 이용한 의사결정나무

8장 써포트벡터머신
8.1 선형 써포트벡터머신
8.2 커널 SVM
8.3 Sklearn을 이용한 SVM

9장 차원축소
9.1 특잇값 분해
9.2 확률화 PCA
9.3 커널 PCA
9.4 선형판별분석을 통한 차원축소
9.5 시각화를 위한 차원축소
9.6 SKlearn을 이용한 차원축소

10장 모형진단과 교차검층
10.1 k-분할 교차검증
10.2 중첩 교차검증
10.3 Scikit learn의 적용

11장 회귀분석
11.1 선형회귀모형
11.2 로버스트 회귀
11.3 SVM 회귀와 커널 SVM 회귀
11.4 규제화된 선형회귀모형
11.5 Scikit learn을 이용한 회귀분석

12장 군집
12.1 K-means 군집
12.2 계층적 군집
12.3 DBSCAN과 HDBSCAN
12.4 Scikit learn을 이용한 군집

13장 앙상블학습
13.1 Bagging, Pasting, 그리고 Random forest
13.2 앙상블학습을 위한 통계적 머신러닝의 특성
13.3 아다부스트
13.4 기울기부스팅
13.5 XGBoost
13.6 LightGBM
13.7 CatBoost
13.8 적용사례

14장 XGBoost, LightGBM, CatBoost의 비교와 특성
14.1 전통적 통계모형과의 비교: 회귀
14.2 XGBoost, LightGBM, CatBoost에서의 특성변수의 중요도와 효과
14.3 전통적 통계모형과의 비교: 분류

15장 Bagging과 Boosting
15.1 Decision Tree
15.2 Random Forest
15.3 Gradient Boosting
15.4 분류

16장 XGBoost, LightGBM, CatBoost의 초모수의 특성과 튜닝
16.1 수렴속도 비교
16.2 초모수의 비교와 튜닝
16.3 불균형자료의 처리

17장 메타모형과 모형자동화
17.1 메타모형
17.2 모형의 자동화

18장 감성분석
18.1 감성분석
18.2 파이썬을 이용한 사례 분석

· 참고문헌
· 연습문제 해설
· 찾아보기

책 속으로

[머리말]
머신러닝을 쉽고 논리적으로 이해하고 적용하기 위해서는 ‘양질의 데이터란?, 모형이란?’ 등의 물음에 관한 개념적인 이해가 필요하다. 이 두 가지 질문에 대한 논의를 통해야 통계학과 머신러닝의 공통점과 차이점을 이해하고 머신러닝의 구조, 특히 통계적 머신러닝, 딥러닝, 강화학습의 구조와 관계를 이해할 수 있기 때문이다. 양질의 데이터는 좋은 추정치를 제공하는 재료이며 머신러닝의 성능을 측정하는 도구이기도 하다.

통계학에서는 좋은 추정치(estimate)를 구하는 것에 중점을 두지만 머신러닝에서는 좋은 예측치(predictor)를 구하는 것에 중점을 둔다. 이러한 목적을 동시에 만족시키는 위해서는 양질의 데이터 확보가 전제되어야 하며, 양질의 데이터는 통계학의 근간인 임의표본(random sample)으로 정의된다. 그러나 불행하게도 거의 모든 통계학책에서는 임의표본의 정의는 있으나 구체적으로 임의표본은 어떻게 만들어지는지, 추정의 대상인 모집단과 임의표본의 관계는 어떻게 되는지, 임의표본의 조건을 만족하지 못하면 추정에 미치는 영향은 무엇인지 등의 직관적이고 자세한 설명이 빠져있다.

이 책에서는 임의표본의 개념을 간단한 그림으로 설명한 후, 왜 특성변수(또는 독립변수)가 필요한지 그리고 무슨 역할을 하는지 등을 모형의 관점에서 살펴보고, 통계학의 검정 대신 머신러닝에서는 모형의 적합도와 특성변수의 기여도를 어떻게 평가하고 측정하는지를 논의하였다. 머신러닝 모형의 기본구조를 살펴본 후, 모형개선의 관점에서 통계적 머신러닝, 딥러닝, 강화학습의 특성을 비교하여 설명하고 이들 각각에 속한 모형들을 네 가지 모형군으로 재분류해서 각 모형군의 목적과 응용 분야를 논의하였다. 또한 데이터의 시각화와 데이터 자료분석 순서를 제공하였다.

통계학의 원리와 머신러닝의 구조를 이해하기 위해서는 제1장을 꼼꼼하게 읽어보길 바란다. 1.2절의 베이지안 표본추출과정이 다소 어렵더라도 통계학 전공 여부와 관계없이, AI 분석기법을 위한 개념 정리의 관점에서 핵심적인 내용을 포함하고 있기 때문이다.

데이터의 시각화는 변수들의 분포적 특성, 목적변수와 특성변수의 관계, 특성변수의 선택 등을 파악하기 위해 매우 중요한 도구를 제공한다. 데이터 시각화를 위해 matplotlib, Seaborn, Plotly 등의 라이브러리가 있지만, 시각화를 실행할 변수를 일일이 지정하여야 하고 시각화 방법 역시 선정해야 한다. 이러한 번거로움을 피하고 단 한 줄의 코드로 데이터분석에 필요한 거의 모든 정보를 제공하는 라이브러리인 AutoViz도 소개하였다.

제2장부터는 제1장의 논의를 바탕으로 이 책의 주제인 통계적 머신러닝 모형을 분류, 회귀, 차원축소, 군집으로 분류하여 논의하였으며, 실제 데이터를 이용한 분석사례를 sklearn library를 이용해서 제시하였다. 특히 부스팅 모형인 XGBoost, LightGBM, CatBoost에 대한 논의를 총 5개의 장으로 대폭 확대해서 개편하였다. 이 세 모형은 통계적 머신러닝 모형 중 가장 뛰어난 성능을 가지고 있을 뿐만 아니라, 심지어 딥러닝 모형보다 우수한 경우가 많고 딥러닝 모형과 다르게 모형의 해석이 쉽기 때문이다. 이 세 모형의 성능은 초모수 조절로 좌우되므로 초모수 선택 방법에 대해서도 상세하게 논의하였다. 모형의 성능을 최상으로 끌어 올리기 위한 meta 모형과 학습된 모형을 자동화하여 시스템에 배치하는 방법 또한 논의하였다.

제3판은 제2판과 비교하여 내용의 질적인 면과 양적인 면이 대폭 강화되어, 분량상 부록으로 수록하였던 [파이썬의 이해]는 자유아카데미 홈페이지(www.freeaca.com) 자료실에 공개하였다. 실습에 필요한 데이터와 프로그램, 출간 후 나올 수 있는 수정사항도 자유아카데미 홈페이지를 통해 제공할 예정이니 참조하기를 바란다.

작가정보

저자(글) 박유성

*고려대학교 정경대학 통계학과 졸업
*고려대학교 대학원 석사과정 졸업(통계학 전공)
*미국 조지아대학교 대학원 졸업(통계학 박사)
*현재 고려대학교 정경대학 통계학과 교수