파이썬 시계열 예측 분석

마르쿠 페이셰이루 지음 | 동동구 옮김

제이펍 2024년 09월 11일 출간 국내도서 : 2024년 07월 15일 출간

작품소개

책소개

데이터 과학에서 시간에 따른 변화 패턴을 분석하여 다양한 예측 모델을 구축하면, 미래 예측은 물론 다양한 의사결정에 도움이 된다. 이 책에서는 파이썬 코드로 완벽하게 작동하는 시계열 예측 방법을 소개한다. 시계열 데이터를 정의하고, 베이스라인 모델을 개발하고, 통계적 모델과 텐서플로 및 최신 딥러닝 도구를 사용하여 대규모 모델 구축 방법을 학습하고, 자동화된 예측 라이브러리까지 다룬다. 구글 주가 동향, 항당뇨제 처방량 예측, 가정의 전력 소비량 예측 등 다양한 실무 사례로 시계열 예측 분석을 마스터하자.

목차

옮긴이 머리말 xiii
베타리더 후기 xiv
머리말 xvi
감사의 말 xviii
이 책에 대하여 xix
표지에 대하여 xxiii

PART I 시간은 그 누구도 기다려주지 않는다
CHAPTER 1 시계열 예측의 이해 3
1.1 시계열 소개 4
__1.1.1 시계열의 구성요소 5
1.2 시계열 예측에 대한 조감도 8
__1.2.1 목적 설정하기 10 / 1.2.2 목적을 달성하기 위해 무엇을 예측해야 하는지 결정하기 10 / 1.2.3 예측할 기간 설정하기 10 / 1.2.4 데이터 수집하기 10 / 1.2.5 예측 모델 개발하기 11 / 1.2.6 상용 환경에 배포하기 12 / 1.2.7 모니터링하기 12 / 1.2.8 새로운 데이터 수집하기 12
1.3 시계열 예측이 다른 회귀 작업들과 다른 점 13
__1.3.1 시계열에는 순서가 있다 13 / 1.3.2 시계열에 특징이 없는 경우가 있다 14
1.4 다음 단계 14
요약 15

CHAPTER 2 단순하게 미래 예측하기 16
2.1 베이스라인 모델 정의하기 18
2.2 과거 평균으로 예측하기 19
__2.2.1 베이스라인 구현을 위한 설정 20 / 2.2.2 과거 평균 기반 베이스라인 모델 구현하기 22
2.3 작년의 평균으로 예측하기 27
2.4 마지막으로 측정된 값으로 예측하기 29
2.5 단순한 계절적 예측 구현하기 31
2.6 다음 단계 32
요약 33

CHAPTER 3 확률보행 따라가보기 35
3.1 확률보행 프로세스 37
__3.1.1 확률보행 프로세스 시뮬레이션하기 37
3.2 확률보행 식별하기 40
__3.2.1 정상성 42 / 3.2.2 정상성 테스트하기 44 / 3.2.3 자기상관함수 48 / 3.2.4 모든 것을 종합하기 48 / 3.2.5 GOOGL은 확률보행인가? 52
3.3 확률보행 예측하기 55
__3.3.1 긴 기간 예측하기 55 / 3.3.2 다음 시간 단계 예측하기 61
3.4 다음 단계 64
3.5 연습 65
__3.5.1 확률보행 시뮬레이션하기와 예측하기 65 / 3.5.2 GOOGL의 일일 종가 예측하기 66 / 3.5.3 직접 선택한 종목의 일일 종가 예측하기 66
요약 67

PART 2 통계적 모델을 사용하여 예측하기
CHAPTER 4 이동평균과정 모델링하기 71
4.1 이동평균과정 정의하기 73
__4.1.1 이동평균과정의 차수 식별하기 75
4.2 이동평균과정 예측하기 80
4.3 다음 단계 90
4.4 연습 91
__4.4.1 MA(2) 프로세스 시뮬레이션하고 예측 수행하기 92 / 4.4.2 MA(q) 프로세스 시뮬레이션하고 예측 수행하기 92
요약 93

CHAPTER 5 자기회귀과정 모델링하기 94
5.1 소매점의 주간 평균 유동인구 예측하기 95
5.2 자기회귀과정 정의하기 97
5.3 정상적 자기회귀과정의 차수 찾기 98
__5.3.1 편자기상관함수 104
5.4 자기회귀과정 예측하기 107
5.5 다음 단계 114
5.6 연습 114
__5.6.1 AR(2) 프로세스 시뮬레이션하고 예측 수행하기 114 / 5.6.2 AR(p) 프로세스 시뮬레이션하고 예측 수행하기 115
요약 115

CHAPTER 6 복잡한 시계열 모델링하기 116
6.1 데이터 센터의 대역폭 사용량 예측하기 117
6.2 자기회귀이동평균과정 살펴보기 120
6.3 정상적 ARMA 프로세스 식별하기 122
6.4 일반적 모델링 절차 고안하기 128
__6.4.1 아카이케 정보 기준 이해하기 130 / 6.4.2 AIC를 사용하여 모델 선택하기 132 / 6.4.3 잔차 분석 이해하기 134 / 6.4.4 잔차 분석 수행하기 139
6.5 일반적 모델링 절차 적용하기 143
6.6 대역폭 사용량 예측하기 152
6.7 다음 단계 157
6.8 연습 157
__6.8.1 시뮬레이션된 ARMA(1,1) 프로세스에 대한 예측 수행하기 158 / 6.8.2 ARMA(2,2) 프로세스 시뮬레이션하고 예측 수행하기 158
요약 159

CHAPTER 7 비정상적 시계열 예측하기 161
7.1 자기회귀누적이동평균 모델 정의하기 164
7.2 비정상적 시계열에 적용하기 위해 일반적 모델링 절차 수정하기 165
7.3 비정상적 시계열 예측하기 167
7.4 다음 단계 177
7.5 연습 177
__7.5.1 4장, 5장, 6장의 데이터 집합에 ARIMA(p,d,q) 모델 적용하기 177
요약 178

CHAPTER 8 계절성 고려하기 179
8.1 SARIMA(p,d,q)(P,D,Q)m 모델 살펴보기 180
8.2 시계열에서 계절별 패턴 식별하기 183
8.3 월간 항공 승객 수 예측하기 187
__8.3.1 ARIMA(p,d,q) 모델을 사용하여 예측하기 190 / 8.3.2 SARIMA(p,d,q)(P,D,Q)m 모델을 사용하여 예측하기 196 / 8.3.3 각 예측 방법의 성능 비교하기 200
8.4 다음 단계 203
8.5 연습 203
__8.5.1 존슨앤드존슨 데이터 집합에 SARIMA(p,d,q)(P,D,Q)m 모델 적용하기 203
요약 204

CHAPTER 9 모델에 외생 변수 추가하기 205
9.1 SARIMAX 모델 살펴보기 207
__9.1.1 미국 거시경제 데이터 집합의 외생 변수 탐색하기 208 / 9.1.2 SARIMAX 사용 시 유의사항 211
9.2 SARIMAX 모델을 사용하여 실질 GDP 예측하기 212
9.3 다음 단계 221
9.4 연습 222
__9.4.1 SARIMAX 모델에 모든 외생 변수를 사용하여 실질 GDP 예측하기 222
요약 222

CHAPTER 10 다중 시계열 예측하기 223
10.1 VAR 모델 살펴보기 225
10.2 VAR(p) 모델에 대한 모델링 절차 설계하기 227
__10.2.1 그레인저 인과관계 테스트 살펴보기 229
10.3 실질 가처분 소득과 실질 소비 예측하기 230
10.4 다음 단계 242
10.5 연습 243
__10.5.1 VARMA 모델을 사용하여 realdpi와 realcons 예측하기 243 /10.5.2 VARMAX 모델을 사용하여 realdpi와 realcons 예측하기 244
요약 244

CHAPTER 11 캡스톤 프로젝트: 호주의 항당뇨제 처방 건수 예측하기 245
11.1 필요한 라이브러리 임포트하고 데이터 로딩하기 247
11.2 수열과 그 구성요소 시각화하기 248
11.3 데이터로 모델링하기 250
__11.3.1 모델 선택 수행하기 253 / 11.3.2 잔차 분석 수행하기 254
11.4 예측을 수행하고, 모델 성능 평가하기 256
11.5 다음 단계 260

PART 3 딥러닝을 활용하여 대규모 예측하기
CHAPTER 12 시계열 예측을 위한 딥러닝 소개하기 263
12.1 시계열 예측에 딥러닝을 사용해야 하는 경우 264
12.2 다양한 유형의 딥러닝 모델 살펴보기 265
12.3 예측을 위한 딥러닝 적용 준비하기 268
__12.3.1 데이터 탐색 수행하기 268 / 12.3.2 특징 엔지니어링과 데이터 분할 272
12.4 다음 단계 277
12.5 연습 277
요약 278

CHAPTER 13 딥러닝을 위해 데이터 윈도잉하고 베이스라인 모델 만들기 279
13.1 데이터 윈도우 만들기 280
__13.1.1 시계열 예측을 위한 딥러닝 모델을 훈련하는 방법 살펴보기 280
__13.1.2 DataWindow 클래스 구현하기 284
13.2 베이스라인 모델 적용하기 292
__13.2.1 단일 단계 베이스라인 모델 292
__13.2.2 다중 단계 베이스라인 모델 295
__13.2.3 다중 출력 베이스라인 모델 299
13.3 다음 단계 303
13.4 연습 303
요약 304

CHAPTER 14 딥러닝 첫걸음 305
14.1 선형 모델 구현하기 306
__14.1.1 단일 단계 선형 모델 구현하기 307 / 14.1.2 다중 단계 선형 모델 구현하기 309 / 14.1.3 다중 출력 선형 모델 구현하기 311
14.2 심층 신경망 구현하기 312
__14.2.1 단일 단계 모델로 심층 신경망 구현하기 314 / 14.2.2 다중 단계 모델로 심층 신경망 구현하기 317 / 14.2.3 다중 출력 모델로서 심층 신경망 구현하기 319
14.3 다음 단계 320
14.4 연습 321
요약 322

CHAPTER 15 LSTM으로 과거 기억하기 323
15.1 순환 신경망 살펴보기 324
15.2 LSTM 아키텍처 살펴보기 326
__15.2.1 망각 게이트 327 / 15.2.2 입력 게이트 329 / 15.2.3 출력 게이트 330
15.3 LSTM 아키텍처 구현하기 332
__15.3.1 단일 단계 모델로서 LSTM 구현하기 332 / 15.3.2 다중 단계 모델로서 LSTM 구현하기 335 / 15.3.3 다중 출력 모델로서 LSTM 구현하기 338
15.4 다음 단계 341
15.5 연습 342
요약 343

CHAPTER 16 CNN으로 시계열 필터링하기 344
16.1 CNN 살펴보기 345
16.2 CNN 구현하기 349
__16.2.1 CNN을 단일 단계 모델로서 구현하기 350 / 16.2.2 CNN을 다중 단계 모델로서 구현하기 354 / 16.2.3 CNN을 다중 출력 모델로서 구현하기 356
16.3 다음 단계 359
16.4 연습 359
요약 361

CHAPTER 17 예측으로 더 많은 예측하기 362
17.1 ARLSTM 아키텍처 살펴보기 363
17.2 자기회귀 LSTM 모델 구축하기 364
17.3 다음 단계 370
17.4 연습 371
요약 371

CHAPTER 18 캡스톤 프로젝트: 가정의 전력 소비량 예측하기 372
18.1 캡스톤 프로젝트 이해하기 373
__18.1.1 캡스톤 프로젝트의 목표 375
18.2 데이터 랭글링 및 전처리하기 376
__18.2.1 누락된 데이터 처리하기 377 / 18.2.2 데이터 변환 379 / 18.2.3 데이터 리샘플링하기 379
18.3 특징 엔지니어링 382
__18.3.1 불필요한 열 제거하기 383 / 18.3.2 계절적 기간 식별하기 383 / 18.3.3 데이터를 분할하고 규모 조정하기 386
18.4 딥러닝으로 모델링할 준비하기 387
__18.4.1 초기 설정 387 / 18.4.2 DataWindow 클래스 정의하기 389 / 18.4.3 모델 훈련을 위한 유틸리티 함수 391
18.5 딥러닝으로 모델링하기 392
__18.5.1 베이스라인 모델 392 / 18.5.2 선형 모델 396 / 18.5.3 심층 신경망 397 / 18.5.4 장단기 메모리 모델 398 / 18.5.5 합성곱 신경망 399 / 18.5.6 CNN과 LSTM 결합하기 401 / 18.5.7 자기회귀 LSTM 모델 402 / 18.5.8 최적의 모델 선택하기 404
18.6 다음 단계 406

PART 4 대규모 예측 자동화하기
CHAPTER 19 Prophet으로 시계열 예측 자동화하기 409
19.1 자동화된 예측 라이브러리들에 대한 개관 410
19.2 Prophet 살펴보기 412
19.3 Prophet을 사용하여 기본적 예측해보기 414
19.4 Prophet의 고급 기능 살펴보기 420
__19.4.1 시각화 기능 421 / 19.4.2 교차 검증과 성능 지표 425 / 19.4.3 하이퍼파라미터 튜닝 429
19.5 Prophet으로 견고한 예측 절차 구현하기 432
__19.5.1 예측 프로젝트: 구글에서 ‘chocolate’ 검색의 인기도 예측하기 434 / 19.5.2 실험: SARIMA가 더 나을 수도 있을까? 442
19.6 다음 단계 446
19.7 연습 447
__19.7.1 항공 승객 수 예측하기 447 / 19.7.2 항당뇨제 처방 건수 예측하기 447 / 19.7.3 구글 트렌드에서 키워드의 인기도 예측하기 447
요약 448

CHAPTER 20 캡스톤 프로젝트: 캐나다의 스테이크 월평균 소매 가격 예측하기 449
20.1 캡스톤 프로젝트의 이해 450
__20.1.1 캡스톤 프로젝트의 목표 450
20.2 데이터 전처리와 시각화 451
20.3 Prophet을 사용한 모델링 453
20.4 선택사항: SARIMA 모델 개발하기 459
20.5 다음 단계 464

CHAPTER 21 한 단계 더 나아가기 466
21.1 배운 내용 요약하기 467
__21.1.1 예측을 위한 통계적 방법 467 / 21.1.2 예측을 위한 딥러닝 방법 468 / 21.1.3 예측 절차 자동화 469
21.2 예측이 실패하면 무엇을 해야 할까? 470
21.3 시계열 데이터의 다른 응용 분야 472
21.4 계속 연습하기 473

APPENDIX A 설치 지침 475

찾아보기 479

책 속으로

이 책은 전적으로 시계열 예측에 초점을 맞추고 있다. 우선 더 복잡한 모델의 기준점이 될 수 있는 간단한 예측 방법을 배울 것이다. 그다음으로 이동평균 모델과 자기회귀 모델이라는 두 가지 통계적 학습 기법을 사용하여 예측을 수행해본다. 이러한 기법들은 비정상성(non-stationarity), 계절성 효과, 외생 변수의 영향을 다룰 수 있는 더 복잡한 모델들의 기초가 될 것이다. 그 후 통계적 학습 기법에서 딥러닝 기법으로 전환하여, 통계적 학습보다 딥러닝이 더 좋은 성능을 보이는 경우인, 고차원이자 대규모의 시계열에 대해 예측하는 시나리오를 살펴본다. (4쪽)

확률보행 모델을 사용하여 GOOGL의 일일 종가를 모델링할 수 있다는 점을 확인해보겠다. 이를 위해 먼저 프로세스가 정상적인지 확인해야 한다. 비정상적 프로세스인 경우, 프로세스를 정상적으로 만들기 위해 차분과 같은 변환을 적용해야 한다. 그런 다음 자기상관함수(autocorrelation function, ACF)를 도식화하여 GOOGL의 일일 종가를 확률보행 모델로 근사화할 수 있는지 확인할 수 있다. 이번 장에서는 차분과 자기상관함수 도식화를 모두 다룰 것이다. 마지막으로 GOOGL의 미래 종가를 예측하는 것으로 이번 장을 마무리하겠다. (36쪽)

이번 장에서는 자기회귀이동평균과정(autoregressive moving average process)인 ARMA(p,q)를 살펴보겠다. 여기서 p는 자기회귀 부분의 차수를 나타내고, q는 이동평균 부분의 차수를 나타낸다. (중략) 이 절차에는 아카이케 정보 기준(Akaike information criterion, AIC)을 사용한 모델 선택을 포함하며, 이를 통해 시계열에 대한 최적의 p와 q 조합을 결정한다. 그런 다음, 모델 잔차의 상관관계도인 Q-Q 도식 및 밀도 도식을 검토하여 모델 잔차가 백색소음과 유사한지 평가하는 잔차 분석(residual analysis)을 통해 모델의 유효성을 평가해야 한다. 만약 유효한 것으로 판정된다면 ARMA(p,q) 모델을 사용하여 시계열을 예측하는 단계로 넘어갈 수 있다. (117쪽)

예를 들어 시간별 기온을 예측해야 한다고 가정해보자. 밤에는 기온이 낮보다 낮고 낮에는 기온이 높은 경향이 있으므로 일별 계절성이 있다고 가정하는 것이 합리적이지만, 겨울에는 기온이 낮고 여름에는 기온이 높기 때문에 연간 계절성도 존재한다. 이러한 경우 딥러닝을 사용하여 두 계절의 정보를 모두 활용해 예측할 수 있다. (중략) 결국 딥러닝은 통계적 모델을 피팅하는 데 너무 많은 시간이 걸리거나, 백색소음에 가깝지 않고 상관관계가 있는 잔차가 있을 때 사용한다. 이는 모델에서 고려할 수 없는 다른 계절적 기간이 존재하거나 단순히 특징과 대상 간에 비선형 관계가 있기 때문일 수도 있다. 이러한 경우 딥러닝 모델을 사용하여 이런 비선형 관계를 포착할 수 있으며, 훈련 속도가 매우 빠르다는 추가적인 이점도 있다. (264쪽)

순환 신경망(RNN)의 특정 사례인 장단기 메모리(LSTM)라는 고급 아키텍처를 살펴보겠다. 이 유형의 신경망은 순서가 중요한 데이터 배열을 처리하는 데 사용된다. RNN과 LSTM의 일반적인 응용 분야 중 하나는 자연어 처리다. 문장의 단어에는 순서가 있으며, 그 순서를 바꾸면 문장의 뜻이 완전히 달라질 수 있다. 따라서 텍스트 분류나 텍스트 생성 알고리즘의 배후에는 이러한 아키텍처가 있는 경우가 많다. / 데이터의 순서가 중요한 또 다른 상황은 시계열이다. 시계열은 시간상 동일한 간격을 차지하는 데이터들의 연속이며 순서를 변경할 수 없다는 것을 알고 있다. 오전 9시에 관측된 데이터 요소는 오전 10시에 관측된 데이터 요소보다 앞에, 오전 8시에 관측된 데이터 요소보다 뒤에 있어야 한다. 따라서 시계열을 예측하는 데 LSTM 아키텍처를 적용하는 것은 합리적이다. (323쪽)

수작업으로 모델을 구축하고 조정하면 예측 기법을 유연하고 완벽하게 제어할 수 있지만, 대부분의 예측 절차를 자동화하면 시계열을 더 쉽게 예측하고 실험을 가속화할 수 있다는 점에서 의미가 있다. 즉 자동화 도구는 예측을 빠르게 얻을 수 있도록 하며, 종종 최신 모델의 사용을 용이하게 하기 때문에 자동화 도구를 이해하는 것은 중요하다. (409쪽)

출판사 서평

R에서 파이썬으로 전환하는 시계열 데이터 과학

전통적인 통계 분석에서 R은 훌륭한 언어지만, 만능에 가까운 파이썬으로 대체할 수 있다면 통계 분석은 물론 딥러닝 모델과 자동화된 예측 라이브러리까지 다양한 활용이 가능해진다. 마르쿠 페이셰이루는 시계열 예측을 공부하며 R로 되어 있는 많은 코드를 파이썬으로 변환하며 학습하였고, 파이썬 기반 시계열 예측에 대한 종합적인 참고 자료로 만들고자 이 책을 썼다.
이 책은 파이썬을 이용하여 이동평균, 자기회귀, SARIMAX 등 통계적 모델을 기반으로 한 예측 분석부터, LSTM, CNN 아키텍처 등 딥러닝 기반 예측, Prophet, SARIMAX 모델을 이용한 자동화된 예측 라이브러리까지 다루고 있다. 특히 주제별로 적절한 예시를 통해 데이터 수집부터 모델을 구축하고 예측값을 찾는 과정을 차근차근 보여준다. 독자는 실습을 따라 하며 예측값과 실젯값이 점점 가까워지는 경험을 하게 될 것이다.
데이터 과학에서 시간의 변화는 무시할 수 없는 중요한 요소다. 구글 주가 동향, 데이터 센터의 대역폭 사용량 예측, 월간 항공 승객 수 예측, 항당뇨제 처방량 예측, 가정의 전력 소비량 예측 등 다양한 실무 예제를 통해 시계열 예측 분석 기법을 차근차근 배워보자. 이 책을 마치고 나면 당장 실무에서 사용할 수 있는 다양한 시계열 데이터 과학 기술을 익힐 수 있을 것이다.

주요 내용
● 시계열 데이터의 개념과 기본 모델 개발
● 이동평균, 자기회귀, SARIMAX 등 통계적 모델 기반 예측
● LSTM, CNN 아키텍처 등 딥러닝 기반 예측
● Prophet, SARIMAX 모델을 이용한 자동화된 예측 라이브러리

작가정보

저자(글) 마르쿠 페이셰이루

(Marco Peixeiro)
캐나다 대형 은행의 선임 데이터 과학자다. 데이터 과학을 독학했고, 금융 업계에 취업하고 일하기 위해 알아야 할 것들에 대해 다양하게 공부했다. 실습에 기반한 학습법을 추구하며, 미디엄 블로그, 온라인 강좌 등으로 지식을 전파하고 있다.

번역 동동구

현재 전략 기획 업무를 수행하고 있다. 이전에는 B2C 및 B2B 웹 애플리케이션, Brew/WIPI/SKVM 등의 피처폰 애플리케이션, iOS/안드로이드/윈도우폰/타이젠 애플리케이션 등의 설계 및 개발, 엔지니어 관리 업무를 수행했다. 최근에는 국내 개발자들을 위해 IT 서적을 번역하고 있으며, 옮긴 책으로는 《MLOps 도입 가이드》, 《파이썬 비동기 라이브러리 Asyncio》(이상 한빛미디어)가 있다.