한 권으로 끝내는 Pandas 기반 데이터 전처리

Andrew. J 지음

작가와 2025년 06월 11일 출간

작품소개

책소개

오늘날 데이터 분석은 다양한 산업 분야에서 핵심적인 역할을 하며, 데이터를 효과적으로 활용하는 것이 곧 경쟁력으로 직결됩니다. 그 가운데 Pandas는 파이썬 기반의 데이터 분석에서 없어서는 안 될 도구로 자리 잡았습니다. 데이터의 전처리, 정제, 분석, 통계 계산 등 폭넓은 기능을 제공하며, 파이썬 생태계에서 가장 널리 사용되는 라이브러리 중 하나입니다.
데이터 전처리에 자주 사용되는 또 다른 라이브러리로는 NumPy가 있습니다. NumPy는 고속의 수치 계산을 위해 설계된 강력한 도구로, 배열 기반 연산에 최적화되어 있습니다. 그러나 실제 업무나 연구 현장에서 다루는 데이터는 단순한 숫자 배열이 아닌 경우가 많습니다. 예를 들어 고객 정보, 거래 내역, 센서 로그, 시간에 따른 변화 데이터처럼 문자열, 날짜, 결측치 등이 혼합된 복합적이고 구조화된 데이터가 주를 이룹니다. 이러한 데이터를 처리하기 위해서는 보다 유연하고 직관적인 도구가 필요합니다.
바로 이 지점에서 Pandas의 강점이 두드러집니다. Pandas는 Series와 DataFrame이라는 자료 구조를 통해 다양한 타입의 데이터를 열 단위로 자연스럽게 처리할 수 있으며, 인덱스를 활용한 정렬, 필터링, 그룹 연산, 결측치 처리 등 현실적인 데이터 전처리 요구를 간결한 코드로 해결할 수 있도록 돕습니다. 단순한 수치 계산을 넘어 전처리 단계에서의 생산성을 크게 높여주는 Pandas는 실무 분석의 시작점에서 매우 유용한 도구입니다.
따라서 이 책은 실무에서 자주 접하는 전처리, 분석, 시각화 등의 작업을 중심으로 Pandas를 집중적으로 다룹니다. NumPy도 중요한 기반 도구이지만, 실제 분석 흐름에서 Pandas의 역할이 더욱 크다고 판단하여, 독자가 실전에서 바로 활용할 수 있는 실용적 역량을 갖추도록 Pandas에 보다 많은 비중을 두었습니다.
하지만 많은 사람들이 Pandas의 강력한 기능을 제대로 활용하지 못하거나, 방대한 문서와 함수 목록 속에서 혼란을 겪는 경우가 많습니다. 저자 또한 산업 현장에서 데이터 자동화 및 소프트웨어 개발 업무를 수행하며 Pandas를 처음 접했을 때, 학습과 적용 과정에서 많은 시행착오를 겪었습니다. 물론 인터넷 검색이나 다양한 서적에서 정보를 찾을 수 있지만, 핵심 개념과 함수들을 체계적으로 정리한 자료, 그리고 실제 업무에 어떻게 적용할 수 있는지에 대한 명확한 가이드는 부족하다는 아쉬움을 느꼈습니다.
최근 ChatGPT와 같은 생성형 AI의 등장으로 Pandas 활용은 훨씬 쉬워졌지만, AI가 제안하는 코드가 정말 의도한 목적에 부합하는지, 또는 더 나은 방법은 없는지를 판단하려면 기본 개념과 문법에 대한 탄탄한 이해가 필요합니다. 특히 업무 도메인과 코드 맥락이 반영되어야 제대로 된 결과를 얻을 수 있기 때문에, 핵심 기능을 빠르게 찾아보고 즉시 적용할 수 있도록 돕는 실용적인 참고서가 그 어느 때보다 절실합니다.
물론 시중에도 Pandas 관련 서적이 많이 출간되어 있지만, 필요한 함수나 문법을 빠르게 찾기 어렵고, 책이 방대해지면서 핵심 내용이 한눈에 정리되지 않는다는 점이 아쉬움으로 남았습니다. 따라서 이 책은 학습용 자료일 뿐만 아니라, 현업에서 바로 활용할 수 있는 실용적인 참고서로 구성했습니다.

목차

서문 10
Part 1: 핵심 기능 요약 12
Dataframe 생성 12
Dataframe 데이터 조회 (Viewing) 15
Dataframe 중 일부 요소 선택 16
Dataframe 모양 변형 (reshape) 19
Dataframe sorting, 칼럼/index 재설정 20
Dataframe 중복 값 / Null 값 탐지 및 제거 22
Dataframe 기본 통계 24
Dataframe 그룹핑 26
Dataframe 결합 27
Dataframe 내 string 변수 핸들링 29
Dataframe 내 datetime 변수 핸들링 32
Dataframe 내 data type 변환 34
Dataframe 요소 별 함수 mapping (apply 함수 중심) 36
Dataframe Input/Output 38
Dataframe Plotting 41
Part 2: 세부 기능 정리 43
Dataframe & Series의 기초 43
Series의 개념과 생성 44
Series 객체의 기본 연산 원칙 44
Dataframe의 개념과 생성 45
Dataframe의 칼럼 선택, 추가, 제거 47
함수 기반 dataframe 새 칼럼 추가 50
Dataframe indexing 52
Dataframe 객체의 기본 연산 원칙 & 빈 칸 채우기 54
Dataframe 기본 통계 및 정보 추출 56
Dataframe 관련 display option 정리 59
Dataframe 데이터 기본 속성과 viewing 61
Boolean reduction 62
index 재구조화 63
Dataframe iteration 67
Dataframe sorting 기본 69
Dataframe copy 72
Dataframe 지원 data type 73
Dataframe I/O 76
csv/txt 파일 읽기 76
csv/txt 파일 출력 83
json 파일 읽기 85
json 파일 쓰기 88
중첩된 json 파일 풀기 90
excel 파일 읽기 93
excel 파일 쓰기 97
HDF5 파일 읽기 99
HDF5 파일 쓰기 102
HDF5의 계층적 key 구조 고려 103
parquet 파일 읽기 105
parquet 파일 쓰기 106
sql query에서 dataframe 으로 변환 107
dataframe에서 DB table update 109
Dataframe indexing & selecting 심화 110
index 객체 및 여러 종류 111
index 객체 내 여러 속성 및 메소드 113
multi-index 정의 및 생성법 115
Multi-index에서의 indexing 117
Multi-index 재구조화 120
Lambda 사용한 selection 122
random sampling 125
where and mask 126
query 127
take 129
칼럼 값 / 인덱스 중복값 처리 130
두 Dataframe의 결합과 비교 132
concat 132
merge 134
join 136
compare 139
Dataframe 재구조화 139
pivot 140
stack/unstack 143
melt 145
one-hot coding 147
explode 148
Grouping 149
groupby 기본 149
groupby에 사용되는 기본적인 집계함수 정리 152
grouped 된 데이터에 대한 sorting 154
grouped 된 데이터에 대한 반복문, 특정 그룹 선택 155
사용자 정의 함수 기반 집계 로직 157
transform 159
filtration 160
rolling window 161
rolling 기본 162
rolling 지원 method 162
window 정렬 164
weighted window 164
expanding window 166
exponential weighting window 166
string 변수 특화 핸들링 168
string의 두 데이터 type: object / stringDtype 168
검사 관련 string method 169
데이터 변경 관련 string method 170
검색 및 치환 관련 string method 173
문자열 분할 및 결합 관련 string method 174
정렬 및 포맷팅 관련 string method 175
정규표현식 처리 관련 string method 176
범주형 데이터 핸들링 177
범주형 데이터의 정의 및 생성방법 178
범주형 데이터 handling 기본 method 181
범주형 데이터 sorting 182
범주형 데이터 간 비교 183
범주형 데이터 grouping 184
범주형 데이터 handling 시 주기사항 185
Datetime 변수 특화 핸들링 188
Pandas 내 시간 관련 데이터 유형 188
문자열/기타 dataframe 데이터에서 timestamp 데이터로 변환 189
에포크 시간과 사용자 지정 origin 기반 datetime 값 생성 191
timestamp 시간 범위 생성 192
timestamp 데이터 인덱싱 196
datetime 데이터 .dt 속성 197
datetime 데이터 .dt 메소드 199
Time-series shifting 과 frequency conversion 200
Time-series 결측치 처리 201
resampling 203
period 206
periodindex 208
Timezone handling 211
Timedelta 213
Timedelta 관련 여러 연산 215
Timedelta 집계함수 216
Timedelta 단위 변환 217
Timedeltaindex 218
차트 시각화 219
plotting 기본 220
plt.figure, plt.subplot 222
plotting 에 대한 argument 별 상세 223
부록: pandas option 234

책 속으로

이 책은 다음과 같은 방식으로 구성되어 있습니다:
- 핵심 기능 요약 – 가장 기본적이고 자주 사용되는 기능을 한눈에 파악할 수 있도록 정리했습니다.
- 세부 기능 정리 – 주요 기능을 영역별로 나누어, 자주 사용하는 함수를 쉽게 찾아볼 수 있도록 구성했습니다.
이 책은 Pandas를 처음 접하는 입문자는 물론, Pandas를 더 효율적으로 활용하고자 하는 중급 사용자까지 폭넓은 독자층을 대상으로 합니다. 특히 현업에서 데이터 분석을 수행하는 분들에게는 실무에 바로 적용할 수 있는 실용적인 레퍼런스로 활용되기를 기대합니다.
처음 Pandas를 접하는 독자라면 처음부터 차근차근 읽어보는 방식을 추천드리며, 이미 사용 경험이 있는 분이라면 목차나 코드 인덱스를 활용하여 필요한 정보를 빠르게 찾아보는 참고서처럼 활용할 수 있습니다.
이 책은 실무에서 자주 사용하는 기능에 집중했기 때문에, Pandas의 모든 기능을 다루지는 않습니다. 이는
- 핵심 개념이 흐려지는 것을 방지하고,
- 책의 분량이 과도하게 길어지는 것을 피하며,
- 자주 사용되지 않는 기능은 공식 문서나 인터넷을 통해 쉽게 확인할 수 있기 때문입니다.
결국 이 책의 목표는 Pandas의 큰 그림을 머릿속에 그릴 수 있도록 돕는 것입니다. 실무에서 자주 활용되는 핵심 기능에 집중하고, 사용 빈도가 낮거나 지엽적인 내용은 과감히 제외했습니다.
먼저 핵심 기능 요약 섹션을 눈에 익히고, 이어서 세부 기능 정리의 다양한 예제를 직접 따라 하며 '머리'가 아닌 '손'으로 Pandas를 익혀보시길 권합니다.

인물정보

저자(글) Andrew. J

스마트팩토리 분야 전문 엔지니어로, python 비롯한 IT 기술에 관심이 많습니다.