파이썬 데이터 분석 입문

엑셀 및 CSV 파일 처리부터 데이터베이스, 시각화, 통계분석, 자동화까지

클린턴 브라운리 지음 | 한창진 , 이병욱 옮김

한빛미디어 2017년 11월 28일 출간 종이책 : 2017년 10월 25일 출간

작품소개

책소개

엑셀의 한계를 넘어 파이썬을 이용한 데이터 분석으로

엑셀은 쉽고 직관적이지만 수백 개의 파일을 다루기는 무리다. 파이썬을 이용하면 엑셀의 한계를 넘어 다양한 형식의 데이터를 가공하고 수많은 파일을 분석할 수 있다. 이 책은 일반인을 위한 파이썬 기초부터 CSV, 엑셀, 데이터베이스의 데이터를 분석하는 파이썬 코드 작성법까지 친절하게 알려준다. 파일 파싱, 그룹화, 통계 산출, 시각화에 필요한 각종 파이썬 라이브러리도 함께 알아본다. 데이터 분석 고수가 되겠다는 의지가 있다면 프로그래밍 경험은 필요 없다.

목차

CHAPTER 1 파이썬 기초
__1.1 파이썬 스크립트를 생성하는 방법
__1.2 파이썬 스크립트 실행 방법
__1.3 명령 줄에서 유용한 팁 몇 가지
__1.4 파이썬 기본 구성 요소
__1.5 텍스트 파일 읽기
__1.6 glob을 이용해 다수의 텍스트 파일 읽기
__1.7 텍스트 파일 쓰기
__1.8 print 문
__1.9 연습 문제

CHAPTER 2 CSV 파일
__2.1 기본 파이썬 대 팬더스
__2.2 CSV 파일 읽고 쓰기(파트1)
__2.3 기본 문자열 파싱이 실패하는 경우
__2.4 CSV 파일 읽고 쓰기(파트2)
__2.5 특정 행을 필터링하기
__2.6 특정 열 선택하기
__2.7 연속된 행 선택하기
__2.8 헤더 추가하기
__2.9 여러 개의 CSV 파일 읽기
__2.10 여러 파일의 데이터 합치기
__2.11 파일에서 데이터 값의 합계 및 평균 계산하기
__2.12 연습 문제

CHAPTER 3 엑셀 파일
__3.1 엑셀 통합 문서 내부 살펴보기
__3.2 단일 워크시트 처리
__3.3 통합 문서의 모든 워크시트 읽기
__3.4 엑셀 통합 문서에서 워크시트 집합 읽기
__3.5 여러 개의 통합 문서 처리하기
__3.6 연습 문제

CHAPTER 4 데이터베이스
__4.1 파이썬 내장 모듈 sqlite3
__4.2 MySQL 데이터베이스
__4.3 연습 문제

CHAPTER 5 응용 작업
__5.1 대량의 파일에서 원하는 집합 찾기
__5.2 CSV 파일에서 카테고리별 통계치 계산하기
__5.3 텍스트 파일에서 카테고리별 통계치 계산하기
__5.4 연습 문제

CHAPTER 6 데이터 시각화
__6.1 matplotlib
__6.2 팬더스
__6.3 ggplot
__6.4 seaborn

CHAPTER 7 기술통계와 모델링
__7.1 데이터셋
__7.2 와인 품질 데이터셋
__7.3 고객 이탈 데이터셋

CHAPTER 8 스크립트 자동 실행 예약하기
__8.1 작업 스케줄러(윈도우)
__8.2 크론 유틸리티(맥 OS 및 유닉스)

CHAPTER 9 더 공부할 것들
__9.1 추가 표준 라이브러리 모듈과 내장 함수
__9.2 파이썬 패키지 인덱스(PyPI) 추가 모듈
__9.3 추가 자료구조
__9.4 더 공부해야 할 것들

출판사 서평

프로그래밍 경험이 없는 입문자를 위한 파이썬 데이터 분석 A to Z
데이터 분석가가 프로그래밍을 배우면 수작업이 불가능한 방대한 규모의 데이터를 처리하고 분석하는 것이 가능해진다. 파이썬을 활용하면 대용량 파일과 다량의 파일을 빠르고 효율적으로 처리할 수 있다. 여기에 작업 스케줄러 등을 이용하면 파이썬 스크립트를 정해진 주기에 자동으로 실행하는 것도 가능하므로 단순 반복 작업을 줄여 소중한 시간을 아낄 수 있다.
이 책은 데이터 분석을 하고 있지만 프로그래밍 경험은 전혀 없는 사람들을 대상으로 한다. 먼저 프로그래밍 경험이 전혀 없는 독자를 위해 텍스트 파일에서 코드를 작성하는 아주 기초적인 단계부터 시작한다. 그다음 CSV 파일, 엑셀 파일, 데이터베이스를 소스로 삼아 파일을 파싱하거나 데이터를 불러온 다음 처리하고 분석하고 출력하는 예제를 만들어본다. 이 과정에서 데이터 분석 실무에 자주 사용되는 주요 파이썬 패키지 사용법을 함께 익히며, 특히 팬더스를 사용한 코드와 그렇지 않은 코드를 함께 제공한다. 이러한 내용을 확장하여, 대량의 엑셀 및 CSV 파일에서 특정 레코드 찾기, CSV 파일에서 카테고리별 통계치 계산하기, 텍스트 파일을 파싱하고 카테고리별 통계치 계산하기 등 세 가지 응용 사례도 다룬다.
후반부는 데이터 분석에서 빼놓을 수 없는 시각화와 통계분석을 파이썬으로 코딩하는 방법을 살펴본다. 실무에서 사용하는 주요 패키지와 그 사용법을 익히고, t 검정, 회귀분석 등 기초적인 통계분석 예제를 살펴본다. 이어서 윈도우와 맥 OS에서 작성한 파이썬 스크립트를 정해진 시간이나 주기에 자동으로 실행하는 방법을 알아보고, 마지막으로 머신러닝, 자료구조 등 이후 더 공부할 주제를 간단히 소개한다.
프로그래밍 입문자를 위해, 예제는 곧바로 실행 가능한 완전한 코드로 구성했고, 주요 과정은 스크린샷을 함께 실었다. 이 책을 통해 코드가 작동하는 ‘원리’를 이해하면 이후 실무에서 마주칠 어떤 종류의 작업에도 일반화해서 활용할 수 있는 프로그래밍 기술을 익힐 수 있다.

주요 내용
ㆍ파이썬 기본 문법을 익혀 스크립트 작성하기
ㆍCSV 파일 읽고 파싱하기(csv, pandas)
ㆍ여러 엑셀 워크시트 읽기(xlrd)
ㆍMySQL 데이터베이스 연산 수행하기(mysqlclient)
ㆍ특정 레코드 찾기, 데이터 그룹화하기, 텍스트 파일 파싱하기
ㆍ통계 그래프와 그림 그리기(matplotlib, pandas, ggplot, seaborn)
ㆍ통계치 산출, 회귀분석, 분류 문제(statsmodels)
ㆍ윈도우와 맥 OS에서 스크립트를 정해진 시간에 자동 실행하기

예제 소스
https://git.io/vdMDw

[추천사]
파이썬으로 데이터 처리 방법을 배우고자 하는 사람에게 아주 적합한 책이다. 튜토리얼 스타일과 연습 문제로 이루어져 파이썬 언어, 프로그래밍 환경, 주요 패키지 사용법을 배우기 안성맞춤이다.
- 웨스 맥키니, 『파이썬 라이브러리를 활용한 데이터 분석』 저자

작가정보

저자(글) 클린턴 브라운리

저자 클린턴 브라운리(Clinton Brownley)는 금융 서비스를 제공하는 파운드와이즈(PoundWise)의 수석 데이터 과학자. 이전에는 4년간 페이스북 데이터 과학자로 근무하며 데이터 파이프라이닝, 통계 모델링, 데이터 시각화 프로젝트 등을 수행하여 데이터 기반 의사결정에 기여했다. 미국통계학회(ASA) 샌프란시스코 베이 에어리어 지부장을 역임한 바 있고, 세계 최대 경영과학 전문가 모임인 경영과학학회(INFORMS)의 CPMS 위원이다. 카네기 멜런 대학교에서 석사학위를, 아메리칸 대학교에서 박사학위를 취득했다.

번역 한창진

역자 한창진은 서울대학교 융합과학기술대학원에서 석사학위를 취득했다. 게임 회사에서 데이터 분석 업무를 시작했다. SBS 데이터저널리즘팀 ‘마부작침’을 결성했고, 현재 SBS 편성기획팀에서 시청률 분석 및 방송 콘텐츠 관련 빅데이터 분석을 담당하고 있다. 서울대학교 연합전공 정보문화학 교수진이기도 하다. 『그것이 알고 싶다』(엘릭시르, 2015) 집필에 참여했다.

번역 이병욱

역자 이병욱은 고려대학교 컴퓨터학과에서 컴퓨터전파통신학 석사학위를 취득했다. 현재 다음소프트의 마이닝랩에서 소셜 데이터 분석과 서비스 플랫폼 개발을 수행하고 있다. 분산처리 시스템을 활용한 머신러닝에 관심이 크다.