파이썬으로 데이터 주무르기

독특한 예제를 통해 배우는 데이터 분석 입문

민형기 지음

비제이퍼블릭 2019년 03월 19일 출간 종이책 : 2017년 12월 29일 출간

작품소개

책소개

독특한 예제를 통해 배우는 데이터 분석 입문

이 책은 누구나 한 권 이상 가지고 있을 파이썬 기초 문법책과 같은 내용이 아닌, 데이터 분석이라는 특별한 분야에서 초보를 위해 처음부터 끝까지 파이썬으로 진행되는 과정을 다룹니다. 서울시 범죄 현황 분석, 셀프 주유소 가격 정보 분석, 19대 대선 결과 분석 등 흥미 있는 목표를 이루기 위해서 파이썬의 기초를 익히고, 데이터를 다루고 분석하는 데 필요한 과정을 대화 형식으로 전개하면서 필요한 기초 내용은 그때 그때 습득하고자 합니다. 마치 파이썬에 대해 잘 모르는 독자가 구글에서 검색하며 코드 한 줄 한 줄을 완성해가는 느낌으로 기술했습니다.

대부분의 장에는 뚜렷한 목표가 있습니다. 항상 시작은 데이터를 얻는 법을 먼저 다루게 되고, 그 데이터를 정제하거나 변경해가며 목표를 이루는 과정을 보여줍니다. 필요하다면 해당 모듈의 튜토리얼을 가지고 와서 기초를 설명하고자 합니다. 아마 이 책을 다 읽고 나면 파이썬이, 또 파이썬으로 수행하는 데이터 분석의 세계가 아주 흥미롭다는 것을 알게 될 것입니다.

목차

1장 서울시 구별 CCTV 현황 분석
1-1 CCTV 현황과 인구 현황 데이터 구하기
1-2 파이썬에서 텍스트 파일과 엑셀 파일을 읽기 pandas
1-3 pandas 기초 익히기
1-4 pandas를 이용해서 CCTV와 인구 현황 데이터 파악하기
1-5 pandas 고급 기능 두 DataFrame 병합하기
1-6. CCTV 데이터와 인구 현황 데이터를 합치고 분석하기
1-7 파이썬의 대표 시각화 도구 Matplotlib
1-8 CCTV 현황 그래프로 분석하기

2장 서울시 범죄 현황 분석
2-1 데이터 획득하기
2-2 pandas를 이용하여 데이터 정리하기
2-3 지도 정보를 얻을 수 잇는 Google Maps
2-4 Google Maps를 이용해서 주소와 위도, 경도 정보 얻기
2-5 pandas의 pivot_table 학습하기
2-6 Pivot_table을 이용해서 데이터 정리하기
2-7 데이터 표현을 위해 다듬기
2-8 좀 더 편리한 시각화 도구 Seaborn
2-9 범죄 데이터 시각화하기
2-10 지도 시각화 도구 Folium
2-11 서울시 범죄율에 대한 지도 시각화
2-12 서울시 경찰서별 검거율과 구별 범죄 발생율을 동시에 시각화하기

3장 시카고 샌드위치 맛집 분석
3-1. 웹 데이터를 가져오는 Beautiful Soup 익히기
3-2 크롬 개발자 도구를 이용해서 원하는 태그 찾기
3-3 실전: 시카고 샌드위치 맛집 소개 사이트에 접근하기
3-4. 접근한 웹 페이지에서 원하는 데이터 추출하고 정리하기
3-5 다수의 웹 페이지에 자동으로 접근해서 원하는 정보 가져오기
3-6 Jupyter Notebook에서 상태 진행바를 쉽게 만들어주는 tqdm 모듈
3-7 상태 진행바까지 적용하고 다시 샌드위치 페이지 50개에 접근하기
3-8 50개 웹 페이지에 대한 정보 가져오기
3-9 맛집 위치를 지도에 표기하기
3-10 네이버 영화 평점 기준 영화의 평점 변화 확인하기
3-11 영화별 날짜 변화에 따른 평점 변화 확인하기

4장 셀프 주유소는 정말 저렴할까
4-1 Selenium 사용하기
4-2 서울시 구별 주유소 가격 정보 얻기
4-3. 구별 주유 가격에 대한 데이터의 정리
4-4. 셀프 주유소는 정말 저렴한지 boxplot으로 확인하기
4-5. 서울시 구별 주유 가격 확인하기
4-6. 서울시 주유 가격 상하위 10개 주유소 지도에 표기하기

5장 우리나라 인구 소멸 위기 지역 분석
5-1 목표 명확히 하기
5-2 인구 데이터 확보하고 정리하기
5-3 인구 소멸 위기 지역 계산하고 데이터 정리하기
5-4. 대한민국 지도 그리는 방법에 대한 소개
5-5. 지도 시각화를 위해 지역별 고유 ID 만들기
5-6. Cartogram으로 우리나라 지도 만들기
5-7. 인구 현황 및 인구 소멸 지역 확인하기
5-8. 인구 현황에서 여성 인구 비율 확인하기
5-9. Folium에서 인구 소멸 위기 지역 표현하기

6장 19대 대선 결과 분석
6-1 Selenium과 Beautiful Soup을 이용한 데이터 획득 준비 작업
6-2 19대 대선 개표 결과 데이터 획득하기
6-3 각 후보의 득표율과 지역 ID 정리
6-4. 19대 대선 결과 득표율 시각화하기

7장 시계열 데이터를 다뤄보자
7-1. Numpy의 polyfit으로 회귀(regression) 분석하기
7-2. Prophet 모듈을 이용한 forecast 예측
7-3. Seasonal 시계열 분석으로 주식 데이터 분석하기
7-4. Growth Model과 Holiday Forecast

8장 자연어 처리 시작하기
8-1 한글 자연어 처리 기초 - KoNLPy 및 필요 모듈의 설치
8-2 한글 자연어 처리 기초
8-3 워드 클라우드
8-4 육아휴직 관련 법안에 대한 분석
8-5 Naive Bayes Classifier 의 이해 영문
8-6 Naive Bayes Classifier 의 이해 한글
8-7 문장의 유사도 측정하기
8-8 여자 친구 선물 고르기

출판사 서평

이 책의 특징
- Pandas, Matplotlib, numpy, folium, KoNLPy, Beautiful Soup, Selenium 등 데이터 분석과 시각화에 필요한 많은 모듈을 다룬다.
- 정확한 목표를 가진 실제 프로젝트를 다수 수행하면서 프로젝트 단위로 데이터 분석을 학습할 수 있다.
- Python이 처음인 독자라도 프로젝트를 수행할 수 있도록 설명한다.

이 책이 필요한 독자
- Python을 공부했지만 실제로 어디에 어떻게 적용하는지 궁금한 독자
- 데이터 분석을 통해 얻을 수 있는 결과를 학습과 동시에 경험하고 싶은 독자
- 프로그래밍 언어가 처음이지만 단기간에 성과를 얻고 싶은 독자

대상독자
초중급

소스코드
https://github.com/bjpublic/DataScience

인터넷에서 데이터를 얻어서 원하는 형태로 가공하고 결론을 얻는 과정은 최근 데이터 과학이라는 이름으로 광범위하게 인기를 얻고 있습니다. 실제로 꼭 빅데이터가 아니라도 방대한 인터넷의 자료를 정리하기 위해서도 필요한 기술들입니다. 예전에는 전문 분야에서만 사용되던 기술이 이제는 급격하게 일반에 확장되어가고 있습니다. 인터넷의 발전과 함께 앞으로도 계속 관심을 받을 분야일 것입니다.
이 책은 Python 문법 입장에서는 정말 기초적인 부분을 학습하지만, 데이터 분석이 목표인 사람들을 타겟으로 서울시 범죄 현황 분석, 셀프 주유소 가격 정보 분석, 19대 대선 결과 분석 등의 흥미 있는 목표를 통해 텍스트, 엑셀 파일부터 웹데이터까지 데이터를 획득하고 이를 가공해서 표현하는 기술을 익힙니다. 더 나아가 회귀, 분류 등 한 단계 높은 수준의 데이터 분석 기술까지 학습할 수 있게 될 것입니다.

작가정보

저자(글) 민형기

저자 민형기는 국립창원대학교 제어계측공학과에서 제어공학을 전공하고 공학 박사 학위를 받았다. 엔티렉스 로봇연구소 소장, 미래컴퍼니 수술로봇 연구소 책임연구원 등을 역임했고, 국가직무능력표준(NCS) 중에서 로봇 인공 지능/기계 하드웨어 학습 모듈 개발에 참여했다. 군사용 로봇, 수술용 로봇, 3D 프린터, 스마트폰 광학 영상 안정화(OIS) 등 다양한 형태의 로봇 혹은 제어 기술 개발에 참여하면서, 로봇이 수집한 다양한 데이터를 분석하는 과정을 다수 경험했다. 일상 생활의 질문을 데이터 분석을 통해 직접 확인하는 것이 취미이며, 현재 로봇부터 데이터 과학까지 다루는 블로그(http://pinkwink.kr)를 운영하고 있다. 최근에는 작은 스타트업인 로봇앤모어의 수석연구원으로서 재미있는 로봇에 대한 연구 개발을 수행하고 있다.