웹 크롤링 & 데이터 분석 with 파이썬

장철원 지음

인사이트 2022년 02월 15일 출간 종이책 : 2022년 01월 24일 출간

작품소개

책소개

인터넷 정보를 요리하는 자동화 기술, 웹 크롤링!

내가 좋아하는 스포츠 팀의 성적 데이터를 자동으로 가져와 분석해 봅시다. 최근에 부동산 가격이 올라가는 지역이 어딘지 궁금하다면 공공 사이트에서 데이터를 가져와 분석해 봅시다. 주식 정보는 어떤가요? 매일 변동하는 주가를 데이터베이스에 저장했다가, 필요할 때마다 그래프 형태로 불러와 변동 추이를 살펴보는 것도 재미있지 않을까요?

처음 만나는 웹 크롤링 입문서
인터넷 정보를 나의 필요나 업무의 요구에 맞게 불러오고 가공하고 자동화하는 모든 것들이 다 웹 크롤링이라는 IT 기술을 기반으로 합니다. 이 책은 웹 크롤링 기술에 대한 안내서이자 입문서입니다. 그동안 파이썬이라는 언어와 크롤링의 난해한 코드로 고개를 떨구던 독자에게, 크롤링 기술은 누구나 쉽게 배울 수 있다는 것을 알려주는 책입니다.

세 가지 기본 기술만 알면 웹 크롤링이 내 손 안에
웹 크롤링은 세 가지 기본 개념과 방법만 손에 익히면 입문자도 충분히 구현할 수 있는 기술입니다. BeautifulSoup 라이브러리를 이용한 파싱, 동적 웹 페이지를 다루는 Selenium 라이브러리, 그리고 오픈 데이터를 활용하는 API 기술이 그것입니다. 다만 이 기술을 제대로 아는 게 중요합니다. 이 책은 입문자도 쉽게 따라올 수 있도록 기초부터 차근차근 크롤링 기술의 개념과 방법을 단계적으로 학습하도록 돕습니다. 파이썬을 전혀 모른다고요? 크롤링 학습에 꼭 필요한 내용 중심으로 공부하도록 안배하였습니다.

크롤링은 물론 데이터 분석까지
더 나아가 이 책에서는 크롤링한 데이터를 활용하는 여러 가지 방법도 함께 배웁니다. 데이터를 제대로 가져왔어도 내 업무에 맞게 변형할 수 없다면 모두 무용지물입니다. CSV 파일이나 엑셀 파일로 저장하기, 판다스 라이브러리의 데이터 프레임 형태로 변환하기, MySQL 데이터베이스 형태로 저장하기, 데이터를 시각화하기 등 크롤링한 데이터를 내 입맛에 맞게 변환하는 다양한 기법도 함께 배우게 됩니다.

목차

지은이의 글

1편 웹 크롤링의 핵심 도구, 파이썬 쉽게 배우기

1장 웹 크롤링에 필요한 환경을 만들자!
파이썬 소개
아나콘다 설치하고 가상 환경 설정까지

2장 뚝딱뚝딱 쉽게 끝내는 파이썬 핵심 문법
파이썬의 기본 자료형
조건문 알아보기
반복문 알아보기
예외 처리
함수
모듈
패키지/라이브러리
클래스와 객체

2편 세 가지만 알면 웹 크롤링이 내 손 안에

3장 웹 크롤링이란 무엇인가?
웹 크롤링의 기초 개념
웹 페이지의 뼈대, HTML 기초
CSS 맛보기
자바스크립트 맛보기

4장 꼭 알아야 할 웹 크롤링 방법 1 - BeautifulSoup
BeautifulSoup 라이브러리 소개
첫 번째 웹 크롤링 실습
두 번째 웹 크롤링 실습
웹 크롤링 허용 문제

5장 꼭 알아야 할 웹 크롤링 방법 2 - 동적 웹 페이지
해외 축구 웹 사이트 둘러보기
동적 웹 페이지 다루기
Selenium 실습하기

6장 꼭 알아야 할 웹 크롤링 방법 3 - API
오픈 API로 부동산 데이터 크롤링하기
API 사용하기

3편 웹 크롤링과 데이터 분석, 활용

7장 부동산 웹 크롤링과 데이터 분석 도구
pandas로 한눈에 알아보는 데이터 만들기
matplotlib으로 데이터 시각화하기
pandas와 matplotlib을 활용한 심화 실습
파이썬으로 CSV 파일 다루기
파이썬으로 엑셀 파일 다루기

8장 주식 데이터 웹 크롤링과 데이터베이스 다루기
주식 데이터 웹 크롤링은 어떻게 할까?
주식 데이터 크롤링
MySQL 기초
파이썬으로 MySQL에 데이터 추가하기
윈도우 스케줄러를 이용한 자동화
파이썬으로 MySQL 데이터 불러오기
주식 데이터 시각화

작가정보

저자(글) 장철원

저자 : 장철원
공부한 내용을 기록하고 나누는 것을 좋아하는 프리랜서 개발자.

충북대학교에서 통계학을 전공하고, 고려대학교에서 통계학 석사로 졸업했다. 이후 플로리다 주립 대학교(Florida State University) 통계학 박사 과정 중에 휴학하고 취업 전선에 뛰어들었다. 어렸을 때부터 게임을 좋아해서 크래프톤에 입사했다. 데이터 분석실에서 주로 머신러닝을 이용하여 이탈률 예측과 고객 분류 업무를 수행했다. 배틀그라운드의 핵 관련 업무를 계기로 IT 보안에 흥미를 느꼈다. 이후 NHN IT 보안실에서 일하며 머신러닝을 이용한 매크로 자동 탐지 시스템을 개발하고 특허를 등록했다. 현재는 머신러닝 관련 책을 쓰면서 강의와 개발을 병행하고 있다. 공부한 내용을 공유하는 데 보람을 느껴 블로그와 카페를 운영한다. 관심 분야는 인공지능, 머신러닝, 통계학, 선형대수, 커널, 임베디드, IT 보안, 사물인터넷, 물리학, 철학이다. 저서로는 《선형대수와 통계학으로 배우는 머신러닝 with 파이썬》(비제이퍼블릭), 《알고리즘 구현으로 배우는 선형대수 with 파이썬》(비제이퍼블릭)이 있다.

- 프리랜서 개발자
- 한국정보통신기술협회 외부 교수
- 패스트캠퍼스 강사
- 전) NHN IT 보안실
- 전) 크래프톤 데이터 분석실

블로그 https://losskatsu.github.io
네이버 카페 https://cafe.naver.com/aifromstat