본문 바로가기

추천 검색어

실시간 인기 검색어

한입에 웹 크롤링

프알못의 파이썬 데이터 수집 자동화 한 방에 끝내기
김경록 , 서영덕 지음
비제이퍼블릭

2019년 03월 20일 출간

국내도서 : 2018년 09월 28일 출간

(개의 리뷰)
( 0% 의 구매자)
eBook 상품 정보
파일 정보 pdf (93.53MB)
ISBN 9791190014076
쪽수 362쪽
지원기기 교보eBook App, PC e서재, 리더기, 웹뷰어
교보eBook App 듣기(TTS) 가능
TTS 란?
텍스트를 음성으로 읽어주는 기술입니다.
  • 전자책의 편집 상태에 따라 본문의 흐름과 다르게 텍스트를​ 읽을 수 있습니다.
  • 이미지 형태로 제작된 전자책 (예 : ZIP 파일)은 TTS 기능을 지원하지 않습니다.

PDF 필기가능 (Android, iOS)
소득공제
소장
정가 : 20,800원

쿠폰적용가 18,720

10% 할인 | 5%P 적립

이 상품은 배송되지 않는 디지털 상품이며,
교보eBook앱이나 웹뷰어에서 바로 이용가능합니다.

카드&결제 혜택

  • 5만원 이상 구매 시 추가 2,000P
  • 3만원 이상 구매 시, 등급별 2~4% 추가 최대 416P
  • 리뷰 작성 시, e교환권 추가 최대 200원

작품소개

이 상품이 속한 분야

‘프’로그래밍 잘 ‘알’지 ‘못’해도
참 쉬운 파이썬 데이터 수집 자동화

일을 자동화하는 것은 이제는 필수를 넘어 생존 조건입니다. 만약 대량의 정보를 웹에서 지속적으로 받고 필요한 정보를 골라서 처리해야 한다면 어떨까요? 키워드를 하나씩 검색해서 정보를 얻고 저장하고 직접 가공한다면 많은 시간과 노력이 필요할 것입니다. 이런 상황이라면 비교적 짧은 시간을 거쳐 만든 크롤러가 당신의 삶의 질을 완전히 개선할 수 있습니다.

본 책에서는 프로그래밍에 문외한인 분들도 자신만의 크롤러를 만들고 활용할 수 있도록 개발 환경 설치부터 코딩까지 그림과 함께 단계별로 쉽게 풀어서 설명하였습니다. 처음부터 모든 개념이 쉽게 다가오지는 않을 겁니다. 하지만, 한 단계씩 실습해보고, 다른 예시를 찾아보고 또한 비슷하게 자신만의 코드를 작성해본다면 훨씬 더 빠르고 깊게 프로그래밍에 익숙해질 겁니다. 초반의 작은 실패에 좌절하기보다 작은 성공을 보고 '할 수 있다'는 자신감을 얻으셨으면 좋겠습니다.

이 책의 특징
- 프로그래밍이나 파이썬 초보자도 어렵지 않게 이해할 수 있다.
- 파이썬을 통한 웹 크롤링의 기초부터 API 이용까지 폭넓게 다루었다.
- 생생한 실무 예제를 통해 다른 업무에도 활용할 수 있도록 구성되었다.

소스코드 다운로드
https://github.com/bjpublic/webcrawling
1장 파이썬에 대해서
1.1 파이썬이란?
1.2 파이썬을 쓰는 이유
1.3 프로그래밍을 배워야 하는 이유

2장 파이썬 개발 환경 구축하기
2.1 파이썬3 설치하기
2.2 파이참
2.3 프로젝트
2.4 패키지 만들기
2.5 hello 출력하기

3장 파이썬 기초
3.1 변수와 상수
3.2 if문
3.3 함수
3.4 사칙연산 예제로 배우는 함수 만들기
3.5 반복문 for
3.6 숫자
3.7 문자열
3.8 리스트
3.9 딕셔너리
3.10 딕셔너리 만들기
3.11 라이브러리

4장 웹 기초
4.1 HTTP
4.2 URL
4.3 HTML

5장 크롤러 만들기
5.1 크롬 설치하기
5.2 urllib 패키지
5.3 뷰티풀솝 사용 방법
5.4 네이버에서 특정 글자 추출하기
5.5 네이버 메뉴 이름 뽑아내기
5.6 타입
5.7 네이버 뉴스 제목 가져오기

6장 링크 수집하고 링크에 있는 내용 수집하기
6.1 대상 사이트 구조 파악하기
6.2 requests package 설치하기
6.3 페이지 불러오기
6.4 상세 페이지 링크 뽑아내기
6.5 링크별로 들어가서 페이지 불러오기
6.6 리스트에서 부분만 선택하기
6.7 서브 페이지 호출하기
6.8 서브 페이지에서 이름 추출하기
6.9 위치 추출하기
6.10 링크 추출하기
6.11 함수로 묶기
6.12 0~4번째까지 링크 상세 페이지 내용 추출하기

7장 쇼핑몰 크롤링
7.1 데이터 수집할 웹사이트 접속하기
7.2 페이지 불러오기
7.3 한 번에 안 뽑히는 경우 인덱스로 접근하기
7.4 함수로 묶기
7.5 제품명, 가격 함께 뽑기
7.6 딕셔너리로 여러 개 값 리턴하기
7.7 링크 뽑아내기
7.8 한 페이지 데이터를 한 덩어리로 만들기
7.9 한 페이지를 호출하는 부분을 함수로 감싸기
7.10 1페이지부터 5페이지까지 데이터 받아오기

8장 JSON 데이터 다루기
8.1 JSON
8.2 JSON 형식을 표로 표현하기
8.3 파이썬으로 JSON 다루기
8.4 엑셀에 데이터 넣고 데이터 나누기

9장 네이버 API 이용하기
9.1 애플리케이션 등록하기
9.2 API 주소 알아보기
9.3 requests 라이브러리 이용하기
9.4 온라인 제이선 뷰어 이용하기
9.5 API 호출한 후에 필요한 데이터 뽑아내기
9.6 API 호출 결과인 JSON
9.7 검색 결과 출력하기
9.8 반복문으로 결과 출력하기
9.9 특정 속성값만 뽑아내기
9.10 , 없애기
9.11 링크와 함께 출력하기
9.12 검색 결과를 10개에서 100개로 늘리기
9.13 함수로 묶기
9.14 검색 결과 페이징하기
9.15 결과 출력하기
9.16 여러 페이지 호출하기
9.17 제목, 블로거 이름, 링크만 뽑아서 엑셀에 넣기
9.18 엑셀에 데이터 넣고 가공하기

10장 세계 곡물 가격 JSON 데이터 호출해서 엑셀로 차트 그리기
10.1 대상 사이트 접속하기
10,2 대상 URL 알아보기
10.3 파이썬에서 호출하기
10.4 엑셀에 데이터를 넣고 차트 그리기

11장 공공 데이터 API 이용하기
11. 1 공공 데이터 들어가기
11.2 오픈 API 신청하기
11.3 신청한 API 활용하기
11.4 서울의 심야 약국 수 조사
11.5 커리어넷 진로직업정보 데이터로 원하는 직업 찾아보기

12장 Git
12.1 github.com 가입하기
12.2 리포지토리
12.3 GitHub에서 저장소 생성하기
12.4 리모트 리포지토리를 로컬 리포지토리로 가져와서 사용하기
12.5 GitHub의 다른 프로젝트 소스코드 가져와서 사용하기

인터넷에서 데이터를 수집하여 받아오는 것을 크롤링 또는 스크래핑이라고 하고, 크롤링을 하는 프로그램을 크롤러라고 합니다. 웹 크롤링은 단순 반복을 줄여주고 빠르게 처리할 수 있으며, 일의 효율을 높여 인간이 좀 더 인간답게 창의적인 활동에 집중할 수 있도록 도와주는 좋은 도구입니다. 하지만 진입 장벽이 제법 높습니다. 마치 구구단과 같습니다. 우리가 초등학교에서 구구단을 어렵게 공부했지만 지금은 자연스럽게 사용하듯이, 웹 크롤링도 처음 익힐 때는 조금 어렵지만 한번 익혀 놓으면 구구단처럼 평생 사용할 수 있는 좋은 도구입니다.

이 책에서는 크롤러를 쉬운 것부터 조금 복잡한 것까지 단계별로 만들어 볼 예정입니다. 이 책을 통해 좀 더 많은 분들이 웹 크롤링이라는 도구를 이용해 일의 효율을 높이고 인간다우면서 창의적인 일에 몰두하여 조금 더 세상을 살기 좋게 만드는 데 기여를 하셨으면 좋겠습니다.

작가정보

저자(글) 김경록

저자 : 김경록
코인거래소 백엔드 개발자로 주말에는 프로그래밍 강의를 하고 있다. 블로그(http://krksap.tistory.com)를 운영하고 있으며, <초보자를 위한 Node.js 200제>를 저술하고 <웹 데이터 수집의 기술>을 번역하는 등 다방면에서 활동하는 개발자이다.

저자 : 서영덕
머신러닝 엔지니어로 서울대학교 컴퓨터공학부 석사 과정 중 블록체인, 메모리 시스템을 연구했다. 현재는 삼성전자 메모리 사업부에서 데이터 분석 및 인공지능 연구에 즐겁게 몰입하고 있다.

저자(글) 서영덕

이 상품의 총서

Klover리뷰 (0)

Klover리뷰 안내
Klover(Kyobo-lover)는 교보를 애용해 주시는 고객님들이 남겨주신 평점과 감상을 바탕으로, 다양한 정보를 전달하는 교보문고의 리뷰 서비스입니다.
1. 리워드 안내
구매 후 90일 이내에 평점 작성 시 e교환권 100원을 적립해 드립니다.
  • - e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • - 리워드는 1,000원 이상 eBook, 오디오북, 동영상에 한해 다운로드 완료 후 리뷰 작성 시 익일 제공됩니다. (5,000원 이상 상품으로 변경 예정, 2024년 9월 30일부터 적용)
  • - 리워드는 한 상품에 최초 1회만 제공됩니다.
  • - sam 이용권 구매 상품 / 선물받은 eBook은 리워드 대상에서 제외됩니다.
2. 운영 원칙 안내
Klover리뷰를 통한 리뷰를 작성해 주셔서 감사합니다. 자유로운 의사 표현의 공간인 만큼 타인에 대한 배려를 부탁합니다. 일부 타인의 권리를 침해하거나 불편을 끼치는 것을 방지하기 위해 아래에 해당하는 Klover 리뷰는 별도의 통보 없이 삭제될 수 있습니다.
  • 도서나 타인에 대해 근거 없이 비방을 하거나 타인의 명예를 훼손할 수 있는 리뷰
  • 도서와 무관한 내용의 리뷰
  • 인신공격이나 욕설, 비속어, 혐오 발언이 개재된 리뷰
  • 의성어나 의태어 등 내용의 의미가 없는 리뷰

구매 후 리뷰 작성 시, e교환권 100원 적립

문장수집

문장수집 안내
문장수집은 고객님들이 직접 선정한 책의 좋은 문장을 보여 주는 교보문고의 새로운 서비스 입니다. 교보eBook 앱에서 도서 열람 후 문장 하이라이트 하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다. 마음을 두드린 문장들을 기록하고 좋은 글귀들은 ‘좋아요’ 하여 모아보세요. 도서 문장과 무관한 내용 등록 시 별도 통보없이 삭제될 수 있습니다.
리워드 안내
  • 구매 후 90일 이내에 문장 수집 등록 시 e교환권 100원을 적립해 드립니다.
  • e교환권은 적립일로부터 180일 동안 사용 가능합니다.
  • 리워드는 1,000원 이상 eBook에 한해 다운로드 완료 후 문장수집 등록 시 제공됩니다. (5,000원 이상 eBook으로 변경 예정, 2024년 9월 30일부터 적용)
  • 리워드는 한 상품에 최초 1회만 제공됩니다.
  • sam 이용권 구매 상품 / 선물받은 eBook / 오디오북·동영상 상품/주문취소/환불 시 리워드 대상에서 제외됩니다.

구매 후 문장수집 작성 시, e교환권 100원 적립

    교보eBook 첫 방문을 환영 합니다!

    신규가입 혜택 지급이 완료 되었습니다.

    바로 사용 가능한 교보e캐시 1,000원 (유효기간 7일)
    지금 바로 교보eBook의 다양한 콘텐츠를 이용해 보세요!

    교보e캐시 1,000원
    TOP
    신간 알림 안내
    한입에 웹 크롤링 웹툰 신간 알림이 신청되었습니다.
    신간 알림 안내
    한입에 웹 크롤링 웹툰 신간 알림이 취소되었습니다.
    리뷰작성
    • 구매 후 90일 이내 작성 시, e교환권 100원 (최초1회)
    • 리워드 제외 상품 : 마이 > 라이브러리 > Klover리뷰 > 리워드 안내 참고
    • 콘텐츠 다운로드 또는 바로보기 완료 후 리뷰 작성 시 익일 제공
    감성 태그

    가장 와 닿는 하나의 키워드를 선택해주세요.

    사진 첨부(선택) 0 / 5

    총 5MB 이하로 jpg,jpeg,png 파일만 업로드 가능합니다.

    신고/차단

    신고 사유를 선택해주세요.
    신고 내용은 이용약관 및 정책에 의해 처리됩니다.

    허위 신고일 경우, 신고자의 서비스 활동이 제한될 수
    있으니 유의하시어 신중하게 신고해주세요.


    이 글을 작성한 작성자의 모든 글은 블라인드 처리 됩니다.

    문장수집 작성

    구매 후 90일 이내 작성 시, e교환권 100원 적립

    eBook 문장수집은 웹에서 직접 타이핑 가능하나, 모바일 앱에서 도서를 열람하여 문장을 드래그하시면 직접 타이핑 하실 필요 없이 보다 편하게 남길 수 있습니다.

    P.
    한입에 웹 크롤링
    프알못의 파이썬 데이터 수집 자동화 한 방에 끝내기
    저자 모두보기
    낭독자 모두보기
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 이용권입니다.
    차감하실 sam이용권을 선택하세요.
    sam 이용권 선택
    님이 보유하신 프리미엄 이용권입니다.
    선물하실 sam이용권을 선택하세요.
    결제완료
    e캐시 원 결제 계속 하시겠습니까?
    교보 e캐시 간편 결제
    sam 열람권 선물하기
    • 보유 권수 / 선물할 권수
      0권 / 1
    • 받는사람 이름
      받는사람 휴대전화
    • 구매한 이용권의 대한 잔여권수를 선물할 수 있습니다.
    • 열람권은 1인당 1권씩 선물 가능합니다.
    • 선물한 열람권이 ‘미등록’ 상태일 경우에만 ‘열람권 선물내역’화면에서 선물취소 가능합니다.
    • 선물한 열람권의 등록유효기간은 14일 입니다.
      (상대방이 기한내에 등록하지 않을 경우 소멸됩니다.)
    • 무제한 이용권일 경우 열람권 선물이 불가합니다.
    이 상품의 총서 전체보기
    네이버 책을 통해서 교보eBook 첫 구매 시
    교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 네이버 책을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)
    구글바이액션을 통해서 교보eBook
    첫 구매 시 교보e캐시 지급해 드립니다.
    교보e캐시 1,000원
    • 첫 구매 후 3일 이내 다운로드 시 익일 자동 지급
    • 한 ID당 최초 1회 지급 / sam 이용권 제외
    • 구글바이액션을 통해 교보eBook 구매 이력이 없는 회원 대상
    • 교보e캐시 1,000원 지급 (유효기간 지급일로부터 7일)