이게 되네? 챗GPT 미친 크롤링 24제

코드 몰라도 OK! 이걸 긁네? 소상공인24, 청약, 항공권, 기출문제부터 알리, 유튜브 댓글까지 모조리 긁어오는 데이터 수집과 GPTs 업무 자동화

박현규 지음

골든래빗(주) 2025년 05월 20일 출간 국내도서 : 2025년 04월 20일 출간

작품소개

책소개

이 책은 웹에서 필요한 정보를 쉽고 빠르게 수집하고 싶은 직장인부터 마케터, 연구자 등 모든 실무자를 위한 가장 친절한 웹 크롤링 입문서입니다. “코드를 몰라도 웹 크롤링이 가능할까?”라는 질문에, 챗GPT를 활용한 해법을 제시합니다. 사이트 구조를 파악하고 챗GPT에게 크롤링 코드를 요청한 뒤, 복사해서 실행하면 끝! 복잡한 프로그래밍 없이도 누구나 따라 할 수 있도록 구성했습니다.
거기에 API를 활용한 대량 데이터 수집, GPTs를 이용한 맞춤형 챗봇 제작, 윈도우/macOS 자동화 스케줄링 설정까지 실무에서 바로 활용 가능한 고급 자동화 기술도 함께 다룹니다. 반복 작업을 줄이고, 창의적인 일에 집중하고 싶은 직장인부터 코딩 없이 데이터 자동화를 경험하고 싶은 초보자까지! 반복 작업에 지친 직장인, 데이터 기반의 전략을 세우고 싶은 기획자, 자동화 역량을 키우고 싶은 초보자에게 이 책은 강력한 무기가 될 것입니다.
※ 알려드려요
robots.txt 파일은 웹사이트에서 크롤러와 같은 로봇의 접근을 제어하는 파일입니다. 이 책은 각 사이트의 robots.txt 파일에 명시된 크롤링 정책을 철저히 준수하여 제작되었습니다.

목차

[이게 되네? Part 01] 웹 크롤링 빡세게 연습하기
_Chapter 01 정말 코드를 몰라도 웹 크롤링을 할 수 있을까?
_Chapter 02 웹 크롤링 기초 공부하기
_Chapter 03 여러 요소에서 텍스트 추출하기
_Chapter 04 구조 속에서 크롤링하고 엑셀 파일로 저장하기
_Chapter 05 웹페이지를 이동하며 웹 크롤링하기(1)
_Chapter 06 웹페이지를 이동하며 웹 크롤링하기(2)

[이게 되네? Part 02] 웹 크롤링으로 실제 웹사이트에서 정보 수집하기
_Chapter 07 EBS에서 고3 기출문제 파일 다운로드하기
_Chapter 08 기상청 웹사이트 크롤링하기
_Chapter 09 알리익스프레스 사이트 크롤링하기
_Chapter 10 성형외과 사이트 가격 크롤링하기
_Chapter 11 LH 청약 플러스 공고문 크롤링하기
_Chapter 12 네이버 항공권 크롤링하기
_Chapter 13 소상공인24 사이트 크롤링하기

[이게 되네? Part 03] API로 데이터 수집! 기초 사용 방법부터 실전 활용까지
_Chapter 14 한국 박스 오피스 순위와 매출 변화 살펴보기
_Chapter 15 오늘의 급식은 뭘까?
_Chapter 16 오늘의 급식 내 GPT 만들기
_Chapter 17 포켓몬 TCG 웹사이트 만들기
_Chapter 18 포켓몬 TCG 사전으로 내 GPT 만들기
_Chapter 19 뉴욕타임스 이메일 받아보기
_Chapter 20 유튜브 채널에 있는 모든 동영상 정보 가져오기
_Chapter 21 유튜브 동영상에 있는 댓글 모두 수집하기
_Chapter 22 네이버 검색 쇼핑 사용해보기

[이게 되네? Part 04] 내가 작성한 크롤링 코드! 매일 실행하려면?
_Chapter 23 윈도우 작업 스케줄러로 크롤링 코드 매일 실행하기
_Chapter 24 macOS crontab으로 크롤링 코드 매일 실행하기

책 속으로

이 책은 저자가 직접 실무에서 경험한 정보 수집과 데이터 자동화의 어려움을 해결하기 위해 만들었습니다. 웹 크롤링은 직접하면 코드 생성부터 해야 하기 때문에 그 돌파구가 필요했고, 혜성처럼 등장한 것이 바로 챗GPT입니다. 마케터부터 일반 직장인까지 배울 수 있도록 챗GPT를 활용한 웹 크롤링 실전 사례와 기초 내용을 담았습니다. 웹사이트 구조 분석부터 시작해 챗GPT에게 크롤링 코드를 요청하고, 이를 실행하여 데이터를 수집하고 정리하는 전 과정을 누구나 쉽게 따라 할 수 있도록 구성했습니다.
또한 수집한 데이터를 엑셀, 표, 차트 등의 형태로 정리하며, 결과물 작성까지 완성할 수 있도록 실무 중심으로 구성했습니다. 후반부에서는 API를 사용하여 약속된 방법으로 데이터를 요청하여 응답받는 규칙을 통해 데이터를 수집하는 방법을 알아봅니다. GPTs 생성을 통해 반복적인 크롤링 작업을 자동화하고 API 연동까지 확장하여, 실제 업무에 적용 가능한 자동화 스킬을 익힐 수 있습니다.
[PART 01 웹 크롤링 빡세게 연습하기]
이 책은 웹 크롤링을 4단계로 설명합니다. 먼저 웹 크롤링에 꼭 필요한 기초 지식과 사이트 구조 파악 → 챗GPT에게 코드 요청 → 코드 복사 및 실행 → 결과물 정리로 이루어집니다. 챗GPT가 직접 크롤링을 수행하지는 않지만, 코드 작성을 도와주어 초보자도 손쉽게 웹 데이터를 수집하고 처리할 수 있도록 도와줍니다. 또한 웹 크롤링을 처음 실행하는 사람에겐 자주 보는 익숙한 웹페이지여도 그 구조에 들어가서 내가 수집할 데이터를 찾는 작업부터 어려울 수 있습니다. 때문에 차근차근 따라 할 수 있도록 여러 요소에서 텍스트 추출하기부터, 구조 파악, 웹페이지 이동하며 웹 크롤링 작업을 수행하며 기본기를 다집니다.
[PART 02 웹 크롤링으로 실제 웹사이트에서 정보 수집하기]
챗GPT로 활용해 실제 웹사이트에서 정보를 수집하는 방법을 다룹니다. EBS 홈페이지에서 원하는 기출문제 파일을 선택하여 다운로드하는 방법부터 알아봅니다. 원하는 문제를 하나하나 선택하며 다운로드했다면 웹 크롤링을 통해 다양한 문제를 선택해서 자동으로 다운로드합니다. 성형외과 가격 정보 수집과 같은 사례를 통해서는 경쟁사의 웹사이트에서 정보를 수집해 비교하여 전략 수립에 도움과 편리함을 줄 것입니다. 또한 기상청 날씨 정보 수집부터 알리익스프레스의 상품 이미지 추출, LH 청약 공고문, 네이버 항공권 검색 결과나 소상공인24의 공고문 정보 등 실제 활용 가능한 데이터를 수집하며, 웹사이트 구조에 대한 이해와 실습 능력을 키울 수 있도록 구성되어 있습니다.
[PART 03 API로 데이터 수집! 기초 사용 방법부터 실전 활용까지]
API를 활용한 데이터 수집 방법을 기초부터 실전까지 단계적으로 배웁니다. 복잡하게 느껴질 수 있는 API 개념을 쉽게 설명하고, 공식적인 방식으로 대량의 데이터를 효율적으로 수집하는 방법을 익힙니다. 한국 박스 오피스 순위 확인, 급식 정보 조회, 포켓몬 TCG 데이터 수집, 뉴욕타임스 이메일 받아보기, 유튜브 채널 동영상 정보와 댓글 수집, 네이버 쇼핑 검색 결과 가져오기 등 다양한 실습을 통해 API 활용 능력도 키울 수 있습니다. 또한 수집한 데이터를 바탕으로 나만의 GPTs를 만들어, 특정 주제에 특화된 챗봇을 생성하는 방법까지 함께 익힙니다.
[PART 04 내가 작성한 크롤링 코드! 매일 실행하려면?]
크롤링 코드를 완성한 후에는 ‘매번 직접 실행해야 하나?’라는 고민이 생길 수 있습니다. PART 04에서는 작성한 크롤링 코드를 자동으로 반복 실행하는 방법을 다룹니다. 윈도우와 macOS에서 각각 어떻게 스케줄링하는지 자세히 설명하며, 실습을 통해 자동화 설정을 완벽히 익힐 수 있습니다.

작가의 말저는 첫 직장에서 경쟁 상품의 정보를 수집하며 웹 크롤링에 관심을 갖게 되었습니다. 당시 팀은 상하반기 기획을 위해 판매 사이트에서 상품 이름, 가격, 사양 등을 직접 복사해 엑셀에 입력하는 반복 업무를 수행했는데, 600~1,000개의 데이터를 정리하는 일은 큰 불편함으로 다가왔습니다. 이를 계기로 파이썬을 공부하며 자동화 코드를 작성하기 시작했죠. 아마 이 책을 펼친 여러분도 비슷한 불편함을 경험해 보셨을 것이라고 생각합니다.
이 이야기를 들으면 웹 크롤링에 꼭 프로그래밍 공부가 필요하다는 의문이 생길 수 있습니다. 과거에는 “공부를 해야 만들 수 있습니다.”라는 답변이 정설이었지만, 상황이 달라졌습니다. 챗GPT와 같은 유용한 도구가 등장하면서 프로그래밍 접근 방식이 크게 변화했기 때문이죠.
최근 유행하는 ‘바이브 코딩’은 사람의 언어로 프로그램을 만드는 방식을 의미합니다. 예전에는 C, 자바, 파이썬 등의 문법을 배우며 프로그램을 작성해야 했지만, 이제는 “이런 OOO 프로그램 만들어 봐”라는 간단한 지시만으로도 꽤 복잡한 동작을 구현할 수 있습니다. 물론 전문 개발자의 지식이 필요한 경우도 있지만, 일상에 필요한 프로그램은 전문 지식 없이도 누구나 어렵지 않게 만들 수 있게 되었습니다.
이 책은 이런 흐름을 받아들여 챗GPT나 딥시크와 같은 서비스를 통해 웹 크롤링 프로그램을 프롬프팅만으로 쉽게 만듭니다. 프로그래밍을 가르치려는 목적이 없으므로 의도적으로 코드를 설명하는 내용은 한 줄도 넣지 않았습니다. 다시 말해 변수가 어쩌니, 반복문이 어쩌니 하는 내용은 아예 없습니다. 코드를 한 줄 한 줄 입력하라는 말도 없습니다. 대신 프롬프팅에 꼭 필요한 프로그래밍 지식은 프롬프트 입력 단계에서 반복 설명하여 자연스럽게 이해할 수 있도록 했습니다. 정말로 웹 크롤링 프로그램을 5분 정도면 쉽게 만들 수 있을 것입니다. 반복 수집 업무에 들이는 시간을 줄이고 더 중요한 일에 집중하고 싶은 여러분에게 이 책이 조금이라도 도움이 되었으면 합니다.

출판사 서평

★ 독자의 마음을 누구보다 잘 아는 편집자P! 챗GPT로 누구나 할 수 있는 웹 크롤링 책을 만들다!
★ 코드 몰라도 OK! 챗GPT로 하는 복붙 웹 크롤링이란 이런 것!
★ 지금 당장 도입하고 오늘부터 칼퇴하세요! 직장에서 인정받는 ‘일잘러’, 바로 당신입니다!
데이터 수집, 어디까지 해보셨나요? 수십 개 사이트를 돌며 자료 복사하고 정리하는 데 몇 시간을 쏟아부은 적, 있으시죠? 결국 남는 건 지친 마음과 엉킨 파일뿐이었다면, 이제는 달라질 수 있습니다. 이 책은 챗GPT로 코드를 생성하여 웹 크롤링을 시작하고, 실제 웹페이지 실습을 통해 1시간 만에 데이터 수집부터 정리까지 끝내는 놀라운 경험을 선사합니다. 4단계 방법만 익히면 API 활용부터 경쟁사 가격 비교, 상품 정보 수집, 내 GPT인 GPTs 챗봇 생성까지 누구나 가능합니다. NO! 코딩, 자동화 도구로 업무 시간을 절약하고, 마케터·기획자·일반인 모두가 AI와 함께 일잘러가 되는 법을 알려드립니다.
★ 누가 이 책을 읽어야 할까요?
수작업으로 수집하던 정보를 자동화하여 업무 시간을 획기적으로 줄이고 싶은 직장인
반복적인 데이터 정리에 시간을 낭비하는 대신, 창의적인 일에 집중하고 싶은 기획자·마케터
엑셀, 문서 작업 외에도 웹에서 필요한 정보를 대량으로 빠르게 수집하고 싶은 실무 담당자
챗GPT의 도움으로 코드 없이도 웹 크롤링과 데이터 수집을 시작해보고 싶은 초보자
API와 GPTs를 활용해 데이터 기반의 자동화 역량을 갖춘 디지털 실무형 인재로 성장하고 싶은 사람

작가정보

저자(글) 박현규

개발이 취미인 컴공과 출신 IT 도서 기획/편집자. 활동명 편집자P로 더 많이 알려져 있습니다. 사내에서 사용하는 각종 자동화 앱을 파이썬, 자바스크립트로 개발하여 적극 활용하고 있습니다. IT 지식을 더 쉽게 나누기 위해 책을 쓰고, 유튜브와 쇼츠를 제작합니다.
SNS
Facebook _ facebook.com/canine1989
YouTube _ youtube.com/@editorp89
GitHub _ github.com/canine89
Kakao _ open.kakao.com/o/g9rMB0dh

작가의 말

저는 첫 직장에서 경쟁 상품의 정보를 수집하며 웹 크롤링에 관심을 갖게 되었습니다. 당시 팀은 상하반기 기획을 위해 판매 사이트에서 상품 이름, 가격, 사양 등을 직접 복사해 엑셀에 입력하는 반복 업무를 수행했는데, 600~1,000개의 데이터를 정리하는 일은 큰 불편함으로 다가왔습니다. 이를 계기로 파이썬을 공부하며 자동화 코드를 작성하기 시작했죠. 아마 이 책을 펼친 여러분도 비슷한 불편함을 경험해 보셨을 것이라고 생각합니다.
이 이야기를 들으면 웹 크롤링에 꼭 프로그래밍 공부가 필요하다는 의문이 생길 수 있습니다. 과거에는 “공부를 해야 만들 수 있습니다.”라는 답변이 정설이었지만, 상황이 달라졌습니다. 챗GPT와 같은 유용한 도구가 등장하면서 프로그래밍 접근 방식이 크게 변화했기 때문이죠.
최근 유행하는 ‘바이브 코딩’은 사람의 언어로 프로그램을 만드는 방식을 의미합니다. 예전에는 C, 자바, 파이썬 등의 문법을 배우며 프로그램을 작성해야 했지만, 이제는 “이런 OOO 프로그램 만들어 봐”라는 간단한 지시만으로도 꽤 복잡한 동작을 구현할 수 있습니다. 물론 전문 개발자의 지식이 필요한 경우도 있지만, 일상에 필요한 프로그램은 전문 지식 없이도 누구나 어렵지 않게 만들 수 있게 되었습니다.
이 책은 이런 흐름을 받아들여 챗GPT나 딥시크와 같은 서비스를 통해 웹 크롤링 프로그램을 프롬프팅만으로 쉽게 만듭니다. 프로그래밍을 가르치려는 목적이 없으므로 의도적으로 코드를 설명하는 내용은 한 줄도 넣지 않았습니다. 다시 말해 변수가 어쩌니, 반복문이 어쩌니 하는 내용은 아예 없습니다. 코드를 한 줄 한 줄 입력하라는 말도 없습니다. 대신 프롬프팅에 꼭 필요한 프로그래밍 지식은 프롬프트 입력 단계에서 반복 설명하여 자연스럽게 이해할 수 있도록 했습니다. 정말로 웹 크롤링 프로그램을 5분 정도면 쉽게 만들 수 있을 것입니다. 반복 수집 업무에 들이는 시간을 줄이고 더 중요한 일에 집중하고 싶은 여러분에게 이 책이 조금이라도 도움이 되었으면 합니다.