데이터 분석으로 배우는 파이썬 문제 해결

부동산 데이터 분석부터 AWS 아키텍처 구축, 대시보드 제작까지

최의용 지음

비제이퍼블릭 2023년 11월 03일 출간 종이책 : 2023년 10월 30일 출간

작품소개

책소개

논리적인 코드 같은데 왜 에러 메시지가 나타날까? 부동산 관련 다양한 공공 데이터를 수집하고 분석해보며 파이썬으로 데이터를 엔지니어링할 때 자주 보이는 에러와 에러 발생 이유, 그리고 문제를 해결하는 방법을 꼼꼼하게 살펴봅니다. 실제 데이터 분석 실무에서 진행하듯 공공 데이터를 가져와 전처리한 후 분석하고, 스트림릿을 활용해 시각화해봅니다. 또한, 애플리케이션으로 배포하는 것을 목표로 차근차근 AWS 아키텍처를 구축하고 보기 좋고 유의미한 대시보드를 제작합니다. 파이썬을 활용한 데이터 엔지니어링과 시각화, 그리고 대시보드 제작과 애플리케이션 배포까지 전 과정을 문제 해결의 시각으로 바라볼 수 있습니다.

목차

Part 1 분석 전 준비 과정
_1 AWS EC2 환경 구축
__1.1 EC2 생성
__1.2 탄력적 IP 연결
__1.3 ssh 연결
__1.4 간단한 리눅스 명령어 알아보기
__1.5 서버 설정
__1.6 아나콘다 설치
_2 VSCode 연동
__2.1 윈도우 PEM 키 권한 설정
__2.2 VSCode 연동
__2.3 작업 폴더 생성


Part 2 파이썬을 사용한 데이터 처리
_3 국토교통부 데이터 수집
__3.1 법정동코드 준비
__3.2 용어 설명
__3.3 행정동코드 전처리
__3.4 법정동코드와 행정동코드 연결
__3.5 공공데이터포털 API 신청
__3.6 지리 정보 수집
_4 인구 및 지역 데이터 수집
__4.1 아파트는 인구에 비례한다: 지역별 인구 데이터 수집
__4.2 지역을 분석하자: 초등학교 데이터 수집
__4.3 지역을 분석하자: 전국 도시공원 데이터 수집
_5 정제되지 않은 데이터 다듬기 #데이터 전처리
__5.1 부동산 데이터 전처리
__5.2 지리 정보 데이터 전처리
__5.3 인구 데이터 전처리
__5.4 인프라 데이터 전처리
__5.5 도시공원 데이터 전처리
_6 데이터 분석의 꽃 #시각화
__6.1 지역 정보 시각화: 막대 그래프
__6.2 연도별 데이터 시각화: 꺾은선 그래프
__6.3 지도를 사용한 시각화


Part 3 AWS를 사용한 데이터 엔지니어링
_7 아마존 S3와 서버리스 함수
__7.1 아마존 S3
__7.2 AWS 람다 개요
__7.3 도커를 사용한 람다 함수 실행
_8 데이터 수집 파이프라인과 데이터베이스
__8.1 Step Function
__8.2 Event Bridge
__8.3 데이터베이스 구축
__8.4 파이썬과 데이터베이스 연동
__8.5 파이썬과 아마존 S3 연동


Part 4 부동산 분석 웹 대시보드 구축
_9 스트림릿 대시보드 제작
__9.1 EC2 포트 연결
__9.2 스트림릿 대시보드
__9.3 스트림릿 배포
__9.4 스트림릿 클라우드 회원가입
__9.5 스트림릿 앱 배포
_10 화면 설계 및 스타일 적용
__10.1 화면 설계
__10.2 CSS 스타일
__10.3 최종 결과

출판사 서평

난관을 헤쳐나가며 데이터 엔지니어링 레벨 업

『데이터 분석으로 배우는 파이썬 문제 해결』은 데이터 분석 초보자가 전체 데이터 분석의 흐름을 맛볼 수 있는 책입니다. 일반적인 논리로 분석 코드를 짜내려 갔는데도 불구하고 발생하는 에러를 확인해보며, 문제의 원인을 찾고 해결하는 데 집중합니다. 무료지만 의미 있고 체계적으로 쌓여있는 공공 데이터, 그중 부동산과 관련된 데이터를 엔지니어링해보며 파이썬을 활용한 데이터 전처리 방법, 한눈에 보이는 대시보드 제작 방법을 단계별로 학습합니다. 최종적으로 스트림릿을 활용한 대시보드까지 직접 만들고 애플리케이션으로 배포해볼 수 있습니다. 이 책과 함께라면 파이썬 초보자도 데이터 분석 전문가에 한 걸음 다가설 수 있을 것입니다.

이 책이 필요한 독자
ㆍ 공공 데이터를 분석해 유의미한 결과를 얻어야 하는 분
ㆍ 파이썬을 활용한 데이터 분석과 시각화를 완벽하게 마스터하고 싶은 분
ㆍ 부동산 데이터로 보기 좋은 대시보드를 완성해보고 싶은 분

작가정보

저자(글) 최의용

연세대학교 미래캠퍼스 수학과 학사 및 석사 졸업 이후 데이터 분석 분야에서 일을 시작했다. 소프트웨어 기획 및 데이터 분석 업무를 전문적으로 수행하면서 데이터의 힘과 파급력을 깨달아 이를 통해 비즈니스 문제 해결과 의사 결정에 기여했다. 삼정 KPMG에서 금융, 재무, 회계 데이터 분석 및 데이터 엔지니어링 경력을 쌓았고 현재는 엑셈 EXEM의 데이터 사이언스팀에서 데이터 분석을 수행하고 있다. 파이썬을 활용한 문제 해결에 큰 관심이 있고 이를 2017년부터 기술 블로그에 연재하며 데이터 분석 분야에서 꾸준히 전문성을 쌓아가고 있다.