파이썬으로 아파치 스파크 학습하기

Wenqiang Feng 지음, 홍은희 옮김

Wenqiang Feng, 홍은희 지음 | 홍은희 옮김

홍은희 2023년 12월 29일 출간

작품소개

책소개

데이터 마이닝, 텍스트 마이닝, 머신 러닝 및 딥 러닝의 PySpark에 대한 다양한 개념을 배울 수 있습니다. 튜토리얼은 독자가 프로그래밍과 리눅스에 대한 예비 지식을 가지고 있다고 가정합니다.

목차

1. 서문
1.1 들어가기에 앞서
1.2 튜토리얼 동기
1.3 저작권 고지 및 라이선스 정보
1.4 감사글
1.5 피드백 및 제안
2. 왜 파이썬으로 스파크를 사용할까?
2.1 왜 스파크인가?
2.2 왜 파이썬으로 스파크를 사용할까?
3. 실행 플랫폼 환경 설정
3.1 Databricks 커뮤니티 클라우드에서 실행하기
3.2 Mac과 Ubuntu에서 Spark 환경설정
3.3 Windows에서 Spark 환경설정
3.4 텍스트 편집기 혹은 IDE에서의 PySpark
3.5 클라우드에서 스파크 설치하기
3.6 Colaboratory에서 PySpark 사용하기
3.7 데모 코드
4. 아파치 스파크 개요
4.1 핵심 개념
4.2 스파크 구성요소
4.3 아키텍쳐
4.4 스파크는 어떻게 작동될까?
5. RDD 프로그래밍
5.1 RDD 생성
5.2 스파크 연산
5.3 rdd.DataFrame vs pd.DataFrame
6. 통계학 및 선형대수 예비
6.1 표기
6.2 선형대수 예비
6.3 측정 공식
6.4 혼동 행렬
6.5 통계 검정
7. 데이터 탐색
7.1 단변량 분석
7.2 다변량 분석
8. 데이터 처리: 특징(Features)
8.1 특징 추출
8.2 특징 변환
8.3 특징 선택
8.4 불균형 데이터: 언더 샘플링
9. 회귀분석
9.1 선형 회귀
9.2 일반화 선형 회귀
9.3 의사결정 나무 - 회귀
9.4 랜덤 포레스트 - 회귀
9.5 그레디언트 부스팅 트리 - 회귀
10. 정칙화
10.1 최소제곱법 회귀분석
10.2 리지 회귀분석
10.3 Least Absolute Shrinkage and Selection Operator (LASSO)
11. 분류
11.1 이항 로지스틱 회귀분석
11.2 다항 로지스틱 회귀분석
11.3 의사결정 나무 - 분류
11.4 랜덤 포레스트 - 분류
11.5 그레디언트 부스팅 트리 - 분류
11.6 XGBoost: 그레디언트 부스팅 트리 분류
11.7 나이브 베이즈 분류
12. 군집 분류
12.1 K-Means 모델
13. RFM 분석
13.1 RFM 분석 기법
13.2 데모
13.3 확장
14 텍스트 마이닝
14.1 텍스트 모음
14.2 텍스트 전처리
14.3 텍스트 분류
14.4 감정 분석
14.5 N-grams과 상관관계
14.6 토픽 모델: Laten ~
15 소셜 네트워크 분석
15.1 도입
15.2 동시 출현 네트워크
15.3 부록: PySpark에서 행렬 곱셈
16 ALS: 주식 포트폴리오 추천
16.1 추천 시스템
16.2 교대 최소 제곱(Alternating Least Squares)
16.3 데모
17 몬테 카를로 시뮬레이션
17.1 카지노에서 승리 시뮬레이션
17.2 랜덤워크 시뮬레이션
18 마르코프 체인 몬테 카를로
18.1 메트로폴리스 알고리즘
18.2 메트로폴리스의 토이 예제
18.3 데모
10.2 리지 회귀분석
19 뉴럴 네트워크
19.1 순방향 신경망
20 CLOUDERA DISTRIBUTION HADOOP 자동화
20.1 자동화 파이프라인
20.2 데이터 정제 및 조작 자동화
20.3 ML 파이프라인 자동화
20.4 파이프라인 모델 저장 및 로드
20.5 결과를 다시 Hadoop에 제출
21 PYSPARK 패키지화
21.1 패키지화
21.2 PyPI에서 패키지 퍼블리싱
22 PYSPARK 데이터 감사 라이브러리
22.1 pip로 설치하기
22.2 Repo로부터 설치하기
22.3 삭제하기
22.4 테스트
22.5 빅 데이터 셋 감사
23 jupyter notebook에서 Zeppelin(371)
23.1 설치 방법
23.2 데모 변환
24 커닝 페이퍼
25 JDBC 연동
25.1 JDBC 드라이버
25.2 JDBC read
26 DATABRICKS 팁
26.1 샘플 표시
26.2 자동 파일 다운로드
26.3 AWS S3에서 작업하기
27 PYSPARK API
27.1 Stat API 기초통계(405페이지)
27.2 회귀분석 API
27.3 분류
27.4 군집 분류
27.5 추천
27.6 파이프라인
27.7 튜닝
27.8 평가
28 주요 참고
문헌 정보
파이썬 모듈 인덱스
인덱스

출판사 서평

저는 서울대학교에서 통계학 석사를 마치고 현대자동차, SK, 정부출연연구소 등 여러 산업 분야에서 데이터 사이언티스트로 활동하고 있습니다.
데이터 분석 플랫폼과 빅 데이터를 다루기 위한 다양한 프로그래밍 언어에 관심이 있습니다.
이 책은 실제 데이터 분석을 수행하면서 마주칠 수 있는 다양한 주제에 대해 폭넓게 다루고 있습니다. 이 책이 여러분께 많은 도움이 되길 바랍니다.
마지막으로 이번 한국어본을 작성하면서 원작자의 동의하에 영문 원본의 일부 내용과 코드들을 다소 수정하였음을 고지 드립니다.
따라서 영문 원본의 내용과 다소 상이할 수 있음을 다시 한번 사전에 안내 드립니다. 또한 무단 배포와 변형을 엄격히 금지합니다.

작가정보

저자(글) Wenqiang Feng, 홍은희

번역 홍은희

감수 홍은희