마스터링 아파치 스파크(Mastering Apache Spark)

마이크 프램톤 지음 | 정기훈 옮김

정보문화사 2016년 10월 18일 출간 종이책 : 2016년 06월 08일 출간

작품소개

책소개

『마스터링 아파치 스파크(Mastering Apache Spark)』는 스파크의 각각의 모듈에 관해 기술하고 이것들이 어떻게 실제로 사용되는지를 설명해준다. 또한, 스파크의 기능이 H2O 같은 추가 라이브러리를 통해 어떻게 확장될 수 있는지 보여준다. 그리고 아파치 스파크의 그래픽 프로세싱 모듈이 어떻게 아우렐리우스의 타이탄 그래프 데이터베이스와 함께 사용되는지도 보여줄 것이다. 이를 통해 스파크 GraphX와 타이탄을 그룹핑 함으로써 그래프 기반의 프로세스와 스토리지로 엮이는 것을 확인할 수 있다.

목차

1장 아파치 스파크
1.1. 개요
1.2. 클러스터 디자인
1.3. 클러스터 관리
1.4. 성능
1.5. 클라우드
1.6. 요약

2장 아파치 스파크 MLlib
2.1. 환경 설정
2.2. 나이브 베이즈(Naive Bayes) 분류
2.3. K-평균(K-Means) 클러스터링
2.4. ANN - 인공 신경망(Artificial Neural Networks)
2.5. 요약

3장 아파치 스파크 스트리밍(Streaming)
3.1. 개요
3.2. 오류 및 복구
3.3. 스트리밍 소스
3.4. 요약

4장 아파치 스파크 SQL
4.1. SQL 콘텍스트
4.2. 데이터 불러오기 및 저장하기
4.3. 데이터프레임
4.4. SQL 사용하기
4.5. 사용자 정의 함수
4.6. 하이브 사용하기
4.7. 요약

5장 아파치 스파크 GraphX
5.1. 그래프 개요
5.2. GraphX 코딩
5.3. Neo4j용 메이즈러너(Mazerunner)
5.4. 요약

6장 그래프 기반 스토리지
6.1. 타이탄(Titan)
6.2. 팅커팝(TinkerPop)
6.3. 타이탄 설치
6.4. HBase와 함께 타이탄 사용하기
6.5. 카산드라(Cassandra)와 함께 타이탄 사용하기
6.6. 스파크를 사용하여 타이탄에 접근하기
6.7. 요약

7장 H2O를 사용한 스파크 확장
7.1. 개요
7.2. 프로세싱 환경
7.3. H2O 설치
7.4. 빌드 환경
7.5. 아키텍쳐
7.6. 데이터 소싱
7.7. 데이터 품질
7.8. 성능 튜닝
7.9. 딥 러닝(Deep Learning)
7.10. H2O FLOW
7.11. 요약

8장 스파크 데이터브릭스(Databricks)
8.1. 개요
8.2. 데이터브릭스 설치
8.3. AWS 과금
8.4. 데이터브릭스 메뉴
8.5. 계정 관리
8.6. 클러스터 관리
8.7. 노트북과 폴더(Notebooks and folders)
8.8. 작업과 라이브러리(Jobs and libraries)
8.9. 개발 환경
8.10. 데이터브릭스 테이블
8.11. DbUtils 패키지
8.12. 요약

9장 데이터브릭스 시각화(Visualization)
9.1. 데이터 시각화
9.2. REST 인터페이스
9.3. 데이터 이동
9.4. 참고 도서
9.5. 요약

출판사 서평

이 책에서는 스파크의 각각의 모듈에 관해 기술하고 이것들이 어떻게 실제로 사용되는지를 설명할 것이다. 또한, 스파크의 기능이 H2O 같은 추가 라이브러리를 통해 어떻게 확장될 수 있는지도 보여줄 것이다. 그리고 아파치 스파크의 그래픽 프로세싱 모듈이 어떻게 아우렐리우스의 타이탄 그래프 데이터베이스와 함께 사용되는지도 보여줄 것이다. 이를 통해 스파크 GraphX와 타이탄을 그룹핑 함으로써 그래프 기반의 프로세스와 스토리지로 엮이는 것을 확인할 수 있을 것이다.

■ 출판사 서평

아파치 스파크를 이용하여
빅데이터 처리 등 고급 스킬 습득을 위한 좋은 지침서!

아파치 스파크는 클러스터 기반의 인메모리 병렬 처리 시스템으로, 그래프 처리, 머신 러닝, 스트림 처리, SQL 등 폭넓은 기능을 제공한다.

이 책은 스파크의 기능을 어떻게 확장시키는지를 설명하여 스파크에 대한 지식을 한 단계 더 높이는 것을 목표로 하고 있다. 또한, 스파크 생태계를 훑어보는 것부터 시작한다. 그리고 MLlib을 사용하여 완전히 동작하는 신경망을 만들어 손글씨를 판별하도록 할 것이고, 최적의 성능을 올리는 병렬 처리가 가능하도록 스트림 처리를 다루는 방법에 대해 설명할 것이다. 그런 다음 머신 러닝을 위한 H2O, 그래프 기반의 스토리지를 위한 타이탄, 클라우드 기반의 스파크를 위한 데이터브릭스 등을 어떻게 활용하는지를 설명한다. 아울러, CentOS 리눅스 및 데이터브릭스 클라우드 환경에서 아파치 스파크 모듈 프로세싱을 위해 스칼라로 작성한 예제 코드도 제공한다.

이 책에서 다루는 내용:
ㆍ 프로세싱과 스토리지를 위한 확장 툴
ㆍ MLlib을 사용하여 클러스터링과 분류기법 구현
ㆍ Flume과 HDFS를 통한 스파크 스트림 프로세싱 이해
ㆍ 스파크 SQL을 통한 스키마 생성 및 데이터 입력
ㆍ 스파크 GraphX를 사용한 스파크 기반의 그래프 프로세싱
ㆍ 스파크와 H2O, 딥 러닝 결합 및 이에 따른 장점
ㆍ 아파치 스파크의 대표적 그래프 스토리지 - 타이탄, HBase, 카산드라 비교
ㆍ 아파치 스파크를 클라우드 상에서 구현하기 위해 사용되는 데이터브릭스와 AWS

작가정보

저자(글) 마이크 프램톤

저자 마이크 프램톤은 IT 분야에 몸담고 있으며, IT 블로그 및 집필 활동을 통해 새로운 기술이나 빅데이터에 대한 통찰력을 보여주고 있다. 마이크는 1990년부터 IT 분야에서 일하며 테스트, 개발, 지원, 집필 등 폭 넓은 경험을 쌓았을 뿐만 아니라 에너지, 금융, 통신, 보험 등과 같은 비 IT 분야에서의 근무 경험도 가지고 있다. 마이크는 빅데이터, 인공지능, IT 분야에 대한 새로운 아이디어와 기술을 접하는 것을 좋아한다.
ㆍ LinkedIn : http://linkedin.com/profile/view?id=73219349
ㆍ 홈페이지 : http://www.semtech-solutions.co.nz

번역 정기훈

역자 정기훈은 현재 KT에서 유무선네트워크 기획·홍보 등의 업무를 하고 있으며 IT와 관련된 다양한 분야에 관심을 갖고 있다. 옮긴 책으로는 ‘Cocos2D 게임 프로그래밍’, ‘Learning Mac/iOS 개발자를 위한 오브젝티브-C 2.0’, ‘Learning iOS 게임 프로그래밍’ 등이 있으며, 저서로는 ‘원리로 이해하는 네트워크 입문’ 등이 있다.