하둡 완벽 가이드

데이터의 숨겨진 힘을 끌어내는 최고의 클라우드 컴퓨팅 기술

톰 화이트 지음 | 장형석 , 임상배 , 김훈동 , 장정호 옮김

한빛미디어 2017년 06월 01일 출간 종이책 : 2017년 03월 01일 출간

작품소개

책소개

하둡 프로젝트의 커미터이자 핵심 설계자인 톰 화이트가 집필한 이 책은 하둡 창시자인 더그 커팅을 비롯한 프로젝트별 전문가의 강력한 조언이 충실하게 반영되어 오랫동안 하둡 개발자의 바이블로서 자리를 지켜왔다. 이번 4판에서는 하둡 2.0 기반 YARN, 파케이, 플룸, 크런치, 스파크 프로젝트 예제와 헬스케어 시스템과 유전체 분석 사례가 새로이 추가되었다. 최신 하둡 정보는 물론이고 하둡과 연동하는 아파치 하둡 프로젝트의 서브 프로젝트인 피그, 주키퍼, HBase, 하이브, 스쿱, 에이브 등에 대해서도 다루기 때문에 하둡에 대한 전반적인 지식을 얻을 수 있다. 이 책은 대규모 데이터셋을 분석하는 개발자와 하둡 클러스터를 구축하고 사용하는 시스템 관리자를 위한 최고의 지침서가 될 것이다.

목차

★★★ Part 1 하둡 기초 ★★★

CHAPTER 1 하둡과의 만남
1.1 데이터!
1.2 데이터 저장소와 분석
1.3 전체 데이터에 질의하기
1.4 일괄 처리를 넘어서
1.5 다른 시스템과의 비교
1.6 아파치 하둡의 간략한 역사
1.7 이 책의 내용

CHAPTER 2 맵리듀스
2.1 기상 데이터셋
2.2 유닉스 도구로 데이터 분석하기
2.3 하둡으로 데이터 분석하기
2.4 분산형으로 확장하기
2.5 하둡 스트리밍

CHAPTER 3 하둡 분산 파일시스템
3.1 HDFS 설계
3.2 HDFS 개념
3.3 명령행 인터페이스
3.4 하둡 파일시스템
3.5 자바 인터페이스
3.6 데이터 흐름
3.7 distcp로 병렬 복사하기

CHAPTER 4 YARN
4.1 YARN 애플리케이션 수행 해부해보기
4.2 YARN과 맵리듀스 1의 차이점
4.3 YARN 스케줄링
4.4 참고 도서

CHAPTER 5 하둡 I/O
5.1 데이터 무결성
5.2 압축
5.3 직렬화
5.4 파일 기반 데이터 구조

★★★ Part 2 맵리듀스 ★★★

CHAPTER 6 맵리듀스 프로그래밍
6.1 환경 설정 API
6.2 개발환경 설정하기
6.3 엠알유닛으로 단위 테스트 작성하기
6.4 로컬에서 실행하기
6.5 클러스터에서 실행하기
6.6 잡 튜닝하기
6.7 맵리듀스 작업 흐름

CHAPTER 7 맵리듀스 작동 방법
7.1 맵리듀스 잡 실행 상세분석
7.2 실패
7.3 셔플과 정렬
7.4 태스크 실행

CHAPTER 8 맵리듀스 타입과 포맷
8.1 맵리듀스 타입
8.2 입력 포맷
8.3 출력 포맷

CHAPTER 9 맵리듀스 기능
9.1 카운터
9.2 정렬
9.3 조인
9.4 사이드 데이터 분배
9.5 맵리듀스 라이브러리 클래스

★★★ Part 3 하둡 운영 ★★★

CHAPTER 10 하둡 클러스터 설정
10.1 클러스터 명세
10.2 클러스터 설치 및 설정
10.3 하둡 환경 설정
10.4 보안
10.5 하둡 클러스터 벤치마크

CHAPTER 11 하둡 관리
11.1 HDFS
11.2 모니터링
11.3 유지 보수

★★★ Part 4 관련 프로젝트 ★★★

CHAPTER 12 에이브로
12.1 에이브로 자료형과 스키마
12.2 인메모리 직렬화와 역직렬화
12.3 에이브로 데이터파일
12.4 상호운영성
12.5 스키마 해석
12.6 정렬 순서
12.7 에이브로 맵리듀스
12.8 에이브로 맵리듀스를 이용하여 정렬하기
12.9 다양한 언어에서 에이브로 사용하기

CHAPTER 13 파케이
13.1 데이터 모델
13.2 파케이 파일 포맷
13.3 파케이 설정
13.4 파케이 파일 쓰기와 읽기
13.5 파케이 맵리듀스

CHAPTER 14 플룸
14.1 플룸 설치
14.2 예제
14.3 트랜잭션과 신뢰성
14.4 HDFS 싱크
14.5 분기
14.6 분배: 에이전트 계층
14.7 싱크 그룹
14.8 애플리케이션과 플룸의 통합
14.9 컴포넌트 목록
14.10 참고 도서

CHAPTER 15 스쿱
15.1 스쿱 얻기
15.2 스쿱 커넥터
15.3 임포트 예제
15.4 생성된 코드
15.5 임포트 자세히 살펴보기
15.6 불러온 데이터로 작업하기
15.7 대용량 객체 임포트하기
15.8 익스포트 수행하기
15.9 익스포트 자세히 살펴보기
15.10 참고 도서

CHAPTER 16 피그
16.1 피그의 설치 및 실행
16.2 예제
16.3 데이터베이스와 비교
16.4 피그 라틴
16.5 사용자 정의 함수
16.6 데이터 처리 연산자
16.7 피그 실무
16.8 참고 도서

CHAPTER 17 하이브
17.1 하이브 설치하기
17.2 예제
17.3 하이브 실행하기
17.4 전통적인 데이터베이스와의 비교
17.5 HiveQL
17.6 테이블
17.7 데이터 질의하기
17.8 사용자 정의 함수
17.9 참고 도서

CHAPTER 18 크런치
18.1 예제
18.2 크런치 핵심 API
18.3 파이프라인 실행
18.4 크런치 라이브러리
18.5 참고 도서

CHAPTER 19 스파크
19.1 스파크 설치
19.2 예제
19.3 탄력적인 분산 데이터셋 RD

출판사 서평

★ 곁에 두고 찾아보는 하둡 최고의 바이블 개정 4판 전격 출간!

★ 개정4판에서 새로워진 내용
4판은 하둡 2 버전만을 다룬다. 하둡 2 버전은 현재 가장 활발히 개선되고 있으며 가장 안정된 하둡 버전이다. YARN(4장), 파케이(13장), 플룸(14장), 크런치(18장), 스파크(19장)를 다루는 새로운 장이 추가되었다. 이 책을 읽는 다양한 순서를 독자들에게 알려주는 절도 포함되었다. 또한 새로운 두 가지 사례 연구를 포함한다. 첫 번째는 헬스케어 시스템에서 하둡을 사용하기(22장), 두 번째는 하둡으로 유전체 데이터를 처리하기(23장)다. 하둡 최신 버전과 관련 프로젝트를 반영하고자 기존 내용에 많은 수정을 가해 개선했다.

★ 대상 독자
- 시스템 관리자
- 클라우드 컴퓨팅 분야의 학자, 개발자, 기술 기획자
- 데이터 마이닝 등 데이터 분석 및 알고리즘 학자, 개발자

★ 이 책에서 다루는 기술
- 맵리듀스, HDFS, YARN
- 애플리케이션 개발
- 피크, 하이브, 크런치, 스파크
- 분산 데이터베이스 HBase
- 분산 설정 서비스 주키퍼
- 하둡 클러스터 관리 및 설정
- 에이브로로 데이터 직렬화하기
- 파케이로 중첩 데이터 처리하기
- 플룸으로 데이터 수집하기
- 스쿱으로 데이터 일괄 전송하기

[추천사]
여러분은 진정한 고수에게서 하둡의 기술적인 측면뿐만 아니라 상식적이고 일반적인 개발 방법까지도 배울 기회를 얻었습니다.
- 더그 커팅, 하둡 창시자, 클라우데라

작가정보

저자(글) 톰 화이트

저자 톰 화이트는 2007년 2월부터 아파치 하둡 커미터가 되었고, 이후 아파치 소프트웨어 재단의 일원이 되었다. 현재 하둡에 대한 지원과 트레이닝을 제공하는 회사인 클라우데라에서 일하고 있다. 그전에는 독립적인 하둡 고문으로서 하둡을 설치, 사용, 확장하려는 회사와 일했다. 그는 oreilly.com, java.net, IBM developerWorks에 수많은 글을 썼으며 몇몇 컨퍼런스에서 하둡에 관해 연설했다. 톰은 케임브리지 대학교에서 수학 학사학위를 취득하고, 영국 리즈Leeds 대학교에서 과학 철학 석사학위를 취득하였다.

번역 장형석

역자 장형석은 1996년 공군사관학교에서 기상예보 장교로 실무를 시작했다. 전역 후 닷컴솔루션이란 회사를 창업하고 자연어처리, 검색엔진, 그룹웨어, ERP 솔루션을 개발했다. 2012년부터는 회사를 정리하고 국내 1호 빅데이터 대학원인 충북대학교 비즈니스데이터융합학과의 교수로 부임하여 분산병렬처리(하둡), 데이터 마이닝과 머신러닝(스파크), 시각화 과목을 맡고 있다. 현재 국민대학교 빅데이터경영MBA과정 겸임교수와 연세대학교 데이터사이언스 과정 외래교수를 맡고 있으며, 숙명여대, 한국생산성본부, 삼성SDS 등 다수의 대학교 및 기업에 출강하고 있다.

번역 임상배

역자 임상배는 Principal Sales Consultant. 현재 한국오라클 Core Tech 본부 빅데이터팀에서 빅데이터 솔루션 컨설팅 업무를 하고 있으며 하둡, 스파크, R 기반의 오픈 소스 기술을 활용한 솔루션과 데이터 가상화 솔루션을 담당하고 있다. 빅데이터 처리 및 분석을 주제로 대학, 협회, 기업 등에서 강의를 하고 있다. 오라클에 입사하기 전에는 한국사이베이스에서 금융, 통신, 제조, 공공 등 다양한 분야에서 데이터 웨어하우스, 복합 이벤트 처리, 엔터프라이즈 아키텍처 모델링 솔루션 컨설팅 업무를 했고 현대정보기술에서는 정보계 시스템 구축 프로젝트 수행, 비트컴퓨터에서는 분석 플랫폼 개발을 했다.

번역 김훈동

역자 : 김훈동
신세계 SSG.COM 빅데이터팀 리더. 연세대학교에서 컴퓨터공학을 전공하고, 빅데이터 및 NoSQL로 석사학위를 받았다. 21살이었던 대학교 3학년 때 처음으로 벤처기업을 창업했다. 총 두 번의 벤처기업을 창업했으며, 두 번째 회사는 챗봇 관련 대화 에이전트 회사였다.
석사과정 중 빅데이터 세계에 입문한 이후, 커다란 데이터를 찾아 현재의 신세계그룹에 입사해 현재는 이마트 및 신세계 백화점의 온?오프 유통 데이터를 수집하고 분석하고 기계학습을 적용하는 업무를 리딩하고 있다. 한국 스파크 사용자 모임과 하둡, 스파크, 머신러닝 분야의 한국 마이크로소프트 MVP로 활동하고 있다. 최근에는 딥러닝 NLP 분야의 오픈소스 연구에 참여하고 있다.

번역 장정호

역자 장정호는 네이버 검색 소프트웨어 엔지니어. 2006년에 티맥스에서 애플리케이션/시스템 간 데이터 전송 시스템 개발을 시작으로, 다음 커뮤니케이션에서 데이터 마이닝 업무, SAP에서 칼럼 기반의 인메모리 RDBMS인 HANA 개발에 동참했으며, 그 후 빅데이터 저장/분석 시스템 영역에 관한 연구를 통해 네이버에서 데이터 분석 시스템을 개발을 담당하고 있다.