빅데이터

윤형기 지음

퍼플 2013년 10월 07일 출간

작품소개

책소개

빅데이터 기술에 대한 소개서이다.

빅데이터는 대용량 데이터에 대해 분산처리기술을 적용함으로써 과거에는 불가능하던 것들을 가능하게 하는 기술이다.
특히 Hadoop 프레임워크는 과거 슈퍼컴퓨터에서나 가능하던 것들을 여러 대의 저가서버에서 처리할 수 있게 해 준다. MapReduce로 대변되는 이러한 분산처리기법은 앞으로 새로운 세계를 주도하는 신기술이라 할 것이다. 빅데이터는 이처럼 대용량 데이터의 처리성능을 획기적으로 높여 주지만 그 효과는 기술의 세계를 넘어서서 정치, 경제, 사회, 문화의 사회 전 분야에 큰 변혁을 불러일으키고 있다. 본 서에서는 주요 사례를 통해 이러한 변화가 어떻게 이루어질 수 있는지 실무자의 관점에서 살펴보았다.

한편 이러한 빅데이터의 이해를 위해서는 단순히 Hadoop의 이해로 그치지 않고 보다 넓은 분석의 세계를 살펴볼 필요가 있다. 특히 과거의 데이터마이닝 그리고 최근의 기계학습의 영역이야말로 이러한 하부기술을 활용하여 우리사회 전반에 변화를 주도할 수 있게 될 것이다.
그동안 빅데이터의 많은 책들이 SF류의 교양서적에 그치거나 프로그래머 대상의 외서번역에 그친 반면 본서에서는 이들 각각을 세부적으로 심도있게 다루면서도 보다 종합적이고 총괄적인 설명을 하였고 나아가 최근 추세와 향후 방향에 대해서도 살펴 보았다.

목차

<목차>
I. 배경

1 빅 데이터의 물결
(1) 빅 데이터 시대의 도래
(2) 빅 데이터의 특징
2. 슈퍼컴퓨팅 (HPC)과 분산컴퓨팅 기술
(1) HPC 기술
(2) 분산컴퓨팅과 분산파일시스템
3. BI (Business Intelligence)과 데이터베이스
(1) BI
(2) 대규모 데이터베이스와 NoSQL DB
4. Google과 Apache 프로젝트
(1) Google 빅데이터
(2) Apache 빅데이터

II. Hadoop

1. Hadoop 개요
(1) Hadoop의 배경 ？ 초기역사
(2) Hadoop의 version
(3) 특징
2. Hadoop의 아키텍처
(1) 개요
(2) Hadoop의 처리 흐름도
3. Hadoop의 기능 요소 ？ HDFS와 MapReduce
(1) HDFS (Hadoop Distributed File System)
(2) MapReduce
4. Hadoop 설치운영과 프로그래밍
(1) Hadoop의 설치와 운용
(2) Hadoop 프로그래밍
(3) 결론
5. Hadoop과 관련된 프로젝트 (Hadoop 생태계)
(1) Pig
(2) Hive
(3) HBase
(4) ZooKeeper
(5) Sqoop
(6) Flume

III. 분석기법

1. 개요
(1) Analytics의 개념
(2) Analytics, BI, 데이터마이닝의 비교
(3) 데이터 분석을 위한 통계이론 기초
(4) Predictive Analytics
(5) 각종의 Analytics 활용 예
2. 모델링과 데이터의 전처리
(1) 데이터의 전처리 문제
(2) 모델링 (모델개발)
(3) 기계학습
3. 주요 분석 기법
(1) OLAP 분석 (DW/OLAP)
(2) 개념서술과 데이터 이산화 및 개념계층 생성
(3) 데이터 상호관련성의 분석
(4) 분류 (Classification)
(5) 군집 이론
(6) 예측이론
(7) 의사결정 트리(Decision Tree)
(8) 스트림 (stream) 데이터의 분석
(9) 시계열 및 순차데이터에 대한 분석
(10) 기타의 주요 분석
4. Analytics 도구
(1) 상용 분석도구
(2) 오픈소스
5. 기본적인 분석모델의 예
(1) 분석 CRM (Analytical CRM)
(2) Predictive Analytics의 실제 예
(3) 사기 탐지 (Fraud Detection)

IV. 빅 데이터의 적용실례

1. Mahout를 이용한 빅데이터 분석
(1) 개요
(2) Mahout에서의 군집화 기능
2. 빈발패턴 알고리즘의 MapReduce 적용 예
(1) FP-Growth 알고리즘
(2)PFP 알고리즘
(3) 결론에 대신하여
3. Streaming을 이용한 R과 Hadoop의 혼용
(1) R을 이용한 map 기능만의 구현
(2) R 이용하되 Map과 Reduce를 모두 활용하는 경우

V. 빅데이터 적용 방법론

1. 빅데이터 성숙 모델
(1) IDB의 빅데이터 분석 성숙모델
(2) Sprenger의 데이터 성숙모델
(3). 실시간 예측분석 프레임워크
2. 프로젝트 방법론
3. 빅데이터 로드맵
(1) 보완관계로서의 Hadoop과 DW
(2) Hadoop을ETL/전처리 기능으로 이용
(3) Hadoop을 ETL 기능으로 이용
(4) Cloud서비스로서의 빅데이터 분석
4. 클라우드 컴퓨팅과 빅데이터
(1) 개요
(2) Amazon의 경우
(3) KTCloudware와 ucloud biz의 예

VI. 결론에 대신하여

부록: r 사용법
1. 개요
2. 기본기능 실습
3. r 프로그래밍

작가정보

저자(글) 윤형기