제2부 사람이 빅데이터이다-빅데이터 마이닝

장수진 지음

위즈소프트 2014년 02월 10일 출간

작품소개

책소개

빅데이터 시리즈 -1,2,3부

제 1부. "사람이 빅데이터이다" 빅데이터-워밍업 (초급편)
제 2부. "사람이 빅데이터이다" 빅데이터-마이닝 (중급편)
제 3부. "사람이 빅데이터이다" 빅데이터-사이언티스트 (고급편)

IT 산업으로 출발한 빅데이터 이슈는 전 세계의 업종을 불문하고 모든 영역으로 확산되고 있다.
시대적 변화와 정보의 변화에 따라 기존 기술 집약적 사회에서 가치 중심적 사회로 변화하는 과정속에서 생성되는
창조적 가치 산업의 대표인 빅데이터 산업은 어쩌면 당연한 이치이다.

빅데이터 산업은 제 3의 혁명의 시대로 접어들고 있는 현상을 대변하고 있다. 제 3의 혁명은 인터넷 혁명 이후 양적 규모의 확대에 의한 질적 향상의 요구에 순응한 변화이며, 빅데이터를 통한 미래 전략적 준비는 기업 경쟁력에 대단한 영향력을 미칠 것인지 예측하지 못하고 있다. 수년의 시간이 지나면 모두가 알게 될 것이지만 꼭 지나봐야 아는것도 아니다.
누구나 빅데이터가 중요하다고 하지만, 처리 방법과 결론에 대한 것은 아무도 언급하고 있지 않다. 이 책은 아무도 하지 않았던 빅데이터의 처리와 방법, 그리고 결론과 트랜드에 대해서 과감하게 공개하며, 전 과정을 실질적 경험과 연구에 의하여 도출된 결과만으로 여과 없이 설명하고자 한다.
이 책에는 빅데이터의 개념과 기술, 방법론 등 기존의 알려진 내용과 매우 다른 정의, 개념들이 거론되어 있다.
빅데이터에 관한 유명 인사의 생각이 중요치 않으며, 실질적인 빅데이터를 수집, 계산, 분석, 모델링, 방법론등을 독자적으로 연구하여 생성된 결과에 의존하였다.
필자는 빅데이터에 관한 확고하고 명쾌한 논리를 중시하며, 빅데이터에 관하여 무엇이 옳으냐에 중점을 두었고, 누가(유명한 기업인, 관련 전문가) 옳으냐는 필자에게 중요하지 않는 요인이기에 실증적으로 확인하지 않는 세상의 빅데이터 이야기는 모두 제외하였다.
빅데이터는 기존의 분석방법론을 근거로 활용되어질 수 있지만 창조적 전략과 가치 창출을 위한 새로운 전략이 핵심이기 때문에
과거의 틀에 박힌 사고의 체계에서는 빅데이터의 숨겨진의미와 가치를 창출할 수 없다. 그렇기 때문에 이 책은 새로운 방법의 사고의 전환을 혁신적 발상과 본질적 판단의 기술을 중시하고 있다.
현재 빅데이터의 전문가는 실제 해본 사람보다는 과거의 데이터 마이닝을 해본 경험자와 IT 책임자들이 주도하고 있다.
해보지 않고 생각만으로 빅데이터를 가늠할 수 있는 범위는 한정적이다. 그래서 필자의 실험적이며 도전적인 출간은 기존의 뜬구름 잡는 빅데이터의 정의에 정면으로 돌파하고자 하는 의지가 돋보이는 책이다.
책의 실험적 정신과 다양한 활용 중점의 명확한 사례 중심으로 가치 중심적 결론의 도출과 분석전략등에 중점을 두었다.
.
특히 빅데이터 관련 서적 중 흔히 볼 수 없는 3권의 등급별 시리즈로 출간한 것이 매우 특별하다. 빅데이터를 활용하는 목적과 대상에 따라 초급, 중급, 고급편으로 나누어서 책을 출시하였으며, 빅데이터를 통하여 추구하고자 하는 목표에 따라 선택, 활용할 수 있는 맞춤형 빅데이터 교양서와 같다. 물론 이 팩은 기술관련 서적은 절대 아니다. 방대한 빅데이터를 오랫동안 분석하고 연구하여 새로운 가치의 결과를 창출하면서 느껴 온 것은 빅데이터는 생각만 바꾸면 누구나 잘 할 수 있는 산업 영역이라 확신하였다.
빅데이터는 데이터가 아니다. 빅데이터는 가치이며, 숨겨진 의미이다. 가치와 숨겨진 의미는 창조적인 능력과 가치를 판단할 수 있는 분석 능력자만이 보이게 되어있다. 그렇기 때문에 “사람이 빅데이터이다!”는 분석 전문가의 능력의 한계만큼만 가치와 결론의 가치가 생성된다.

목차

01 빅데이터 분석! 160년 전 시작되다!

- Key Message
- 빅데이터의 패러다임
- 빅데이터 분석! 160년 전 시작되다!
- 사람이 왜 빅데이터인가?
- 창조적 결과까지의 반복적 착오와 해결방법론
- 빅데이터의 숨겨진 비밀의 열쇠
- 빅데이터 시대적 오류를 피하는길
- 빅데이터 시대적 Needs
- 창조경제의 핵 “ 빅데이터”의 또 다른 의미
- 트랜드의 강력한 힘! 원스트라이크 아웃
- 과거 IT트랜드가 전해주는 값진 교훈

02 빅데이터 정의와 혼돈의 시대

- 빅데이터의 정의
- 물리적 데이터양의 확대를 위한 하드웨어 시스템
- 대량의 물리적 데이터양을 처리하기 위한 소프트웨어
- 빅데이터를 통한 새로운 결과 도출과 입체적 빅데이터 마이닝
- 빅데이터 마이닝

03 빅데이터 생성배경과 Next Generation

- 빅데이터 생성 배경과 Next Generation
- 빅데이터 생성배경
- 스마트폰의 등장과 빅데이터의 확산
- 빅데이터 활용과 필요성
- 빅데이터의 사회안전 시스템

04 빅데이터 & BIG2DATA의 특징

- 빅데이터 & BIG2DATA 의 특징
- 빅데이터의 본질적 특징
- 빅데이터의 또다른 해석
- 업계가 공공 빅데이터에 주목하는 이유
- 빅데이터 전문가를 위한 TIP
- 과거 경험에서 얻은 데이터의 지혜
- 미래의 중심은 오늘의 Fact이다
- 정부 3.0의 빅데이터가 제공할 미래의 가치
- 빅데이터의 Next Generation?
- 빅데이터의 메시지

05 빅데이터의 활용

- 생활속의 빅데이터
- 공공의 빅데이터
- 기업을 위한 빅데이터 활용
- 빅데이터의 결론 “Yes” or “No”

06 빅데이터의 종류

- 빅데이터 의 종류
- 단일 빅데이터
- 복합 빅데이터
- BIG2DATA의 기술
- 빅데이터의 핵심주체
- 빅데이터의 DNA

07 빅데이터 활용의 기술적 요소

- 빅데이터 형태소 & 어휘분석 방법
- 크롤링(Crawling)이란?
- 크롤링(Crawling) 차단방법
- 빅데이터 모델링
- 빅데이터 모델링의 중요성
- 데이터 방법론에 대한 중요한 Tip
- 빅데이터 프로세스 모델링 (6단계)

08 데이터 마이닝과 빅데이터 마이닝

- 데이터 마이닝
- 데이터마이닝 처리과정
- 빅데이터 용어의 의의
- 빅데이터의 변환과정
- 데이터마이닝과 빅데이터마이닝의 최종 결론

09 빅데이터 분석 알고리즘(BIG2DATA)

- 빅데이터 분석 알고리즘이란?
- 알고리즘의 정의
- 실패가 주는 중요한 가치
- 빅데이터의 명확한 개념은 “데이터는 데이터이다”
- 빅데이터의 중대한 오류는 방대한 데이터에 집착하기 때문이다.
- 만약 자동차 회사에서 빅데이터를 활용한다면…
- 빅데이터 분석 알고리즘 소개 (12단계)
- 빅데이터 사전준비
- 빅데이터의 핵심은 데이터 품질이다
- 1단계 : 빅데이터 사전 기획의 목표설정
- 2단계 : 빅데이터 요소분석 사전조사(리서치)
- 3단계 : 빅데이터 요소분석 리포트 결과분석(BSP과정)
- 4단계 : 빅데이터 통합 전략기획 수립(모델링분석, 설계)
- 5단계 : 빅데이터 Gathering 및 Sampling
- 6단계 : 빅데이터 프로세싱과 분석(분석 모델링/실행)
- 7단계 : 빅데이터 DNA 생성
- 8단계 : 빅데이터 DNA Clustering
- 9단계 : 빅데이터 DNA 모의시험과 검증
- 10단계 : 빅데이터 형상설계
- 11단계 : 빅데이터 프로젝트 최종 검검/완료
- 12단계 : 빅데이터 프로젝트 완료보고서

10 사례연구 (경제 빅데이터의 결과)

- 경제 빅데이터의 결과
- 경제와 날씨의 개념적 공통점 비교
- 경제요소 분석의 결론은 “경기”
- 우리는 경기가 좋다, 나쁘다를 어떻게 알아내는가?
- KOEPI 빅데이터! 오늘의 경기를 종합적으로 판단하다

작가정보

저자(글) 장수진