빅데이터 분석과 활용

박인근 , 홍지후 , 강남규 , 김성호 , 정구범 지음

제이펍 2020년 03월 28일 출간 종이책 : 2019년 01월 08일 출간

작품소개

책소개

현장 전문가가 직접 전하는
4차 산업혁명 시대에 어울리는 빅데이터 구축 노하우!

이 책은 4차 산업혁명 시대에 왜 빅데이터가 중요한가에 대해 말하고, 실제로 빅데이터를 구축하려면 어떠한 기술이 필요한지 설명한다. 특히, 최근까지 다수의 빅데이터 구축 경험을 가진 현장 전문가의 설명은 빅데이터를 구축하는 데 필요한 효율적이고도 현실적인 조언이 되어줄 것이다. 나아가 빅데이터와 인공지능, 블록체인과의 연계 방안과 기술에 관해서도 설명한다. 빅데이터를 도입하거나 구축하려는 기업의 기획자나 실무자에게 유용한 자료가 될 것이다.

목차

PART I 빅데이터가 열어 갈 4차 산업혁명 1
CHAPTER 01 빅데이터와 우리의 미래 3
1.1 2030년 어느 날 3
1.2 빅데이터란? 4
1.3 빅데이터와 4차 산업혁명 6
1.3.1 빅데이터와 자율주행 자동차 14
1.4 기업은 빅데이터를 어떻게 이용하고 있을까? 15
1.5 빅데이터가 열어 갈 미래를 어떻게 준비해야 하는가? 16
1.5.1 미래는 자율형 분산 조직화된다 17
1.5.2 변화의 시간은 점점 짧아진다 18
1.5.3 시장 창조형 혁신이 필요하다 19
1.5.4 결국 인재가 가장 중요하다 21
1.5.5 빅데이터 기반의 온라인 평생 교육 22
CHAPTER 02 빅데이터란 무엇인가? 24
2.1 데이터 분석의 지난날 24
2.1.1 CRM에서 빅데이터 분석으로 24
2.1.2 데이터 마이닝 기술에서 빅데이터 분석 기술로 26
2.2 빅데이터 분석을 위해 우리가 알아야 할 것들 28
2.2.1 빅데이터의 정의 28
2.2.2 빅데이터의 특징 29
2.2.3 데이터 폭증 시대, 진정한 빅데이터 분석 32
2.2.4 빅데이터 분석 4요소 33
2.2.5 데이터 분석가는 무엇을 해야 하는가? 34
2.2.6 빅데이터 기반 기술에는 무엇이 있는가? 35
2.2.7 분석 알고리즘 학습 39
2.2.8 데이터 인사이트를 기르는 방법 42
2.3 빅데이터 기술 섭렵하기 44
2.3.1 빅데이터 수집 45
2.3.2 빅데이터 저장 51
2.3.3 빅데이터 처리 57
2.3.4 빅데이터 분석 60
CHAPTER 03 빅데이터의 비즈니스 활용 사례 66
3.1 기업의 빅데이터 활용 방향 67
3.2 해외 사례 70
3.3 국내 사례 79

PART II 빅데이터 구축 실무 95
CHAPTER 04 빅데이터 구축 97
4.1 빅데이터 플랫폼 구축 개요 97
4.1.1 운영계 시스템(기간계) 97
4.1.2 분석계 시스템(데이터 웨어하우스) 98
4.1.3 데이터 레이크 98
4.2 빅데이터 플랫폼 구축을 위한 프로세스 98
4.3 요구사항 분석 102
4.3.1 개선 방향 작성 104
4.3.2 분석 목표 수립 106
4.3.3 프로젝트 계획 108
4.3.4 보유 데이터 자산 확인 109
4.4 개발 계획 수립 112
4.4.1 일정 계획 수립 112
4.4.2 인력 계획 수립 116
4.5 목표 시스템 정의 119
4.6 기초 설계 126
4.6.1 고가용성 구성 126
4.6.2 개발 표준 정의 130
4.6.3 모델링 표준 정의 136
4.7 데이터 수집 설계 138
4.7.1 데이터 수집 계획 수립 138
4.7.2 빅데이터 수집 시스템 설계 143
4.7.3 내/외부 데이터 수집 150
4.8 데이터 처리 설계 154
4.8.1 데이터 처리 계획 수립 155
4.8.2 데이터 처리 설계 156
4.9 플랫폼 구축 160
4.9.1 PMO 관리사항 161
4.9.2 하드웨어 조달 및 설치 164
4.9.3 소프트웨어 조달 및 설치 165
4.9.4 데이터 수집 166
4.9.5 업무 개발/테스트 167
4.9.6 통합 테스트 168
4.9.7 사용자 인수 테스트 171
4.9.8 오픈 및 완료 보고 171
CHAPTER 05 빅데이터 분석과 활용 172
5.1 왜 데이터 전처리가 중요할까? 172
5.1.1 데이터 전처리란? 173
5.1.2 전송 및 전처리 업무의 문제 175
5.1.3 전송 방법의 구분 176
5.1.4 비실시간 데이터 전송 176
5.1.5 실시간 데이터 전송 180
5.1.6 크롤링과 스크랩핑 181
5.1.7 데이터 전송을 잘 수행하기 위한 준비사항 182
5.1.8 데이터 전송 및 전처리 시스템 구축 182
5.1.9 데이터 전송 포맷 187
5.1.10 로그 수집과 크롤링 189
5.1.11 하둡 연동 192
5.1.12 데이터 스펙 검증 및 관계형 데이터베이스 연동 194
5.1.13 데이터 전처리 구현 195
5.2 머신러닝 기반 분석 프로세스 198
5.2.1 예측 모형 개발 프로세스 198
5.2.2 예측 모형 알고리즘 선정 프로세스 201
5.2.3 예측모형 알고리즘 종류 202
5.2.4 머신러닝 예측 모델 성능 평가 213
CHAPTER 06 빅데이터 운영 218
6.1 빅데이터 운영 기획 218
6.2 빅데이터 운영 228
6.3 운영 평가 235

PART III 빅데이터 활성화 산업혁명 기술 239
CHAPTER 07 빅데이터와 인공지능 241
7.1 인공지능에서의 빅데이터 활용 241
7.2 인공지능의 과거와 현재 241
7.2.1 고정관념의 변화 241
7.2.2 과거의 인공지능 243
7.3 쉬운 인공지능, 어려운 용어 245
7.4 인공지능의 개념 247
7.4.1 인공지능의 분류 249
7.5 인공지능 기초 알고리즘 251
7.5.1 퍼셉트론 251
7.5.2 퍼셉트론 활용 기초 253
7.6 인공지능 기술 분류 255
7.6.1 상황이해 259
7.6.2 언어이해 260
7.7 인공지능의 학습기법과 알고리즘 260
CHAPTER 08 빅데이터와 블록체인 262
8.1 비트코인의 탄생 262
8.2 비트코인에 코인은 없다 264
8.3 비트코인의 보상 265
8.4 블록체인의 구조 267
8.5 공개, 개인, 컨소시엄 블록체인 268
8.6 블록체인 기술의 산업적 활용 전망 272
8.7 빅데이터 활성화를 위한 블록체인 278

참고문헌 281
찾아보기 284

책 속으로

이 책의 시작을 4차 산업혁명으로 시작하는 이유가 여기에 있다. 빅데이터는 하나의 기술이고 트렌드일 뿐 더욱 중요한 것은 이러한 빅데이터를 얼마나 산업에 적용할 것인지를 고민하는 창업가의 의지와 모험심이라고 생각한다. 1부에서는 빅데이터로 인한 4차 산업혁명의 짧은 스냅샷을 보여 준다. 그리고 빅데이터가 무엇인가에 관한 사전적, 경험적 정의를 내려 준다. 아무리 실무가 중요하다고 해도 간단한 정의 정도는 내리고 출발하는 것이 좋겠다. 그리고 빅데이터가 현재 산업에 얼마나 사용되고 있는지 그 활용 사례를 보여 줌으로써 4차 산업혁명의 원유(原油)라고 하는 이유를 설명하고자 한다. 1부는 빅데이터를 그동안 잘 모르고 있었거나 피상적으로만 알고 있었던 분들이 읽으면, 짧지만 강한 여운을 남길 수 있을 것이다. 그럼, 4차 산업혁명의 미래 모습 속으로 잠시 여행을 다녀오자.
_2쪽

통계분석과 데이터 마이닝, 빅데이터의 차이점을 간단히 설명하면 다음과 같다. 통계분석은 모집단에서 집단의 대표성을 가지는 표본집단으로부터 데이터를 분석한다. 그러므로 모집단으로부터 집단의 대표성을 가지는 표본집단을 얼마나 잘 추출하는가에 따라 데이터의 분석 결과가 달라질 수 있다. 표본집단 추출의 한계가 곧 통계분석의 한계로 연결된다. 이러한 통계분석의 한계를 극복한 것이 데이터 마이닝이다. 데이터 마이닝은 모집단 전체를 대상으로 분석하게 된다. 또한, 통계분석은 가설 또는 가정을 검증하는 과정인 데 반해, 데이터 마이닝은 신경망 알고리즘, 연관분석, 회귀분석, K-평균(K-means) 알고리즘 등의 수학적 분석 방법론으로 데이터를 분석하게 된다. 통계에서는 대량의 데이터를 대상으로 했을 때 한계가 있다. 이는 통계가 전체 데이터 중 부분 데이터를 다루기 때문이다. 통계가 전체 데이터를 다룰 때도 있지만, 이는 정말 특별한 경우에만 그렇다.
_26쪽

빅데이터 플랫폼은 빅데이터를 생산?분석?유통시키는 시스템이다. 현대는 플랫폼 시대다. 단순히 하나의 시스템을 구축하는 것이 중요한 것이 아니라 지속적으로 개발?분석?유통할 수 있는 시스템이 필요하다. 빅데이터 역시 플랫폼을 구축하는 것이 중요하다. 빅데이터 플랫폼은 일반적인 전산 시스템 카테고리에 따라 크게 세 가지 유형으로 분류한다. 첫째, 운영계 시스템은 기간계 시스템이라고도 한다. 둘째, 분석계 시스템은 기업에서 데이터 웨어하우스라고 부르는 시스템이다. 분석계 시스템은 운영계 시스템에서 만들어진 빅데이터를 분석하는 시스템이다. 셋째, 데이터 레이크(Data Lake)는 데이터 소스가 제공하는 원시 데이터 그대로를 저장해놓은 시스템이다.
_97쪽

데이터 전처리가 무엇일까? 빅데이터에서 데이터 전처리는 데이터를 특정 플랫폼 또는 시스템에 공급하기 위해 필요한 작업의 전체를 말한다. 좀 더 구체적으로 말하면 이 기종 시스템 간에서 데이터를 전송하고 적재하는 데 필연적으로 필요한 과정이 데이터 전처리다. 또한, 데이터 마이닝 및 분석을 위해 결측치를 처리하고, 데이터를 변환, 가공, 잡음 제거, 손실 데이터 보정, 데이터 형변환하는 과정을 말하기도 한다. 최근에는 비정형 데이터를 정형화(파싱, 자연어 처리)하는 과정을 말하기도 한다. 이렇게 데이터 전처리는 여러 가지 의미로 쓰인다.
_173쪽

빅데이터 운영은 일반 IT 인프라 운영과 마찬가지로 기존의 IT 인프라 운영 인력이 있다면 통상 한 달 전에 인수인계 절차를 거쳐야 하며, 그렇지 않을 경우 운영 기획을 통해 개발 부서로부터의 인수, 운영 자원 및 예산 계획, 표준 지침 및 절차서를 마련하여야 한다. 빅데이터 운영이라고 해서 일반 IT 인프라 운영과 특히 다른 점은 없으나 운영 관리를 위해 필요한 업무 절차 및 산출물, 문서 양식 등은 수행 기관의 규모, 업무 분야, 시스템 종류 및 유형에 따라 다를 수 있으므로 각 기관에 맞게 운영 관리 지침 및 절차서를 반드시 수립하고 적용한다.
_218쪽

출판사 서평

현장 전문가가 직접 전하는
4차 산업혁명 시대에 어울리는 빅데이터 구축 노하우!

이 책은 4차 산업혁명 시대에 왜 빅데이터가 중요한가에 대해 말하고, 실제로 빅데이터를 구축하려면 어떠한 기술이 필요한지 설명한다. 특히, 최근까지 다수의 빅데이터 구축 경험을 가진 현장 전문가의 설명은 빅데이터를 구축하는 데 필요한 효율적이고도 현실적인 조언이 되어줄 것이다. 나아가 빅데이터와 인공지능, 블록체인과의 연계 방안과 기술에 관해서도 설명한다. 빅데이터를 도입하거나 구축하려는 기업의 기획자나 실무자에게 유용한 자료가 될 것이다.

대상 독자
● 4차 산업혁명과 빅데이터 관계를 알고 싶은 독자
● 기업의 빅데이터 도입 기획 실무자
● 빅데이터 개발을 담당하는 프로그래머
● 빅데이터에 관심 있는 일반인/학생/교수

작가정보

저자(글) 박인근

정보관리기술사를 취득하였으며 공학박사 학위를 가지고 있다. 현재는 통신회사에 근무하고 있다. 주로 IT 프로젝트 품질 관리와 테스트 업무를 하였으며, OO통신사 차세대 프로젝트 PMO 역할을 수행하기도 했다. 현재는 마케팅 부서에서 IT 신기술(블록체인, AI, 빅데이터 등) 적용에 몰두하고 있다.

저자(글) 홍지후

컴퓨터시스템응용기술사를 취득하였으며 공학석사 학위를 가지고 있다. 현재는 통신회사에 근무하고 있다. 주로 금융, 제조 IT 프로젝트에서 TA, PM 역할을 하였으며, 통신회사에서는 클라우드, 빅데이터, EAI/ESB 프로젝트를 수행하였다. 최근에는 AI, 블록체인, IoT 기술을 탐독하여 변화하는 세상에 빠르게 적용하려고 노력 중이다.

저자(글) 강남규

정보관리기술사를 취득하였으며 공학석사 학위를 가지고 있다. 클라우드 전문가로서 개발자, 컨설턴트, 프로젝트 매니저 등의 업무를 비롯해 다양한 분야(빅데이터, 클라우드, AI)에서 자문과 평가, 강의를 하고 있다. 지은 책으로는 《오픈스택 기반의 프라이빗 클라우드 서비스》가 있다.

저자(글) 김성호

통신회사에 근무하며, 주로 DW 구축, 클라우드 인프라 설계/구축/운용 업무를 수행하였다. 블록체인, IoT, AI, 미디어, 빅데이터 플랫폼 등 다양한 서비스의 클라우드 인프라 설계 경험을 가지고 있다. 현재 클라우드 부서에서 인프라 설계 및 구축 업무를 담당하고 있다.

저자(글) 정구범

현재는 kt NexR에서 근무하고 있으며 카카오에서 일했었다. 소프트웨어 엔지니어, 검색 엔진 R&D, 프로젝트 기획/제안/관리, 소프트웨어 아키텍트, 테크니컬 아키텍트, 솔루션 아키텍트 등 20년간 다양한 역할을 수행하였다. 현재 빅데이터 에반젤리스트 겸 컨설턴트로 일하며, 통신/포탈 등 대용량 빅데이터 플랫폼 기획/설계/구축/운영 등 빅데이터와 관련한 플랫폼의 전반적인 부분을 담당하고 있다.