시계열 데이터베이스를 활용한 IoT 데이터 처리의 모든 것

김성진 지음

북랩 2019년 06월 20일 출간 종이책 : 2019년 05월 23일 출간

작품소개

책소개

사물인터넷 시대, 빅데이터를 다룰 줄 아는 개인과 기업만이 살아남는다!

마크베이스를 개발한 대표가 직접 설명하는 센서 데이터의 효율적인 관리와 활용법

사물인터넷의 등장으로 사물의 데이터 생산량이 기하급수적으로 증가하면서 빅데이터의 처리가 업계의 화두로 등장했다. 갈수록 증가하는 데이터를 가지고 규칙을 만들어 활용할 수 있는 능력은 앞으로 성공과 실패를 좌우하는 열쇠가 될 것이다.
4차 산업혁명 시대로 진입하여 모든 사물이 인터넷으로 연결되고 폭발적으로 데이터가 증가하고 있는 이때, IoT 기반 센서 데이터를 제대로 관리할 수 있는 사람이 미래 산업 시장의 주인공이 될 것이다.
이 책은 시계열 데이터베이스를 기반으로 IoT 데이터 처리에 대한 관리ㆍ융합ㆍ활용의 시각을 제공하고 있으며, 이를 통해 IoT 데이터 전문가가 될 수 있는 지름길을 제시한다.

목차

추천사 005
머리글 007

제1장 IoT 스마트 세상이 다가온다
스마트 X 시대의 도래 018
IoT 센서의 증가 022
데이터의 증가 024
스마트 세상의 문턱에 서서 026

제2장 세상을 뒤덮는 IoT 데이터
스마트팩토리로 보는 데이터의 중요성 027
IoT 데이터 증가 트렌드 028
실제 사례로 보는 데이터 증가 사례들 030
발생된 모든 데이터를 저장하는 이유 033
IoT 데이터의 미래 036

제3장 IoT 데이터 전쟁의 서막
도전과 좌절의 역사 037
IoT 데이터 전쟁 승리의 조건들 047
문제 다시 보기: 왜 해결하기 어려울까? 051
좌절의 끝에서 053

제4장 시계열 데이터베이스의 출현
출현 배경 055
시계열 데이터베이스의 특징 057
시계열 데이터베이스의 종류 059
시계열 데이터베이스의 미래 063

제5장 마크베이스 소개
개발 배경 065
제품 히스토리 066
제품 특징 069
제품 활용과 미래 076

제6장 마크베이스 성능
개요 078
로그 테이블 성능 078
태그 테이블 성능 측정 080
센서 데이터를 위한 몽고DB와의 성능 비교 083
마치면서 090

제7장 마크베이스 설치
다운로드 사이트 소개 091
포그/엣지 에디션 설치 092

제8장 마크베이스 맛보기
기트허브로부터 샘플 예제 준비하기 105
콘솔 수행하기 105
태그 테이블 맛보기 107
로그 테이블 맛보기 119
마치면서 128

제9장 마크베이스 기초 활용
Machsql 사용 방법 129
태그 테이블 130
로그 테이블 139
휘발성/참조 테이블 148

제10장 마크베이스 데이터 로딩
machloader 154
csvimport 162
csvexport 164
마치면서 165

제11장 마크베이스 웹 관리 도구
MWA 활용 166
Tag Analyzer 활용 172
마치면서 193

제12장 마크베이스 태그 테이블 활용
태그 테이블의 세부 아키텍처 194
배치형 PLC 데이터 변환 예제 197
실시간 PLC 데이터 변환 예제 206
마치면서 217

제13장 마크베이스 롤업 테이블의 활용
롤업의 개념 및 특성 218
롤업의 필요성 218
롤업의 구조 219
롤업의 동작 유무 조절하기(ROLLUP_ENABLE) 220
간단한 롤업 질의 221
롤업 테이블 사용을 위한 기본 문법 222
다양한 시간 단위를 위한 고급 동적 통계 질의 225
마치면서 228

제14장 마크베이스 RESTful API의 활용
RESTful API 개요 229
SQL API 230
IoT API 233
CURL을 활용한 Raw 데이터 사용 예제 235
CURL을 활용한 롤업 데이터 사용 예제 244
마치면서 245

제15장 마크베이스와 그라파나 연동
시작 246
마크베이스 설치 247
그라파나 설치 247
사용방법 249
마치면서 255

제16장 마크베이스와 R 연동을 통한 빅데이터 분석
마크베이스와 R 연동 환경 및 준비 256
마크베이스와 R 연동 기초 259
빅데이터를 위한 R 분석의 문제점 265
천만 건 습도 데이터 분석 실전 예제 266
센서 데이터 비정상 값 범위 분석 287
마치면서 293

제17장 마크베이스와 C/C++의 연동
개요 294
CLI 및 ODBC 소개 294
표준 CLI 함수 295
윈도우 mingw 개발 환경 설정하기 315
마치면서 319

제18장 마크베이스와 C#의 연동
개요 320
클래스 구조 및 사용법 320
샘플 코드 예제 329
마치면서 335

제19장 마크베이스와 자바의 연동
JDBC 개요 342
표준 JDBC 함수 343
확장 JDBC 함수 343
실행 환경 설정하기 345
자바 예제 수행하기 348
마치면서 363

제20장 마크베이스와 파이썬의 연동
파이썬 모듈의 구조 364
파이썬 모듈 설치 364
모듈 import 하기 365
접속과 접속해제 함수 366
명령어 실행 및 사용자 편의 함수 366
machbaseDB.append(aTableName, aTypes, aValues, aFormat) 상세 설명 367
샘플 코드 예제 371
마치면서 378

제21장 대규모 반도체 센서 데이터 처리 시뮬레이션
연속공정과 불량률, 그리고 그 어마어마한 데이터들 379
용어 정리 380
시뮬레이션 아키텍처 380
요구 사항 381
테이블 구조 382
소스코드 받기 및 컴파일 383
시뮬레이션 환경 설정하기 384
시뮬레이션 테이블 생성 및 데이터 로딩 385
분석 질의 수행하기 386
파이썬 코드 확인하기 387
성능결과 389
마치면서 389

제22장 진정한 스마트 세상을 꿈꾸며
4차 산업혁명과 우리의 소프트웨어 390
우리 IT 산업계를 돌아보면 391
성공과 욕망에 관하여 392
스마트 세상과 시계열 데이터베이스의 미래 393

책 속으로

마크베이스는 시계열 데이터베이스로서 초고속으로 시계열 데이터를 저장, 추출, 분석하기 위한 목적으로 개발되었다. 특히, 마크베이스는 고성능의 데이터 처리를 목적으로 하기 때문에 컴파일 언어인 C를 기반으로 개발되었고, 전통적인 데이터베이스 엔진의 구조와는 차별되는 새로운 아키텍처로 설계되었다. 그러나 기존의 데이터베이스 사용자가 쉽게 배우고, 활용할 수 있도록 사용성 측면에서는 전통적인 데이터베이스 인터페이스를 그대로 유지하고, 내부 엔진은 시계열 빅데이터를 고속으로 처리할 수 있는 혁신적인 구조로 설계되었다.
따라서, 오라클 혹은 MySQL에서 활용하던 익숙한 인터페이스인 SQL 및 ODBC, JDBC, Restful API 등을 그대로 사용할 수 있으며 저장된 시계열 데이터에 대해서는 기존 데이터베이스보다 월등한 성능으로 처리할 수 있는 특징을 가지게 되었다.

- 본문, 65~66페이지

작가정보

저자(글) 김성진

1971년 대구에서 태어나 경북대학교에서 컴퓨터과학 데이터베이스 석사 및 서울대학교에서 MBA 기술경영 석사 학위를 취득하였다.
1999년 알티베이스 창업멤버로 입사한 후 2013년까지 약 15년간 인메모리(In-Memory) 데이터베이스 핵심 기술 개발을 주도하였으며, CTO 및 CEO를 역임하였다. 이 기간 중에 개발자로서 최고의 영예인 정보통신부 신소프트웨어 대통령상(2006년)을 수상하였으며, 지식경제부 대한민국 10대 신기술상(2011년)을 수상하기도 하였다.
IoT 시대가 다가옴에 따라 기존의 방법으로는 처리하기 힘든 대규모의 센서 데이터 처리가 가능한 새로운 개념의 데이터베이스가 필요하다는 생각으로 2013년에 시계열 데이터베이스 개발을 위한 마크베이스를 창립하였다.
현재 폭증하는 IoT 센서 데이터 처리에 어려움을 겪고 있거나, 기존의 낡은 패러다임에 갇혀 변화를 꾀하기 힘든 사람들을 대상으로 시계열 데이터베이스를 널리 알리고 있다. 저자는 2020년까지 지구상에서 새롭게 시작하는 IoT 관련 프로젝트의 50% 이상이 시계열 데이터베이스 기반이 될 것이라고 예상하고 있다.