실전 아파치 카프카

애플리케이션 개발부터 파이프라인, 사물인터넷 데이터 허브 구축까지

사사키 도루 , 이와사키 마사다케 , 사루타 고스케 , 쓰지키 마사요시 , 요시다 고요 지음 | 정인식 옮김

한빛미디어 2020년 03월 20일 출간 종이책 : 2020년 02월 24일 출간

작품소개

책소개

도입부터 활용까지 한 권으로 끝내는 카프카 실전 가이드

이 책은 카프카를 처음 다루는 개발자를 위한 입문서다. 카프카 도입에 필요한 기초 개념부터 확장성과 고가용성 특징을 활용해 시스템을 구현하는 방법을 설명한다. 1부에서는 카프카 탄생 배경과 구조, 기본 동작 방법을 설명해 카프카를 전반적으로 이해할 수 있도록 했다. 2부에서는 카프카 적용 사례로 동작 원리를 확인할 수 있다. 카프카의 단순한 개념에 비해 활용 방법이 그려지지 않는 독자를 위해 다양한 그림과 표로 이해를 돕는다.

_주요 내용
● 카프카 탄생 배경, 구조, 기본 동작
● 메시지 송수신 구조, 시스템 구성, 분산 메시징 구조
● 컨플루언트 플랫폼을 이용한 클러스터 구축
● 자바 API를 활용한 애플리케이션 개발
● 데이터 허브 아키텍처, Kafka Streams를 이용한 스트림 처리, 스파크 연동 방법
● 사물인터넷 적용 사례

목차

1부 도입 아파치 카프카

1장 아파치 카프카 개요
1.1 이 장의 내용
1.2 아파치 카프카
1.3 카프카 탄생 배경
1.4 카프카로 링크드인 요구 사항 실현하기
1.5 카프카의 확산
1.6 정리

2장 카프카 기초
2.1 이 장의 내용
2.2 메시지 송수신 기본
2.3 시스템 구성
2.4 분산 메시징을 위한 구조
2.5 데이터의 견고성을 높이는 복제 구조
2.6 정리

3장 카프카 설치
3.1 이 장의 내용
3.2 카프카 클러스터 환경 구축하기
3.3 카프카 구축
3.4 카프카 실행과 동작 확인
3.5 정리

4장 자바 API를 사용하여 애플리케이션 만들기
4.1 이 장의 내용
4.2 애플리케이션 개발 환경 준비
4.3 프로듀서 애플리케이션 개발
4.4 프로듀서 애플리케이션의 핵심 부분
4.5 컨슈머 애플리케이션 개발
4.6 컨슈머 애플리케이션 핵심 부분
4.7 정리

Part 2 실전 아파치 카프카

5장 카프카 사례
5.1 이 장의 내용
5.2 카프카 적용 사례
5.3 데이터 허브
5.4 로그 수집
5.5 웹 활동 분석
5.6 사물인터넷
5.7 이벤트 소싱
5.8 카프카 활용 사례
5.9 정리

6장 카프카를 이용한 데이터 파이프라인 구축에 필요한 사전 지식
6.1 이 장의 내용
6.2 카프카를 이용한 데이터 파이프라인의 구성 요소
6.3 데이터 파이프라인에서 취급하는 데이터
6.4 정리

7장 카프카와 Kafka Connect로 데이터 허브 구축하기
7.1 이 장의 내용
7.2 Kafka Connect란
7.3 데이터 허브 아키텍처 응용 사례
7.4 환경 구성
7.5 전자상거래 사이트에 실제 매장의 재고 정보를 표시하기
7.6 월별 판매 예측하기
7.7 데이터 관리와 스키마 에볼루션
7.8 정리

8장 스트림 처리 기본
8.1 이 장의 내용
8.2 Kafka Streams
8.3 컴퓨터 시스템의 매트릭스
8.4 카프카 브로커의 매트릭스를 시각화하기
8.5 예제 프로그램 살펴보기
8.6 윈도 처리
8.7 Processor API
8.8 매트릭스 종류
8.9 Kafka Streams의 장점
8.10 정리

9장 Structured Streaming에 의한 스트림 처리
9.1 이 장의 내용
9.2 아파치 스파크와 Structured Streaming
9.3 예제 애플리케이션 동작 환경
9.4 아파치 스파크 설정
9.5 트윗 프로듀서
9.6 카프카와 Structured Streaming 연계
9.7 정리

10장 카프카로 구축하는 사물인터넷 데이터 허브
10.1 이 장의 내용
10.2 사물인터넷에 필요한 시스템 특성과 카프카
10.3 센서 데이터용 데이터 허브 설계
10.4 센서 데이터용 데이터 허브 구축
10.5 실제 센서 데이터의 투입과 데이터 활용
10.6 고도의 데이터 연계 기반을 실현할 경우의 문제와 해결 방안
10.7 정리

11장 카프카 능숙하게 사용하기
11.1 이 장의 내용
11.2 컨슈머 그룹.
11.3 오프셋 커밋
11.4 파티션 재배치
11.5 파티션 수 결정에 있어 참고 사항
11.6 복제본 수 결정에 참고 사항
11.7 정리

부록
A 커뮤니티 버전 카프카에서 현재 개발 중인 최신 버전 이용하기
B KSQL을 이용한 스트림 처리
C 이벤트 타임과 워터마크를 이용한 스트림 처리

출판사 서평

실무에서 카프카를 어떻게 활용하는지 노하우를 알고 싶은 독자를 대상으로 아프치 카프카 도입부터 활용까지 살펴볼 수 있는 실무 중심 활용서다. 링크드인에서 카프카가 탄생한 배경을 시작으로 카프카 설치, 데이터 허브 역할과 스트리밍 처리, 사물인터넷 관련 시스템에서 카프카 활용을 설명하고 있어 이 책을 읽는 독자는 카프카로 할 수 있는 데이터 분산 처리에 대한 인사이트를 얻을 수 있다

1장과 2장은 카프카 탄생 배경과 개요, 확장형 아키텍처를 설명하고 메시지 송수신 구조, 시스템 구성, 분산 메시징 구조, 부분 장애가 발생했을 때 데이터가 즉시 손실되지 않도록 하기 위한 복제 메커니즘을 설명한다.
3장은 컨플루언트 플랫폼을 이용한 카프카 클러스터의 구축 방법을 소개한다.
4장은 구성한 카프카 환경에서 자바 API를 이용해 애플리케이션을 작성하고 실행하는 흐름을 설명한다. 메이븐으로 프로젝트 작성부터 메시지 송수신, 데이터 형, 빌드 및 애플리케이션 실
행까지 데이터 입출력을 실습한다.
5장은 카프카 특징을 바탕으로 대표적인 사례를 살펴보면서 카프카 활용 포인트를 이해한다.
6장부터 10장까지는 전자상거래, 트위터, 사물인터넷을 사례로 카프카 동작 원리를 이해할 수 있다. 데이터 허브 아키텍처, 카프카 커넥트, 카프카 스트림, 플루언트, 스파크 연동 등 카프카 생태계를 다양하게 조합하여 실무에 활용하는 방법을 알아본다.
11장과 부록에서는 지금까지 소개하지 못한 카프카 활용과 팁을 소개한다.

작가정보

저자(글) 사사키 도루

NTT데이터 근무. 대규모 클러스터에서 스파크 성능 검증에 참여했다. OSS 커뮤니티 개발자
로 하둡, 스파크, 카프카의 컨트리뷰터로 활약해왔다.

저자(글) 이와사키 마사다케

NTT데이터 근무. 카프카를 비롯한 오픈소스 소프트웨어의 여러 가지 기술을 다루고 있다.
NO RICE, NO LIFE. 국수도 좋아한다

저자(글) 사루타 고스케

NTT데이터 근무. 2009년부터 하둡을 비롯한 OSS의 병렬 분산 처리 기반 구축 지원 및 기술
개발 등을 담당했고, 2014년부터는 하둡을 보완하는 제품 후보로 스파크 개발에 참여하기 시
작했다. 기술 조사와 프로젝트 등을 통해 확인된 스파크의 과제를 해결하고 커뮤니티에 피드백
해왔다. 2015년 6월 일본인 최초로 스파크 커미터가 됐다.

저자(글) 쓰지키 마사요시

NTT데이터 근무. CRM, SaaS, 클라우드 서비스를 개발하고 관리했으며 지금은 병렬 분산 처리 시스템 관련 업무를 하고 있다. 국내외 고객에게 하둡과 스파크 등의 OSS 제품을 사용하기 위한 비전을 전하는 일을 하고 있으며 운영체제로는 윈도우를 좋아한다. 스파크의 윈도우 기반 패치도 많이 작성하고 있으나 실제 업무에서 그다지 혜택은 없다.

저자(글) 요시다 고요

NTT데이터 근무. 하둡, 스파크, 카프카를 비롯 병렬 분산 처리 OSS를 중심으로 대량 데이터 처리 기반 시스템 개발 및 컨설팅을 담당하고 있다. 카프카는 2012년 구 버전에서 평가한 적이 있으나 최근 엄청난 진화에 놀라고 있다.

번역 정인식

숭실대학교에서 전자계산학을 전공하고 현대정보기술 eBiz 기술팀에서 웹 애플리케이션 개발 및 B2B Marketplace 솔루션을 연구했다. 그 후 이동통신 단말기 분야로 옮겨 휴대폰 부가서비스 개발 업무를 담당했다. 일본에서는 키스코 모바일사업부 팀장으로 교세라의 북미향 휴대폰 개발에 참여했으며, 퇴직하고서는 일본 주요 이동통신사에서 업무 프로세스 개선을 위한 IT 컨설팅과 데이터 분석 관련 툴을 개발하고 있다. 옮긴 책으로는 『자바 마스터 북: 기초에서 실무 응용까지』, 『자바스크립트 마스터 북(2판)』(이상 제이펍)을 비롯해 10여 권이 있다.

감수 시모가키 도루

NTT데이터 근무. PostgreSQL 관련 오픈소스 DBMS 업무를 담당하고 있다. 주로 PostgreSQL 자체 기능 개발뿐 아니라 오라클 시스템을 PostgreSQL로 마이그레이션하고 미션 크리티컬한 상용 시스템으로 구축하는 데 주력하고 있다. 최근에는 대규모 데이터 처리를 위해 하둡도 다루고 있으며, DBMS와 하둡 양쪽 특징을 살려 효과적으로 구성하려고 노력 중이다.

감수 도바시 마사루

감수_ 도바시 마사루
NTT데이터 근무. 오픈소스를 활용한 대규모 분산 처리 시스템을 개발ㆍ운용ㆍ연구한다. 작은 규모뿐만 아니라 수천 대에 이르는 대규모 프로젝트에도 참여했으며 관련 사례를 국내외 컨퍼런스에서 공유했다. 스파크 서밋, 카프카 서밋, 스트라타 데이터 컨퍼런스 등에서 강연했다.