실전 카프카 개발부터 운영까지

데이터플랫폼의 중추 아파치 카프카의 내부동작과 개발,운영,보안의 모든것

고승범 지음

책만 2022년 01월 07일 출간 종이책 : 2021년 10월 29일 출간

작품소개

책소개

아파치 카프카의 공동 창시자 준 라오(Jun Rao)가 추천한 책!

국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사(Confluent Certified Trainer for Apache Kafka)와 공인 관리자 자격(Confluent Certified Administrator for Apache Kafka)을 보유한 『카프카, 데이터 플랫폼의 최강자』 저자 고승범이 SKT, 카카오 등 국내 최대 규모의 데이터 플랫폼상에서 카프카를 운영하며 쌓아온 현업 경험과 노하우를 이 책에 모두 담아냈다.

대량의 데이터를 손실없이 빠르고 정확하게 처리하고 싶다면? 정답은 카프카!
풍부한 그림으로 쉽고 빠르게 이해하는 카프카의 내부 구조와 동작 방식부터 카프카 클라이언트의 기본이 되는 예제 코드와 실제 운영에서 필요한 핵심 노하우는 물론이고, 365일 안전한 카프카를 운영할 수 있는 보안과 모니터링 기법, 운영 편의성과 효율성을 극대화할 수 있는 스키마 레지스트리와 카프카 커넥트까지 카프카에 대한 모든 것을 담은 가장 완벽하고 상세한 최고의 가이드북이다.

목차

1장 카프카 개요
1.1 잘란도와 트위터의 카프카 도입 사례
__1.1.1 유럽 최대 온라인 패션몰 잘란도의 도전 사례
__1.1.2 SNS 절대 강자 트위터의 카프카 활용 사례
1.2 국내외 카프카 이용 현황
1.3 카프카의 주요 특징
1.4 카프카의 성장
1.5 다양한 카프카의 사용 사례
1.6 정리

2장 카프카 환경 구성
2.1 이 책의 실습 환경 구성
__2.1.1 AWS 환경에서 실습 환경 구성
__2.1.2 온프레미스 환경에서 실습 환경 구성
2.2 카프카 클러스터 구성
2.3 5분 만에 카프카 맛보기
__2.3.1 카프카의 기본 구성
__2.3.2 메시지 보내고 받기
2.4 정리

3장 카프카 기본 개념과 구조
3.1 카프카 기초 다지기
__3.1.1 리플리케이션
__3.1.2 파티션
__3.1.3 세그먼트
3.2 카프카의 핵심 개념
__3.2.1 분산 시스템
__3.2.2 페이지 캐시
__3.2.3 배치 전송 처리
__3.2.4 압축 전송
__3.2.5 토픽, 파티션, 오프셋
__3.2.6 고가용성 보장
__3.2.7 주키퍼의 의존성
3.3 프로듀서의 기본 동작과 예제 맛보기
__3.3.1 프로듀서 디자인
__3.3.2 프로듀서의 주요 옵션
__3.3.3 프로듀서 예제
3.4 컨슈머의 기본 동작과 예제 맛보기
__3.4.1 컨슈머의 기본 동작
__3.4.2 컨슈머의 주요 옵션
__3.4.3 컨슈머 예제
__3.4.4 컨슈머 그룹의 이해
3.5 정리

4장 카프카의 내부 동작 원리와 구현
4.1 카프카 리플리케이션
__4.1.1 리플리케이션 동작 개요
__4.1.2 리더와 팔로워
__4.1.3 복제 유지와 커밋
__4.1.4 리더와 팔로워의 단계별 리플리케이션 동작
__4.1.5 리더에포크와 복구
4.2 컨트롤러
4.3 로그(로그 세그먼트)
__4.3.1 로그 세그먼트 삭제
__4.3.2 로그 세그먼트 컴팩션
4.4 정리

5장 프로듀서의 내부 동작 원리와 구현
5.1 파티셔너
__5.1.1 라운드 로빈 전략
__5.1.2 스티키 파티셔닝 전략
5.2 프로듀서의 배치
5.3 중복 없는 전송
5.4 정확히 한 번 전송
__5.4.1 디자인
__5.4.2 프로듀서 예제 코드
__5.4.3 단계별 동작
__5.4.4 예제 실습
5.5 정리

6장 컨슈머의 내부 동작 원리와 구현
6.1 컨슈머 오프셋 관리
6.2 그룹 코디네이터
6.3 스태틱 멤버십
6.4 컨슈머 파티션 할당 전략
__6.4.1 레인지 파티션 할당 전략
__6.4.2 라운드 로빈 파티션 할당 전략
__6.4.3 스티키 파티션 할당 전략
__6.4.4 협력적 스티키 파티션 할당 전략
6.5 정확히 한 번 컨슈머 동작
6.6 정리

7장 카프카 운영과 모니터링
7.1 안정적인 운영을 위한 주키퍼와 카프카 구성
__7.1.1 주키퍼 구성
__7.1.2 카프카 구성
7.2 모니터링 시스템 구성
__7.2.1 애플리케이션으로서 카프카의 로그 관리와 분석
__7.2.2 JMX를 이용한 카프카 메트릭 모니터링
__7.2.3 카프카 익스포터
7.3 정리

8장 카프카 버전 업그레이드와 확장
8.1 카프카 버전 업그레이드를 위한 준비
8.2 주키퍼 의존성이 있는 카프카 롤링 업그레이드
__8.2.1 최신 버전의 카프카 다운로드와 설정
__8.2.2 브로커 버전 업그레이드
__8.2.3 브로커 설정 변경
__8.2.4 업그레이드 작업 시 주의사항
8.3 카프카의 확장
__8.3.1 브로커 부하 분산
__8.3.2 분산 배치 작업 시 주의사항
8.4 정리

9장 카프카 보안
9.1 카프카 보안의 세 가지 요소
__9.1.1 암호화(SSL)
__9.1.2 인증(SASL)
__9.1.3 권한(ACL)
9.2 SSL을 이용한 카프카 암호화
__9.2.1 브로커 키스토어 생성
__9.2.2 CA 인증서 생성
__9.2.3 트러스트스토어 생성
__9.2.4 인증서 서명
__9.2.5 나머지 브로커에 대한 SSL 구성
__9.2.6 브로커 설정에 SSL 추가
__9.2.7 SSL 기반 메시지 전송
9.3 커버로스(SASL)를 이용한 카프카 인증
__9.3.1 커버로스 구

출판사 서평

| 이 책에서 다루는 내용 |
- 풍부한 그림으로 알기 쉽게 설명한 카프카 내부 구조와 동작 원리
- 자바와 파이썬을 이용한 카프카 클라이언트 예제 코드
- AWS와 온프레미스 환경에서의 카프카 구축과 운영
- 고통을 최소화하는 카프카 업그레이드와 유지보수 방안
- 아파치 카프카 기반 보안 구축 방법
- 스키마 레지스트리와 카프카 커넥트의 다양한 활용
- 카프카를 제대로 사용하기 위한 프로듀서/컨슈머의 내부 동작과 리밸런싱 동작 방식
- 엔터프라이즈 환경에서의 카프카 아키텍처 구성 사례
- 현업 전문가의 경험과 팁을 정리한 Q&A

| 이 책의 대상 독자 |
- 카프카를 배우고자 하는 초보자
- 카프카를 현업에 적용하고 싶은 운영자
- 카프카를 최대한 활용하기 위해 내부 동작 방식을 알고 싶은 개발자
- 카프카와 카프카 에코시스템을 이해하고 활용하고자 하는 개발자
- 데이터 표준화와 실시간 처리에 대해 고민하는 아키텍트
- 효율적으로 데이터를 수집, 처리, 분석하기를 원하는 아키텍트

| 이 책의 구성 |
1장 ‘카프카 개요’에서는 잘란도와 트위터의 카프카 도입 사례를 통해 우수 기업에서의 고민들과 카프카의 특장점을 알아보고, 국내외 카프카 현황 등을 알아봅니다. 나날이 발전하고 있는 카프카의 성장 과정을 살펴보고 사용 사례도 알아봅니다.
2장 ‘카프카 환경 구성’은 이 책의 전반적인 실습 환경을 구성하기 위한 내용으로, AWS 환경과 온프레미스 환경에서 구성하는 방법을 처음 AWS를 접하는 분들도 쉽게 따라 할 수 있도록 자세하게 설명했습니다. AWS 환경에서 카프카 설치가 완료되면 간단한 맛보기 예제로 카프카에 대해 알아봅니다.
3장 ‘카프카 기본 개념과 구조’에서는 카프카의 기본 지식을 쌓기 위해 카프카 기본 구조, 프로듀서와 컨슈머의 동작과 예제 코드를 살펴봅니다.
4장 ‘카프카의 내부 동작 원리와 구현’에서는 카프카의 주요 핵심 기능을 살펴보며, 리플리케이션과 관련된 내부 상세 동작, 컨트롤러의 역할, 로그 등을 집중적으로 다뤄봅니다.
5장 ‘프로듀서의 내부 동작 원리와 구현’에서는 프로듀서의 핵심 기능을 살펴보며, 파티셔너, 중복 없는 메시지 전송, 정확히 한 번 전송 등 프로듀서에서 안정적인 메시지 전송을 하기 위해 반드시 알아야 할 내용을 다룹니다.
6장 ‘컨슈머의 내부 동작 원리와 구현’에서는 컨슈머의 핵심 기능을 살펴봅니다. 컨슈머의 오프셋관리, 그룹 코디네이터의 동작과 파티션 전략 등 컨슈머를 안정적으로 개발하고 운영하기 위한 핵심 내용을 살펴봅니다.
7장 ‘카프카 운영과 모니터링’에서는 카프카를 안정적으로 운영하기 위한 방법과 노하우 등을 살펴봅니다. 모니터링 시스템을 직접 구축하는 실습을 통해 안정적으로 모니터링하는 방법을 알아봅니다.
8장 ‘카프카 버전 업그레이드와 확장’에서는 카프카 운영 시 필수적인 버전 업그레이드와 스케일아웃 방법을 직접 실습하면서 이해해봅니다.
9장 ‘카프카 보안’에서는 카프카에서 제공하는 보안 관련 내용을 다룹니다. 보안을 적용하는 실습 과정도 진행해봅니다.
10장 ‘스키마 레지스트리’에서는 스키마 레지스트리의 개요와 활용 방법을 알아봅니다. 스키마 레지스트리를 처음 접하는 분들을 위해 에이브로(Avro) 기반의 실습 과정과 예제 코드를 함께 다룹니다.
11장 ‘카프카 커넥트’에서는 카프카 커넥트의 기본 개념과 동작 등을 살펴봅니다. 최근 공개된 미러 메이커 2.0에 대한 간략한 소개와 함께 미러링 방법을 배워봅니다.
12장 ‘엔터프라이즈 카프카 아키텍처 구성 사례’에서는 지금까지 책에서 다룬 내용을 기반으로 엔터프라이즈 환경과 유사하게 미러 메이커는 물론이고 엘라스틱서치 및 모니터링 등을 통합 구성해 실습해봅니다.
13장 ‘카프카의 발전과 미래’에서는 최근 가장 큰 이슈인 주키퍼의 의존성을 없애려는 배경과 현재 진행 상황 그리고 앞으로의 방향에 대해 살펴봅니다.
4개 부록에서는 각각 MSK, 컨플루언트 클라우드(Confluent Cloud)에서 카프카를 구성하는 방법과 장단점을 비교했으며, 앤서블(Ansible)의 특징과 실습 환경 구성, 도커(Docker)를 이용한 카프카 설치 등 별도로 기초 과정을 추가해 처음 접하는 분들도 쉽게 이해할 수 있도록 설명했습니다. 또한 사용자들이 평소 궁금해 하는 질문들을 간단히 살펴볼 수 있도록 요약 정리했습니다.

| 이 책을 활용하기 위한 개발 환경 |
- 아파치 카프카 2.6
- 아파치 주키퍼 3.5.9
- 컨플루언트 카프카 6.1
- 자바 1.8
- 파이썬 3.7.9
- 앤서블(Ansible) 2.9.12
- 운영체제: 온프레미스(CentOS7), AWS(Amazon Linux 2)

이 책을 마무리하는 시점인 2021년 9월 말 기준으로 아파치 카프카 3.0이 릴리스되었습니다. 하지만 아파치 카프카 3.0에서 새로이 도입된, 주키퍼 의존성이 제거된 크래프트(KRaft) 알고리즘 등은 아직 운영 환경에서

작가정보

저자(글) 고승범

저자 : 고승범
현재 SK텔레콤에서 빅데이터 플랫폼의 중추 역할을 하는 카프카 운영 업무를 맡고 있다. 이전에는 카카오에서 전사 공용 카프카와 래빗MQ를 운영했으며 그 경험을 살려서 공동 집필한 『카프카, 데이터 플랫폼의 최강자』(책만, 2018)로 국내 카프카 기술 저변 확대에 일조해왔다. 또한 카프카 한국 사용자 모임(facebook.com/groups/kafka.kru)도 창설하여 카프카 기술을 알리고 지식도 공유하며 각종 온오프라인 세미나를 리딩하고 있다. 국내 최초이자 유일한 컨플루언트 공인 아파치 카프카 강사 자격(Confluent Certified Trainer for Apache Kafka)을 비롯해, 컨플루언트 공인 아파치 카프카 관리자 자격(Confluent Certified Administrator for Apache Kafka)도 보유하고 있다.

작가의 말

2018년 첫 저술작인 『카프카, 데이터 플랫폼의 최강자』를 출간한 이래 어느덧 만 3년이 지난 2021년 가을 현재, 그때에 비하면 오늘날 카프카는 기업의 부가가치를 높이는 핵심 인프라스트럭처로서 인지도와 위상이 매우 높아졌을 뿐만 아니라, 카프카를 채택한 여러 기업 사례에 대한 소식이 여기저기서 들려오고 있습니다. 그리고 온프레미스뿐만 아니라 클라우드를 이용해 다양한 서비스를 제공하는 많은 기업이 카프카를 도입해 가시적 성과를 보여주고 있습니다. 하지만 카프카 에코시스템에 참여하고 싶은 기업들이 참고할 만한 자료나 도서는 여전히 부족한 것이 현실입니다. 이에 저는 첫 책 출간 이후에 그간 현업에서 쌓아온 다양한 실무 경험을 녹여내고 좀 더 다양해진 기술 양상을 반영할 수 있는 또 한 권의 새로운 카프카 책을 집필함으로써, 카프카를 도입해 최적화하는 과정에서 많은 공과 노력을 쏟고 있는 여러 운영자와 개발자, 아키텍트 여러분께 미약하나마 등불을 밝혀주는 소임을 완성하고 싶었습니다.
이 책에서는 전작을 확장하는 개념으로, 카프카의 내부 구조와 동작 원리, 그리고 실제 현업에서 맞닥뜨리는 문제인 설치, 운영, 유지보수, 확장, 안정성 강화, 업그레이드까지 카프카에 대한 거의 모든 것을 정리했습니다. 가장 일선에서 카프카를 도입하고 사용해온 운영자로서 독자 여러분께 드리는 종합선물세트라고 할 수 있습니다. 초보자분들이 『카프카, 데이터 플랫폼의 최강자』 책에서 기초적인 개념을 익히고 나서 이번 『실전 카프카 개발부터 운영까지』 책에서는 좀 더 심도 깊은 운영과 새로운 핵심 요소들을 숙지하신다면, 현업에서 카프카를 운영하는 데 필요한 이론과 실전 노하우를 완벽히 갖추실 수 있으리라 생각합니다. 물론 중급자들이 알아야 할 다양한 팁과 지식도 많이 담고자 노력했습니다. 모쪼록 많은 분이 이 책을 통해 카프카를 좀 더 쉽게 이해하고 효율적으로 잘 활용할 수 있길 바랍니다.