스파크를 활용한 실시간 처리

실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

제러드 마스 , 프랑수아 가릴로 지음 | 김인범 옮김

한빛미디어 2021년 03월 29일 출간 종이책 : 2021년 04월 02일 출간

작품소개

책소개

한 권으로 정리하는 스파크 스트리밍

데이터를 실시간으로 처리하는 방법을 안다면, 분석 도구로 빠르게 인사이트를 얻을 수 있다. 이 책은 아파치 스파크를 기반으로 인메모리 프레임워크를 사용해 스트리밍 데이터를 처리하는 방법을 학습한다. 또한, 스파크로 어떻게 배치 작업하듯이 스트리밍 작업을 수행할 수 있는지를 다룬다.

이 책은 아파치 스파크의 이론과 예제를 학습하는 데 중점을 두었으며, 스파크가 현재 지원하는 스파크 스트리밍 라이브러리와 최신 구조적 스트리밍 API를 배울 수 있다. 스트리밍 애플리케이션에 아파치 스파크를 적용하려는 독자라면 스트림 처리의 기본 개념부터 머신러닝을 포함한 고급 기술까지 다양한 인사이트를 얻을 수 있을 것이다.


● 스트림 처리의 기본 개념과 다양한 스트리밍 아키텍처
● 구조적 스트리밍과 스트림 처리의 이해
● 스파크 API를 이용한 스파크 스트리밍
● 스파크 API를 이용한 애플리케이션 생성 및 운영
● 근사 알고리즘과 머신러닝 알고리즘으로 고급 스파크 스트리밍 구현하기
● 아파치 스톰, 아파치 플링크, 카프카 스트림 등 다른 스트림 프로젝트와 아파치 스파크 비교하기

목차

출판사 서평

아파치 스파크를 사용한 스트림 처리에 오신 것을 환영합니다

2009년 캘리포니아대학교 버클리캠퍼스U의 마테이 자하리아가 처음 시작한 이래 아파치 스파크 프로젝트와 아파치 스파크를 사용한 스트림 처리가 얼마나 많은 성과를 거두었는지 살펴보는 것은 매우 흥미로운 일입니다. 아파치 스파크는 빅데이터 처리를 위한 최초의 통합 엔진으로 출발하여 모든 빅데이터의 실질적인 표준으로 성장했습니다.

이 책은 스트림 처리 엔진으로서 아파치 스파크의 개념, 도구 및 기능에 대해 가장 잘 소개하고 있습니다. 이 책은 먼저 최신 분산 처리를 이해하는 데 필요한 핵심 스파크 개념을 소개합니다. 그런 다음 다른 스트림 처리 아키텍처와 그 사이의 근본적인 아키텍처적인 절충안을 탐구합니다. 마지막으로 아파치 스파크의 구조적 스트리밍으로 분산 스트리밍 애플리케이션을 쉽게 구현하는 방법을 보여줍니다. 또한 레거시 커넥터를 사용하여 스트리밍 애플리케이션을 구축하기 위한 이전 스파크 스트리밍(일명 DStream) API도 다룹니다.

전체적으로 이 책은 아파치 스파크를 사용하여 스트리밍 애플리케이션을 구축하고 운영하기 위해 알아야 할 모든 것을 다룹니다! 우리는 당신이 무엇을 만들어낼지 기대하겠습니다!

- 서문 중에서-

작가정보

저자(글) 제러드 마스

저자 : 제러드 마스
(Gerard Maas)
라이트벤드Lightbend의 수석 엔지니어로서 구조적 스트리밍과 기타 확장 가능한 스트림 처리 기술을 라이트 밴드 플랫폼에 원활하게 통합하는 작업을 하고 있다. 이전에 클라우드 네이티브 IoT 스타트업에서 일하면서 데이터 처리 팀을 이끌고 스파크 스트리밍을 처리량의 한계까지 밀어붙인 스트리밍 파이프라인을 구축했다. 당시 그는 스파크 스트리밍 성능을 튜닝하기 위한 첫 번째 포괄적인 가이드를 제시했다. 데이터 과학 거버넌스, 클라우드 네이티브 IoT 플랫폼, 통신 플랫폼 및 확장 가능한 API를 구축하는 여러 스타트업 및 대기업에서 주도적인 역할을 수행했으며, 기술 컨퍼런스의 정기 연사이고, 크고 작은 오픈 소스 프로젝트에 컨트리뷰터로 활동하고 있다. 베네수엘라의 시몬 볼리바르 대학교에서 컴퓨터 공학 학위를 취득했다. 트위터에서는 @maasg로 찾을 수 있다.

저자 : 프랑수아 가릴로
(Fran?ois Garillot)
시애틀에 거주하며 페이스북에서 분산 컴퓨팅을 담당하고 있다. 2011년에 에콜 폴리테크니크에서 박사 학위를 받았으며 2015년에 라이트 밴드에서 근무하면서 스파크 스트리밍의 백프레셔에 대해 연구했다. 타입 시스템, 프로그래밍 언어를 활용하여 분석을 보다 쉽게 표현할 수 있도록 하기, 스칼라, 스파크 그리고 로스팅된 아라비카에 매우 관심이 많다. 일하지 않을 때는 태평양 북서부의 산을 즐기는 모습을 볼 수 있다.

역자 : 김인범
SK 주식회사 C&C의 클라우드 컴퓨팅 기술팀, 클라우드 아키텍트 유닛을 거쳐 현재는 CNCITY 에너지 AI 솔루션팀에서 데이터 엔지니어로 근무한다. MongoDB Korea(몽고DB 사용자 그룹, https://web.facebook.com/groups/krmug)에서 운영진으로 활동하며 NoSQL, 실시간 분산 처리, 딥러닝과 같은 분야에 관심을 두고 있다. 다양한 분야로 글 쓰는 것을 즐기며 걸그룹보다 문근영을 더 좋아한다.

저자(글) 프랑수아 가릴로

번역 김인범