Apache Airflow 기반의 데이터 파이프라인

에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발및 배포,관리까지

바스 하렌슬락 , 율리안 더라위터르 지음 | 김정민 옮김

제이펍 2022년 06월 23일 출간 국내도서 : 2022년 03월 16일 출간

작품소개

책소개

Airflow 설치부터 파이프라인 작성, 테스트, 분석, 백필
그리고 배포 및 관리까지를 한 권으로 해결!

이 책은 효과적인 데이터 파이프라인을 만들고 유지하는 방법을 설명하고 있으며, 이를 통해 여러분은 다양한 데이터 소스의 집계, 데이터 레이크와의 연결 및 클라우드 배포를 포함해서 가장 일반적인 사용법을 확인할 수 있습니다. 각 장의 설명과 튜토리얼 형태의 실용적인 가이드를 통해, Airflow를 구동하는 방향성 비순환 그래프(DAG)의 모든 내용과 요구사항에 맞게 파이프라인을 커스터마이징하는 방법을 다룹니다.
이 책은 중급 이상의 파이썬 스킬을 보유한 데브옵스 엔지니어, 데이터 엔지니어, 머신러닝 엔지니어, 그리고 시스템 관리자를 위한 책입니다.

주요 내용
■ Airflow 파이프라인을 DAG로 빌드하고 테스트하여 배포하는 방법
■ 데이터 이동 및 변환을 자동화하는 방법
■ 백필을 사용하여 과거 이력 데이터셋을 분석하는 방법
■ 커스텀 컴포넌트의 개발 방법
■ 운영 환경에서의 Airflow 구성 방법

목차

옮긴이 머리말 xiii
번역서 추천사 xv
베타리더 후기 xvii
원서 추천사 xix
시작하며 xx
감사의 글 xxii
이 책에 대하여 xxiv
표지에 대하여 xxviii

PART I 기본편
CHAPTER 1 Apache Airflow 살펴보기 3
1.1 데이터 파이프라인 소개 4
1.1.1 데이터 파이프라인 그래프 4
1.1.2 파이프라인 그래프 실행 6
1.1.3 그래프 파이프라인과 절차적 스크립트 파이프라인 비교 7
1.1.4 워크플로 매니저를 이용한 파이프라인 실행 9
1.2 Airflow 소개 10
1.2.1 파이썬 코드로 유연한 파이프라인 정의 10
1.2.2 파이프라인 스케줄링 및 실행 11
1.2.3 모니터링과 실패 처리 13
1.2.4 점진적 로딩 및 백필 16
1.3 언제 Airflow를 사용해야 할까 16
1.3.1 Airflow를 선택하는 이유 17
1.3.2 Airflow가 적합하지 않은 경우 17
1.4 이후 내용 18
요약 19

CHAPTER 2 Airflow DAG의 구조 20
2.1 다양한 소스에서 데이터 수집 21
2.1.1 데이터 탐색 21
2.2 첫 번째 Airflow DAG 작성 23
2.2.1 태스크와 오퍼레이터 차이점 27
2.2.2 임의 파이썬 코드 실행 27
2.3 Airflow에서 DAG 실행하기 30
2.3.1 파이썬 환경에서 Airflow 실행 30
2.3.2 도커 컨테이너에서 Airflow 실행하기 31
2.3.3 Airflow UI 둘러보기 32
2.4 스케줄 간격으로 실행하기 36
2.5 실패한 태스크에 대한 처리 37
요약 40

CHAPTER 3 Airflow의 스케줄링 41
3.1 예시: 사용자 이벤트 처리하기 41
3.2 정기적으로 실행하기 43
3.2.1 스케줄 간격 정의하기 43
3.2.2 Cron 기반의 스케줄 간격 설정하기 45
3.2.3 빈도 기반의 스케줄 간격 설정하기 47
3.3 데이터 증분 처리하기 48
3.3.1 이벤트 데이터 증분 가져오기 48
3.3.2 실행 날짜를 사용하여 동적 시간 참조하기 49
3.3.3 데이터 파티셔닝 51
3.4 Airflow의 실행 날짜 이해 53
3.4.1 고정된 스케줄 간격으로 태스크 실행 53
3.5 과거 데이터 간격을 메꾸기 위해 백필 사용하기 56
3.5.1 과거 시점의 작업 실행하기 56
3.6 태스크 디자인을 위한 모범 사례 57
3.6.1 원자성 57
3.6.2 멱등성 59
요약 60

CHAPTER 4 Airflow 콘텍스트를 사용하여 태스크 템플릿 작업하기 62
4.1 Airflow로 처리할 데이터 검사하기 62
4.1.1 증분 데이터를 적재하는 방법 결정하기 63
4.2 태스크 콘텍스트와 Jinja 템플릿 작업 65
4.2.1 오퍼레이터의 인수 템플릿 작업 65
4.2.2 템플릿에 무엇이 사용 가능할까요? 67
4.2.3 PythonOperator 템플릿 70
4.2.4 PythonOperator에 변수 제공 75
4.2.5 템플릿의 인수 검사하기 76
4.3 다른 시스템과 연결하기 78
요약 86

CHAPTER 5 태스크 간 의존성 정의하기 87
5.1 기본 의존성 유형 88
5.1.1 선형 의존성 유형 88
5.1.2 팬인/팬아웃(Fan-in/Fan-out) 의존성 89
5.2 브랜치하기 92
5.2.1 태스크 내에서 브랜치하기 92
5.2.2 DAG 내부에서 브랜치하기 94
5.3 조건부 태스크 99
5.3.1 태스크 내에서 조건 99
5.3.2 조건부 태스크 만들기 100
5.3.3 내장 오퍼레이터 사용하기 102
5.4 트리거 규칙에 대한 추가 정보 102
5.4.1 트리거 규칙이란? 103
5.4.2 실패의 영향 104
5.4.3 기타 트리거 규칙 104
5.5 태스크 간 데이터 공유 106
5.5.1 XCom을 사용하여 데이터 공유하기 106
5.5.2 XCom 사용 시 고려사항 109
5.5.3 커스텀 XCom 백엔드 사용하기 110
5.6 Taskflow API로 파이썬

작가정보

저자(글) 바스 하렌슬락

저자 : 바스 하렌슬락
(Bas Harenslak)
네덜란드 암스테르담에 위치한 데이터 기반 솔루션을 개발하는 GoDataDriven의 데이터 엔지니어다. 소프트웨어 공학과 컴퓨터 과학에 대한 지식이 많은 그는 소프트웨어 개발이나 데이터 작업을 마치 어려운 퍼즐을 푸는 것처럼 즐겁게 한다. 오픈 소스 소프트웨어 작업을 선호하며, Apache Airflow 프로젝트의 기여자이자 암스테르담 Airflow 모임의 공동 주최자다.

저자 : 율리안 더라위터르
(Julian de Ruiter)
컴퓨터 및 생명 과학을 전공하고 전산 종양생물학 박사 학위를 지닌 머신러닝 엔지니어다. 경험이 풍부한 소프트웨어 개발자이기도 한 그는 클라우드 및 오픈 소스 소프트웨어를 사용하여 프로덕션에 유용한 머신러닝 솔루션을 개발하고, 데이터 과학 및 데이터 엔지니어링 세계를 연결하는 것을 즐긴다. 여가 시간에는 자신의 파이썬 패키지를 개발하고 오픈 소스 프로젝트에 기여하거나 전자제품 수선하기를 좋아한다.

역자 : 김정민
분산 처리 기술을 이용한 음악과 영상 서비스의 스트리밍 솔루션 개발자로 출발해, 20년간 대기업과 스타트업에서 서비스를 운영해 왔다. 또한, 클라우드 기술 등장 후에는 다양한 프로젝트에서 클라우드 아키텍트, 데이터 엔지니어, MLOps 엔지니어 업무를 수행했다. 현재는 프롭테크 스타트업에서 새로운 모험에 도전하고 있다.

역자 : 문선홍
25년간 다양한 분야에서 소프트웨어를 개발하고 서비스를 운영했으며, 현재는 빅데이터 플랫폼 및 AI 기반 데이터 분석 업무를 진행하고 있다. 빅데이터 기반의 데이터 분석을 위한 다양한 클라우드 기술과 오픈 소스 기술을 연구하고 있고, 데이터 사이언티스트로서 데이터의 관리부터 유용한 정보 분석, AI 모델 개발 및 검증, AI 분석 플랫폼 구축까지의 업무를 다루고 있다.

저자(글) 율리안 더라위터르

번역 김정민