모니터링의 새로운 미래 관측 가능성

정현석 , 진미란 지음

제이펍 2024년 03월 15일 출간 종이책 : 2023년 12월 08일 출간

작품소개

책소개

클라우드 네이티브 기술이 고도화되고 시스템이 복잡해질수록 근본 원인 분석을 위한 관측 가능성이 필수다. 이 책은 분산 서비스에서 빼놓을 수 없는 쿠버네티스를 기반으로 관측 가능성을 다룬다. 프로메테우스부터 그라파나, 오픈텔레메트리까지 다양하게 다루고 있어 관측 가능성에 대한 폭넓은 지식을 얻을 수 있다. 직접 실습할 수 있도록 Go 언어와 파이썬으로 개발한 마이크로서비스를 제공하며, 다양한 예제를 통해 시스템을 구축해보면서 근본 원인에 대한 분석 방법을 이해하도록 구성했다. 예제는 실무에 가깝게 구성되어 현장에서 바로 적용이 가능한 기술을 익힐 수 있다.

목차

추천사 x
베타리더 후기 xiii
머리말 xv
이 책에 대하여 xvii

CHAPTER 1 관측 가능성의 개념과 방향성 1
1.1 관측 가능성의 세 가지 요소 2
__1.1.1 모니터링과 차이점 2
__1.1.2 관측 가능성 구성 요소 5
1.2 메트릭 6
__1.2.1 가용성 6
__1.2.2 구글의 골든 시그널 7
__1.2.3 메트릭 유형 12
__1.2.4 시계열 데이터 13
__1.2.5 프로메테우스의 히스토그램 16
__1.2.6 메트릭 관리 방안 21
1.3 추적 25
__1.3.1 추적 구성 요소 25
__1.3.2 추적 데모 29
1.4 로그 37
__1.4.1 로그 관리 37
__1.4.2 로그 표준화 40
1.5 상관관계 44
__1.5.1 상관관계의 필요성 44
__1.5.2 상관관계 구현 방안 46
1.6 관측 가능성 데모 52
__1.6.1 데모의 방향성 52
__1.6.2 관측 가능성 데모 목록 54
1.7 관측 가능성 목표 59
__1.7.1 레퍼런스 아키텍처 59
__1.7.2 핵심 목표 60
1.8 관측 가능성 오픈소스 64
1.9 관측 가능성 방향성 65

CHAPTER 2 관측 가능성 기반 기술 69
2.1 트래픽 관리 69
__2.1.1 단일 장애점 69
__2.1.2 로드 밸런서 70
__2.1.3 복원성 패턴 73
__2.1.4 가시성 78
__2.1.5 서비스 메시 79
2.2 쿠버네티스 오토스케일링 81
__2.2.1 오토스케일링 오픈소스 85
__2.2.2 메트릭 측정 90
__2.2.3 메트릭 선정 91
2.3 관측 가능성 프로세스 96
__2.3.1 관측 가능성 운영 프로세스 96
__2.3.2 관측 가능성 장애 프로세스 97
2.4 수평 샤딩 99
2.5 마이크로서비스 102
__2.5.1 마이크로서비스 개발 흐름 103
__2.5.2 관측 가능성의 마이크로서비스 105
__2.5.3 읽기와 쓰기를 분리하기 106
2.6 일관된 해시 108
2.7 관측 가능성 시각화 113
2.8 키-값 저장소 119
2.9 객체 스토리지 120
2.10 안정적 데이터 관리 121
2.11 시계열 데이터 집계 128

CHAPTER 3 관측 가능성의 시작, 프로메테우스 131
3.1 프로메테우스 바이너리 구성 131
3.2 프로메테우스 시계열 데이터베이스 138
__3.2.1 데이터 형식 138
__3.2.2 데이터 관리 139
__3.2.3 블록 관리 141
3.3 프로메테우스 쿠버네티스 구성 144
3.4 프로메테우스 오퍼레이터 146
3.5 프로메테우스 오토스케일링 154
__3.5.1 프로메테우스 어댑터 154
__3.5.2 KEDA 오토스케일 159
3.6 프로메테우스 알람 162
3.7 프로메테우스 운영 아키텍처 170
__3.7.1 샤딩 아키텍처 170
__3.7.2 페더레이션 아키텍처 173
3.8 타노스 운영 175
__3.8.1 타노스 아키텍처 175
__3.8.2 타노스 사이드카 방식 178
__3.8.3 타노스 리시버 방식 181
__3.8.4 타노스 구성 183
__3.8.5 타노스 테스트 186

CHAPTER 4 오픈소스 관측 가능성, 그라파나 189
4.1 그라파나 관측 가능성 190
__4.1.1 목적과 범위 190
__4.1.2 인프라 구성 191
__4.1.3 애플리케이션 구성 193
4.2 로키 로그 관리 202
__4.2.1 로키 기능 202
__4.2.2 로키 바이너리 구성 213
__4.2.3 프롬테일 쿠버네티스 구성 214
__4.2.4 로키 쿠버네티스 구성 215
__4.2.5 로키 테스트 221
4.3 미미르 메트릭 관리 224
__4.3.1 미미르 기능 224
__4.3.2 미미르 구성 232
__4.3.3 미미르 쿠버네티스 구성 236
__4.3.4 미미르 업무 규칙 238
4.4 템포 추적 관리 245
__4.4.1 템포 기능 245
__4.4.2 템포 바이너리 구성 249
__4.4.3 템포 쿠버네티스 구성 250
__4.4.4 템포 쿠버네티스 테스트 252
4.5 예거 추적 관리 254
__4.5.1 예거 쿠버네티스 구성 254
__4.5.2 예거 데이터 모델 257

CHAPTER 5 그라파나 관측 가능성 데모 259
5.1 상관관계 261
__5.1.1 메트릭에서 추적으로 262
__5.1.2 추적에서 메트릭으로 263
__5.1.3 로그에서 추적으로 270
__5.1.4 추적에서 로그로 271
__5.1.5 메트릭에서 로그로 272
5.2 뉴 스택 278
__5.2.1 뉴 스택 소개 279
__5.2.2 뉴 스택 구성 284
__5.2.3 뉴 스택 상관관계 287
5.3 라이드 온디맨드 294
__5.3.1 시스템 설정 296
__5.3.2 소스 설명 309
__5.3.3 HotROD 개선 방향 328
5.4 그라파나 관측 가능성 330
__5.4.1 시스템 개요 330
__5.4.2 소스 설명 333
__5.4.3 시스템 구성 336
__5.4.4 그라파나 데이터 소스 설정 341

CHAPTER 6 관측 가능성의 표준, 오픈텔레메트리 343
6.1 오픈텔레메트리 소개 344
6.2 오픈텔레메트리 컴포넌트 345
__6.2.1 신호의 구성 요소 347
__6.2.2 콘텍스트 전파 358
__6.2.3 파이프라인 359
6.3 추적 361
__6.3.1 오픈텔레메트리 추적 소개 361
__6.3.2 추적 파이프라인 구성 367
6.4 메트릭 374
__6.4.1 오픈텔레메트리 메트릭 소개 374
__6.4.2 메트릭 파이프라인 구성 378
6.5 로그 384
__6.5.1 오픈텔레메트리 로그 소개 384
__6.5.2 로그 파이프라인 구성 391
6.6 컬렉터 397
__6.6.1 오픈텔레메트리 컬렉터 소개 397
__6.6.2 컬렉터 파이프라인 구성 400
6.7 오픈텔레메트리 데모 404

CHAPTER 7 관측 가능성을 넘어 자동화로 425
7.1 IT 운영 자동화 425
7.2 AIOps의 발전 단계 427
__7.2.1 지능형 경고 429
__7.2.2 상관관계 429
__7.2.3 이상 탐지 430
7.3 AIOps의 기술들 431
7.4 앞으로 더 배울 내용 433
__7.4.1 다섯 가지 텔레메트리 433
__7.4.2 이상 탐지 434
__7.4.3 근본 원인 분석 435
__7.4.4 데이터 파이프라인 436
__7.4.5 오픈서치 관측 가능성 436
__7.4.6 멀티 클러스터와 멀티 테넌트 437
__7.4.7 자동 계측 439
__7.4.8 SLO 규칙과 시각화 439

용어 설명 440
찾아보기 445

책 속으로

관측 가능성은 모니터링을 대체하는 개념이 아니다. 하지만 다수 유사한 점을 가지고 있다. 그림 1.1에서 보여주는 것처럼 모니터링은 블랙박스와 화이트박스 영역을 포함하지만, 관측 가능성은 화이트박스와 예측 영역을 포함한다. 즉, 관측 가능성이 지향하는 목표는 내부 시스템에 대한 자세한 이해를 기반으로 미래에 발생할 이벤트를 예측하는 것이고, 이러한 예측을 바탕으로 IT 운영을 자동화하는 것이다. (2쪽)

관측 가능성은 비즈니스를 직접적으로 지원하는 프런트엔드, 백엔드 애플리케이션보다 더 많은 트랜잭션과 부하에 마주치게 된다. 관측 가능성으로 유입되는 시계열 데이터는 변경과 삭제를 제외한 조회, 추가와 관련한 대용량 시계열 트랜잭션이다. 안정적이고 확장 가능한 시스템을 구축하지 않는다면 관측 가능성 시스템은 여러 차례 장애에 부딪칠 가능성이 크다. (70쪽)

시계열 데이터베이스는 시간이 지남에 따라 모든 측정값을 수집, 저장, 질의해야 할 필요성에서 출발했다. 엄청난 양의 측정값을 저장하는 이러한 유형의 데이터베이스는 쓰기에 집중되어 있다. 그러면서도 간단한 쿼리가 몇 시간, 며칠 또는 몇 달간의 엄청난 양의 데이터를 그것도 빠르게 반환한다는 것을 이해하는 것이 중요하다. (143쪽)

이그젬플러는 주어진 시간 간격에서 측정된 추적의 샘플링이다. 이그젬플러는 시계열 데이터 내의 특정 이벤트에서 높은 카디널리티를 가지는 메타데이터를 식별하는 데 도움이 된다. 메트릭은 시스템에 대한 집계 보기를 제공하는 데 탁월하지만, 추적은 단일 요청에 대한 세부적인 보기를 제공한다. 따라서 둘의 상관관계를 만들어 서로 보완해야 하며, 이그젬플러는 메트릭과 추적을 연결하는 방법이다. (262쪽)

다양한 마이크로서비스에 대한 추적을 조회할 수 있다. 원래 HotROD는 예거 추적 기반에서 실행된다. 하지만 예거 추적 기반에서 단독으로 실행하는 것보다, 그라파나와 오픈서치와 같은 관측 가능성 기반으로 구축하면 메트릭, 로그 등과 결합해 문맥이 풍부한 운영 환경을 구축할 수 있다. (305쪽)

오픈텔레메트리 컬렉터는 다양한 형식의 메트릭 데이터를 허용하고 오픈텔레메트리 데이터 모델을 사용하여 데이터를 전송한 다음 기존 시스템으로 내보낸다. 데이터 모델은 자동으로 속성을 제거하고 히스토그램 해상도를 낮추는 기능을 포함하여 데이터의 잘 정의된 변환을 통해 기능이나 의미의 손실 없이 프로메테우스 원격 쓰기 프로토콜로 변환하는 것이 가능하다. (348쪽)

출판사 서평

실습 애플리케이션을 이용해 직접 하면서 배우는 관측 가능성

날로 복잡해지는 기술에 따라 모니터링만으로 모든 현상을 분석하고 대비하기는 어려워졌다. 특히 클라우드 서비스를 많이 이용하여 내부 시스템을 들여다보는 것도 쉽지 않기 때문에 여러 가지 신호를 측정하여 발생 가능한 이벤트를 예측하는 것이 중요하다. 따라서 관측 가능성을 통해 발생하는 오류의 원인과 잠재적인 오류 가능성까지 살펴볼 필요가 있다.

이 책은 관측 가능성의 개념과 용어 정리부터 시작해서 프로메테우스, 그라파나, 오픈텔레메트리까지 다양한 관측 가능성 도구를 설명한다. Go 언어와 파이썬으로 개발한 마이크로서비스를 제공하며, 카오스 엔지니어링이 가능하도록 구성한 애플리케이션을 통해 실제와 유사한 환경으로 실습하도록 구성한 것이 특징이다. 분산 서비스에서 빼놓을 수 없는 쿠버네티스를 기반으로 실습하며, 그라파나 LGTM 스택 등 다양한 도구를 활용해 시스템을 구축하며 근본 원인 분석을 실시한다. 관측 가능성을 처음 접하는 사람도 쉽게 시작할 수 있도록 프로그램 설치 방법부터 대규모 서비스를 위한 클라우드 환경에서의 구축 방법까지 설명하여 실무에서 바로 적용할 수 있도록 하였다.

관측 가능성을 처음 접하는 개발자는 물론, AIOps와 운영 자동화 등 그라파나와 일래스틱서치를 운영 중인 운영자, 개발에 관심이 많은 데브옵스 개발자, 사이트 신뢰성 엔지니어(SRE)까지 도움이 될 내용이 가득 담겼다. 현장에서 바로 적용할 수 있는 다양한 실무 노하우가 가득 담긴 이 책이 한 단계 성장하는 발판이 되길 바란다.

주요 내용
● 관측 가능성의 개념과 기반 기술
● 프로메테우스 생태계 이해와 타노스 소개
● 로키, 템포, 미미르를 이용한 그라파나 관측 가능성
● 그라파나와 오픈서치 기반으로 개발된 예제 실습
● 오픈텔레메트리를 활용한 관측 가능성
● AIOps와 운영 자동화 개념과 전망

작가정보

저자(글) 정현석

액센츄어(Accenture), IBM에서 소프트웨어 엔지니어로 근무했고, 현재 호주 시드니에 있는 맥쿼리그룹에서 SRE로 근무하고 있다. 비용 절감을 위해 다양한 관측 가능성 설루션을 하나로 통합하고 있으며, USED/RED 대시보드와 알람을 표준화해서 배포를 자동화했다. 실사용자 모니터링을 사용하여 프런트엔드부터 백엔드까지 관측 가능성을 적용하고, 비즈니스적인 가치를 찾고 기술적으로 구현하기 위해 지원하고 있다. 또한, 관측 가능성을 고도화해서 근본 원인 분석과 IT 운영 자동화를 이루고, 나아가 AIOps가 구현될 수 있도록 협업 중이다.

저자(글) 진미란

클라우드 엔지니어로 근무하며 데이터, ML 분야의 여러 베스트 프랙티스를 경험했다. 머신러닝의 프로세스 자동화, 재현 가능성 및 지속성이 중요하다고 생각하고, 머신러닝 모델을 서비스화하여 UX에 도움을 주거나 수익을 창출하는 등의 실용성에 대해 고민하고 있다. 현재는 MLOps 엔지니어로 근무하며 관련 설루션을 개발하고 있다. 새로운 것에 도전하고 값진 경험으로 성장하기를 희망하는 미래의 나와, 실제로 그것을 해내야 하는 현실 속의 나 사이의 괴리로 인해 갈등하지만, ‘이것도 그냥 나인가 보다’ 하고 받아들이는 수행 과정에 있다.