Go 언어를 활용한 분산 서비스 개발

트래비스 제프리 지음 | 정현석 옮김

제이펍 2023년 03월 10일 출간 국내도서 : 2022년 11월 08일 출간

작품소개

책소개

Go 기본은 뗐고 스킬을 한 차원 높이고 싶다면, Go가 가장 빛나는 분야인 분산 서비스 구축에 도전해보자. 이 책은 gRPC 분산 서비스를 설계, 개발, 배포하는 방법을 자세히 살펴본다. 스토리지 처리의 기본 요소에서 시작해 클라이언트 및 서버 네트워킹을 숙련하고, 서버 인스턴스 배포, 구축, 테스트까지 나아간다. 차근차근 개념을 익히고 점진적으로 구현함으로써, 혼자 만들기 쉽지 않은 분산 서비스 프로젝트를 완수할 수 있다.

목차

옮긴이 머리말 ix
베타리더 후기 xi
추천사 xiii
감사의 글 xv
이 책에 대하여 xvii

PART I 시작

CHAPTER 1 프로젝트 시작 3
1.1 분산 시스템에 HTTP의 JSON 서비스 적용하기 4
1.2 프로젝트 환경 설정하기 5
1.3 커밋 로그 프로토타입 만들기 6
1.4 HTTP의 JSON 만들기 7
1.5 서버 실행하기 10
1.6 API 테스트하기 11
1.7 마치며 12

CHAPTER 2 프로토콜 버퍼와 구조체 13
2.1 프로토콜 버퍼를 쓰는 이유 15
__2.1.1 일관된 스키마 15
__2.1.2 버전 관리 제거 15
__2.1.3 줄어드는 보일러플레이트 코드 16
__2.1.4 확장성 16
__2.1.5 언어 불가지론 16
__2.1.6 성능 16
2.2 프로토콜 버퍼 컴파일러 설치하기 16
2.3 프로토콜 버퍼로 도메인 자료형 정의하기 18
2.4 프로토콜 버퍼 컴파일하기 19
2.5 생성한 코드를 이용하여 작업하기 21
2.6 마치며 22

CHAPTER 3 로그 패키지 작성 23
3.1 로그는 강력한 도구 23
3.2 로그의 작동 원리 25
3.3 로그 만들기 26
__3.3.1 스토어 만들기 26
__3.3.2 인덱스 만들기 32
__3.3.3 세그먼트 만들기 38
__3.3.4 로그 코딩하기 44
3.4 마치며 54

PART 2 네트워크

CHAPTER 4 gRPC 요청 처리 57
4.1 gRPC에 관하여 58
4.2 서비스를 만들 때의 목표 58
4.3 gRPC 서비스 정의하기 60
4.4 gRPC 플러그인으로 컴파일하기 62
4.5 gRPC 서버 구현하기 62
__4.5.1 gRPC의 에러 처리 65
__4.5.2 인터페이스를 이용한 의존관계 역전 70
4.6 서버 등록하기 71
4.7 gRPC 서버와 클라이언트 테스트하기 71
4.8 마치며 76

CHAPTER 5 서비스 보안 78
5.1 서비스 보안의 세 단계 79
__5.1.1 주고받는 데이터의 암호화 79
__5.1.2 클라이언트 인증 80
__5.1.3 클라이언트 권한 81
5.2 TLS로 서버 인증하기 81
__5.2.1 CFSSL로 나만의 CA 작동하기 81
5.3 TLS 상호 인증으로 클라이언트 인증하기 90
5.4 ACL로 권한 부여하기 92
5.5 마치며 104

CHAPTER 6 시스템 관측 105
6.1 세 종류의 원격 측정 데이터 105
__6.1.1 메트릭 106
__6.1.2 구조화 로그 107
__6.1.3 트레이스 108
6.2 서비스를 관측 가능하게 만들기 109
6.3 마치며 116

PART 3 분산

CHAPTER 7 서버 간 서비스 디스커버리 119
7.1 서비스 디스커버리를 사용하는 이유 119
7.2 서비스 디스커버리 넣어주기 120
7.3 서프를 이용한 서비스 디스커버리 122
7.4 디스커버드 서비스의 요청과 로그 복제 130
7.5 디스커버리와 종단 간 서비스의 테스트 142
7.6 마치며 146

CHAPTER 8 합의를 통한 서비스 간 조율 148
8.1 래프트 알아보기 148
__8.1.1 리더 선출 149
__8.1.2 로그 복제 150
8.2 서비스에 래프트 구현하기 151
__8.2.1 래프트 설정 153
__8.2.2 로그 API 157
__8.2.3 유한상태 머신 159
__8.2.4 스트림 계층 165
__8.2.5 디스커버리 통합 167
__8.2.6 분산 로그 테스트 170
8.3 하나의 포트에서 여러 서비스를 실행하는 다중화 173
8.4 마치며 180

CHAPTER 9 클라이언트 측 서버 디스커버리와 로드 밸런싱 181
9.1 세 가지 로드 밸런싱 전략 181
9.2 gRPC 클라이언트 측 로드 밸런싱 182
9.3 서버를 찾을 수 있게 만들기 184
9.4 서버 정보 가져오기 188
9.5 피커로 요청 경로를 정하고 밸런스 잡기 195
9.6 디스커버리와 밸런싱 종단 간 테스트 200
9.7 마치며 202

책 속으로

분산 서비스를 만드는 프로젝트는 결코 작거나 쉬운 일이 아니다. 모든 기능을 한 번에 구현하려 한다면 코드들은 엉망진창이 되고 머릿속은 터져 나갈 것이다. 하나씩 차근히 프로젝트를 만들자. 우선 HTTP 서비스를 이용하여 커밋 로그 JSON을 구현해보는 게 좋다. 고를 이용해 HTTP 서버를 구현해본 적이 없더라도 문제없다. API를 만들어 클라이언트가 네트워크를 통해 호출하는 방법을 알려줄 것이다. 커밋 로그 API에 관해 먼저 배운 다음, 코드를 작성할 환경 설정을 해보자. (4쪽)

gRPC 서비스를 만든다는 것은 서비스를 protobuf로 정의하고, 프로토콜 버퍼를 클라이언트와 서버로 된 코드로 컴파일하여 구현하는 것이다. 레코드 메시지를 정의했던 log.proto 파일을 열어서 다음과 같은 서비스 정의를 기존 메시지 위에 추가하자. (60쪽)

밤사이 체중이 엄청나게 늘었다. 전격적으로 다이어트와 건강 요법을 해본다. 몇 주 뒤에 다시 체중을 재어보았더니 체중이 더 늘어버렸다. 도대체 어떻게 된 것일까? (…) 몸을 관측observe할 수 있다면, 몸의 메트릭을 얻어서 대시보드에 호르몬 레벨을 그래프로 나타낼 수 있을 것이다. 별다른 변화가 없는데 호르몬의 갑작스러운 불균형이 보인다면 호르몬 불균형이 주요 원인일 가능성이 높다. / 우리가 시스템을 관측할 수 있으면, 시스템의 상황을 확인하거나 예상치 못한 문제에 관해 디버깅할
수 있다. (105쪽)

서비스 디스커버리를 사용하면 클러스터에 노드를 자동으로 추가하고 삭제할 수 있다. 서비스 디스커버리 는 분산 서비스에서 가장 멋진 기능으로, 머신이 다른 머신을 자동으로 찾아준다. 스카이넷Skynet이 자신을 인식하고 제어하게 된다면, 분명 서비스 디스커버리가 중요한 역할을 했을 것이다. 서비스 디스커버리의 주요 이점부터 하나씩 알아보자. (119쪽)

분산 서비스는 레스토랑의 주방과 비슷하다. 스토브 하나와 요리사 한 명만으로 문을 연 레스토랑이 있다고 상상해보자. 손님들이 가게를 찾아오고 입소문이 퍼지며 장사가 잘 되어간다. 하지만 몰려드는 손님을 감당하기 어려워지고, 스토브가 고장 나기라도 하면 잠시 레스토랑을 닫아야 해서 운영이 점점 어려워진다. 그래서 스토브를 두 개 더 사고, 요리사도 두 명 더 채용한다. 이제 요리사들이 주문량을 감당할 수 있게 되었지만, 자꾸 실수한다. (…) 그래서 이번에는 주방을 감독하고 조율할 주방장을 채용한다. 주문이 들어오면 주방장은 애피타이저와 앙트레, 그리고 디저트를 시간에 맞춰 정확히 조리하도록 요리사에게 나누어 할당한다. (148쪽)

출판사 서평

더 이상 Stop은 없다 Go 스킬 레벨업 Go Go
Go 언어로 만들고 쿠버네티스로 배포하는 나만의 분산 서비스

Go의 강력한 동시성 기능 덕분에 도커, 쿠버네티스, 이스티오, Ectd, 프로메테우스 등의 클라우드 네이티브 도구가 개발될 수 있었다. 엔지니어링 스킬을 향상하고자 하는 고퍼들을 위해, 이 책에서는 Go가 가장 빛나는 분야인 분산 서비스를 처음부터 끝까지 만들어볼 수 있다.

1부는 프로젝트의 준비 단계로, 1장에서는 JSON 서버를 만들며 앞으로 만들 프로젝트의 감을 잡고, 2장은 프로토콜 버퍼(protobuf)를 살펴본다. 3장은 프로젝트에서 계속 사용할 커밋 로그 패키지를 만들어본다. 2부에서 본격적인 네트워크 서비스 구축에 들어간다. 4장은 gRPC 서비스 및 서버 구현을 다룬다. 5장은 서비스의 보안(TLS)을, 6장은 관측 가능성 측면(로그, 메트릭, 트레이스)을 살펴보고 구현한다.

3부는 여기까지 만든 서비스를 분산화하여 가용성, 복원성, 확장성을 높인다. 7장은 서프를 이용한 서버 측 서비스 디스커버리, 8장은 래프트를 이용한 합의를 통한 서비스 간 조율, 9장은 클라이언트 측 서버 디스커버리 및 로드 밸런싱을 다룬다. 4부는 대망의 배포다. 10장은 쿠버네티스와 헬름을 이용한 로컬 배포, 11장은 GKE로 인터넷에 배포하는 방법을 살펴본다.

스토리지 처리의 기본 요소에서 시작해 클라이언트 및 서버 네트워킹을 숙련하고, 서버 인스턴스 배포, 구축, 테스트까지 분산 서비스의 모든 과정을 익힐 수 있다. 웹에서 돌아가는 분산 서비스 하나를 만들고 배포한다는 것, Go 개발 스킬을 향상하는 데 이보다 나은 선택은 없다.

주요 내용
● 자신만의 분산 서비스를 만들고 오픈소스 프로젝트에 기여
● gRPC를 사용하여 네트워크화된 보안 클라이언트 및 서버 구축
● 메트릭, 로그, 트레이스로 계측되는 관측 가능한 서비스를 통해 시스템 디버깅
● 자체 인증 기관(CA)을 만들어 TLS로 내부 웹 서비스 인증
● 서비스 디스커버리로 클러스터상 노드 추가/제거 자동 처리
● 래프트(Raft) 합의 알고리즘에 의한 상태 머신으로 분산 시스템 조정
● 애플리케이션과 라이브러리를 모듈식으로 구성하기
● 응용프로그램을 구성하고 실행할 CLI 작성
● 분산 시스템을 로컬에서 실행하고 쿠버네티스를 사용해 클라우드에 배포
● 애플리케이션을 테스트하고 벤치마킹하기

작가정보

저자(글) 트래비스 제프리

(Travis Jeffery)
2001년부터 소프트웨어를 개발하고 있다. 모카(Mocha), 타임콥(Timecop) 등의 오픈소스 프로젝트에 참여했고, 세그먼트(Segment), 콘플루언트(Confluent) 등의 스타트업을 창립했다

번역 정현석

LG전자에서 소프트웨어 엔지니어로 사회에 첫발을 내디뎠다. 10년을 조금 채우지 못하고 나와 개발에 대한 다양한 고민과 방황, 그리고 성장을 겪었다. 공부 모임과 독서, 개발을 비롯한 다양한 분야를 넘나드는 배움을 꾸준히 이어가며, 다만 어제의 나보다 나아지려 노력하는 하루를 살아가고 있다. Go 언어를 무척 아낀다.