기초부터 다지는 ElasticSearch 운영 노하우

기본 개념부터 클러스터 구축, 실무 활용 시나리오까지

박상헌 , 강진우 지음

인사이트 2021년 02월 10일 출간 종이책 : 2021년 01월 11일 출간

작품소개

책소개

[이 책에서 다루는 내용]
▶ ElasticSearch 기본 개념
▶ 클러스터 구축 방법과 운영 방법
▶ 클러스터 성능 모니터링과 최적화
▶ 분석 엔진으로 활용하는 방법
▶ 검색 엔진으로 활용하는 방법
▶ 분석/검색 엔진 성능 최적화
▶ Elastic Stack 구축 방법
▶ 클러스터 구축 시나리오
▶ 7.x 버전 변경 사항

목차

1장 ElasticSearch 훑어보기
1.1 ElasticSearch란
1.2 RPM으로 ElasticSearch 설치하기
1.3 DEB로 설치하기
1.4 tar 파일로 설치하기
1.5 마치며

2장 ElasticSearch 기본 동작
2.1 문서 색인과 조회
2.2 문서 검색하기
2.3 문서 분석하기
2.4 마치며

3장 ElasticSearch 모니터링
3.1 Head를 이용해서 모니터링하기
3.2 프로메테우스를 활용한 클러스터 모니터링
3.3 X-Pack 모니터링 기능을 활용한 클러스터 모니터링
3.4 마치며

4장 ElasticSearch 기본 개념
4.1 클러스터와 노드의 개념
4.2 인덱스와 타입
4.3 샤드와 세그먼트
4.4 프라이머리 샤드와 레플리카 샤드
4.5 매핑
4.6 마치며

5장 클러스터 구축하기
5.1 elasticsearch.yml 설정 파일
--5.1.1 Cluster 영역
--5.1.2 Node 영역
--5.1.3 Path 영역
--5.1.4 Memory 영역
--5.1.5 Network 영역
--5.1.6 Discovery 영역
--5.1.7 Gateway 영역
--5.1.8 Various 영역
--5.1.9 노드의 역할 정의
5.2 jvm.options 설정 파일
5.3 클러스터 사용하기
5.4 마치며

6장 클러스터 운영하기
6.1 버전 업그레이드
6.2 샤드 배치 방식 변경
6.3 클러스터와 인덱스의 설정 변경
6.4 인덱스 API
--6.4.1 open/close API
--6.4.2 aliases API
--6.4.3 rollover API
--6.4.4 refresh API
--6.4.5 forcemerge API
--6.4.6 reindex API
6.5 템플릿 활용하기
6.6 마치며

7장 클러스터 성능 모니터링과 최적화
7.1 클러스터의 상태 확인하기
7.2 노드의 상태와 정보 확인하기
7.3 인덱스의 상태와 정보 확인하기
7.4 샤드의 상태 확인하기
7.5 stats API로 지표 확인하기
--7.5.1 클러스터의 성능 지표
--7.5.2 노드의 성능 지표
7.6 성능 확인과 문제 해결
--7.6.1 색인 성능 살펴보기
--7.6.2 검색 성능 살펴보기
--7.6.3 GC 성능 살펴보기
--7.6.4 rejected 살펴보기
7.7 마치며

8장 분석 엔진으로 활용하기
8.1 Elastic Stack이란
8.2 Filebeat 설치하기
8.3 Logstash 설치하기
8.4 Kibana를 통해 로그 조회하기
8.5 Kibana로 시각화하기
8.6 Elastic Stack의 이중화
8.7 마치며

9장 검색 엔진으로 활용하기
9.1 inverted index란
9.2 analyer 살펴보기
9.3 analyzer와 검색의 관계
9.4 Search API
9.5 Query DSL이란
9.6 Query Context
9.6.1 match 쿼리
9.6.2 match_phrase 쿼리
9.6.3 multi_match 쿼리
9.6.4 query_string 쿼리
9.7 Filter Context
9.7.1 term 쿼리
9.7.2 terms 쿼리
9.7.3 range 쿼리
9.7.4 wildcard 쿼리
9.8 bool query를 이용해 쿼리 조합하기
9.9 마치며

10장 색인 성능 최적화
10.1 정적 매핑 적용하기
10.2 _all 필드 비활성화
10.3 refresh_interval 변경하기
10.4 bulk API
10.5 그 외의 색인 성능을 확보하는 방법들
10.6 마치며

11장 검색 성능 최적화
11.1 ElasticSearch 캐시의 종류와 특성
--11.1.1 Node Query Cache
--11.1.2 Shard Request Cache
--11.1.3 Field Data Cache
--11.1.4 캐시 영역 클리어
11.2 검색 쿼리 튜닝하기
11.3 샤드 배치 결정하기
11.4 forcemerge API
11.5 그 외의 검색 성능을 확보하는 방법들
11.6 마치며

12장 ElasticSearch 클러스터 구축 시나리오
12.1 시나리오 #1 - 일 100GB 데이터 분석용 클러스터
12.2 시나리오 #2 - 일 1GB의 데이터 분석과 장기간 보관용 클러스터
12.3 시나리오 #3 - 일 100GB의 데이터 분석과 장기간 보관 클러스터
12.4 시나리오 #4 - 검색 엔진으로 활용하는 클러스터
12.5 마치며

부록 A curator를 이용한 클러스터 관리
A.1 curator 설치하기
A.2 config 파일 설정하기
A.3 오래된 인덱스 삭제하기
A.4 스냅샷 생성하기
A.5 forcemerge 작업
A.6 allocation 작업
A.7 여러 개의 작업 조합하기
A.8 마치며

부록 B 스냅샷 생성과 복원하기
B.1 플러그인 설치하기
B.2 리포지터리 생성하기
B.3 스냅샷 생성하기
B.4 스냅샷 복원하기
B.5 마치며

부록 C ElasticSearch 7.x에서 변경된 사항
C.1 디스커버리 설정 변경 사항
C.2 인덱스 동작 방식 변경 사항
C.3 매핑 타입의 변경 사항
C.4 read Only 상태의 인덱스와 Disk Watermark 설정에 대한 변경 사항
C.5 template API와 index_template API
C.6 그 외 변경된 사항들
C.7 마치며

출판사 서평

ElasticSearch는 분산형 오픈 소스 검색 엔진/분석 엔진으로, 설치와 사용이 쉽고 방대한 양의 데이터를 빠르게 저장, 검색, 분석할 수 있어 다양한 분야에 활용되고 있다. Filebeat, Logstash, Kibana와 함께 Elastic Stack의 구성 요소이기도 하다.
이 책은 ElasticSearch 설치부터 핵심 개념, 클러스터 구축 방법, 성능 최적화, 모니터링, 검색 엔진/분석 엔진으로 활용하는 방법, Elastic Stack 구축 방법에 이르기까지 ElasticSearch에 관한 내용을 전반적으로 다룬다. 또한 저자의 풍부한 실무 경험을 바탕으로 한 상황별 시나리오를 제공하여 개발자들이 현장에서 바로 적용해 볼 수 있도록 구성했다.

좋은 소프트웨어를 제대로 사용하려면 상당한 노력과 경험이 필요하다. Elastic Stack 또한 대규모 실시간 분산 데이터 플랫폼의 특성상 운영 환경 최적화에 요구되는 기술과 경험의 정도가 높고 연관 기술들에 대한 상당한 지식도 필요하다. 이 책은 이런 과정을 단축시켜줄 수 있는 책이다. 저자들은 3,000대 규모의 Elastic Stack을 운영하면서 여러 가지 문제를 해결한 노하우를 책 속에 잘 녹여냈으며 다양한 예제와 실행 코드를 포함시켰다. 뿐만 아니라 ElasticSearch의 핵심 개념들을 이해하기 쉽게 잘 설명하고 있다. 단순 사용법을 넘어 Elastic Stack을 제대로 배우려는 분이나 업무에 이미 Elastic Stack을 사용하고 있는 분들에게 특히 추천하고 싶다.
-한상욱

국내 최대 규모의 ElasticSearch 클러스터 운영 노하우를 집약한 책으로, ElasticSearch의 개념부터 구축, 운영, 모니터링, 최적화, 활용까지 한눈에 볼 수 있도록 정리했습니다. 특히 ElasticSearch 클러스터의 성능 최적화, 이중화 방법, 문제 해결 등과 분석 엔진과 검색 엔진으로 ElasticSearch를 구성할 때 참고할 수 있는 시나리오별 최적의 클러스터 구성 예제는 필드에서의 오랜 경험에서만 나올 수 있는 최고의 레퍼런스입니다. 이 책을 통해서 공식 문서나 기존의 책으로는 익힐 수 없던 것들을 경험하여 ElasticSearch 전문가가 될 수 있을 것입니다. 적극 추천합니다.
허명주(카카오 인프라팀 팀장)

작가정보

저자(글) 박상헌

저자 : 박상헌
다음에 시스템 엔지니어로 처음 입사하였고, 현재는 카카오에서 엔지니어 업무와 함께 사내 ElasticSearch 클러스터를 구성/관리하고 있다. 항상 새로운 기술을 배우고자 노력하며, 좋은 사람들과 함께 그러한 기술들을 끊임없이 연구하고 있다. 또한, ElasticSearch 구축을 위한 교육을 소규모로 진행하고 있다.

저자 : 강진우
NBP와 카카오를 거쳐 지금은 글로벌 엔터테인먼트 플랫폼을 만들기 위해 비엔엑스에서 데브옵스 엔지니어로 일하고 있다. 글쓰기를 좋아하고 사람들과 지식 공유하는 것을 즐긴다. 브런치를 통해 기술 글쓰기를 하고 있다.

저자(글) 강진우