구글 빅쿼리 완벽 가이드

빅데이터, AI, 머신러닝 엔지니어를 위한 대용량 데이터 분석 도구

발리아파 락쉬마난 , 조던 티가니 지음 | 변성윤 옮김

책만 2021년 02월 08일 출간 종이책 : 2020년 11월 26일 출간

작품소개

책소개

빅데이터, 데이터 엔지니어링, 머신러닝을 위한 대용량 데이터 분석과 처리의 모든 것

협업과 신속함을 갖춘 작업 공간을 구축하는 동시에 페타바이트 규모의 데이터셋을 처리해보자. 이 책은 기업 전체에서 추출한 데이터를 통합하고 대화형 데이터 분석과 대규모 데이터셋 기반의 머신러닝을 가능케 하는 쿼리 엔진을 제공하는 구글 빅쿼리에 대한 완벽 가이드다. 기업은 빅쿼리를 사용해 하나의 편리한 프레임워크로 데이터를 효율적으로 저장, 쿼리, 수집, 학습할 수 있다.

이 책의 저자 발리아파 락쉬마난과 조던 티가니는 공개 클라우드 상에서 자동으로 확장되는 서버리스 아키텍처에 기반한 최신 데이터 웨어하우징을 위한 모범 사례를 제시하고 있다. 이제 막 빅쿼리를 시작하면서 전반적인 기능을 훑어보고자 하는 독자는 물론 빅쿼리를 이용해 특정 업무를 해결하고자 하는 독자에게도 완벽한 가이드가 되어 줄 것이다.

목차

[1장] 구글 빅쿼리
데이터 처리 아키텍처
__관계형 데이터베이스 관리 시스템
__맵리듀스 프레임워크
__빅쿼리: 서버리스, 분산 SQL 엔진
빅쿼리로 작업하기
__여러 데이터셋에서 통찰력 도출하기
__ETL, EL, ELT
__강력한 분석
__관리의 단순함
빅쿼리는 어떻게 만들어졌는가
빅쿼리는 어떻게 구현할 수 있었을까
__컴퓨팅 및 스토리지 분리
__스토리지 및 네트워킹 인프라
__관리형 저장소
__구글 클라우드 플랫폼과 통합
__보안 및 규정 준수
정리

[2장] 쿼리 필수 요소
간단한 쿼리
__SELECT로 행 검색하기
__AS로 컬럼 이름에 별칭 지정하기
__WHERE로 필터링하기
__SELECT *, EXCEPT, REPLACE
__WITH를 사용한 서브 쿼리
__ORDER BY로 정렬하기
집계
__GROUP BY로 집계하기
__COUNT로 레코드 수 세기
__HAVING으로 그룹화된 항목 필터링하기
__DISTINCT로 고윳값 찾기
배열과 구조체 기초
__ARRAY_AGG로 배열 만들기
__구조체의 배열
__튜플
__배열 활용하기
__배열 풀기
테이블 조인
__조인의 작동 원리
__이너 조인
__크로스 조인
__아우터 조인
저장 및 공유
__쿼리 기록 및 캐싱
__저장된 쿼리
__뷰와 공유 쿼리의 비교
정리

[3장] 데이터 타입, 함수, 연산자
숫자형과 함수
__수학 함수
__표준 규격 부동 소수점 분할
__SAFE 함수
__비교
__NUMERIC을 사용한 정밀 소수 계산
불(BOOL) 다루기
__논리 연산
__조건식
__COALESCE로 NULL 값을 깨끗하게 처리하기
__타입 변환과 타입 강제
__불리언 변환을 피하기 위해 COUNTIF 사용하기
문자열 함수
__국제화
__출력 및 파싱
__문자열 조작 함수
__변환 함수
__정규 표현식
__문자열 함수 정리
타임스탬프 다루기
__타임스탬프 값의 파싱과 형식화
__달력 정보 추출하기
__타임스탬프 연산하기
__Date, Time 그리고 DateTime
GIS 함수 사용하기
정리

[4장] 빅쿼리로 데이터 로드하기
가장 기본적인 방법
__로컬에서 데이터 로드하기
__스키마 지정하기
__새 테이블에 복사하기
__데이터 관리(DDL과 DML)
__데이터를 효율적으로 로드하기
통합 쿼리와 외부 데이터 원본
__통합 쿼리 사용하기
__통합 쿼리와 외부 데이터 원본의 사용 사례
__대화형 탐색과 구글 시트 데이터의 쿼리
__클라우드 빅테이블의 데이터에 대한 SQL 쿼리
전송과 내보내기
__데이터 전송 서비스
__스택드라이버 로그 내보내기
__클라우드 데이터플로우로 빅쿼리 데이터 읽고 쓰기
온프레미스 데이터의 이동
__데이터 마이그레이션 방법
정리

[5장] 빅쿼리를 활용한 개발
프로그래밍 방식을 활용한 개발
__REST API 활용하기
__구글 클라우드 클라이언트 라이브러리
데이터 과학 도구에서 빅쿼리 사용하기
__구글 클라우드 플랫폼의 노트북
__빅쿼리, 판다스, 그리고 주피터의 결합
__R에서 빅쿼리 다루기
__클라우드 데이터플로우
__JDBC/ODBC 드라이버
__빅쿼리 데이터를 G 스위트의 구글 슬라이드에 포함하기
빅쿼리와 배시 스크립팅
__데이터셋과 테이블 생성
__쿼리의 실행
__빅쿼리 객체
정리

[6장] 빅쿼리 아키텍처
아키텍처 살펴보기
__쿼리 요청의 수명
__빅쿼리 업그레이드
쿼리 엔진(드레멜)
__드레멜 아키텍처
__쿼리 실행
스토리지
__스토리지 데이터
__메타데이터
정리

[7장] 성능 및 비용 최적화
성능 최적화의 기본 원칙
__성능의 핵심 요소
__비용 통제하기
측정과 문제 해결
__REST API로 쿼리 속도 측정하기
__빅쿼리 워크로드 테스터로 쿼리 속도 측정하기
__스택드라이버를 사용해 워크로드 문제 해결하기
__쿼리 실행 계획 정보 읽기
__작업 세부 정보에서 쿼리 계획 정보 가져오기
__쿼리 계획 정보 시각화
쿼리 속도 높이기
__I/O 최소화
__이전 쿼리 결과 캐싱하기
__효율적으로 조인하기
__워커의 과도한 작업 피하기
__근사 집계 함수 사용하기
데이터 저장 및 접근 방법 최적화
__네트워크 오버헤드 최소화하기
__

출판사 서평

| 이 책에서 다루는 내용 |

■ 빅쿼리의 고수준 아키텍처는 물론 내부 동작까지 상세한 가이드
■ 빅쿼리가 지원하는 데이터 타입, 함수, 연산자에 대한 설명
■ 쿼리 및 스키마 최적화를 통해 성능을 향상시키거나 비용을 절감하는 비법
■ GIS, 시간 여행, DDL/DML, 사용자 정의 함수, 표준 SQL 내의 스크립팅 등 고급 기술 학습
■ 빅쿼리 ML로 다양한 머신러닝 문제를 해결하는 방법
■ 데이터를 보호하고 작업을 모니터링하며 사용자를 인증하는 방법
■ 스크립팅, 예약, 구체화된 뷰, 컬럼 수준 보안, 동적 SQL, 머신러닝, 테이블 수준 접근 제어, 통합 쿼리 등 최신 기술 업데이트

| 예제 코드 다운로드 |
https://github.com/onlybooks/bigquery

[이 책의 내용과 독자대상]

기업은 점점 데이터 기반으로 움직이고, 회사의 모든 데이터를 통합한 중앙 저장소인 데이터 웨어하우스가 데이터 전략의 핵심으로 떠오른다. 전통적으로 데이터 웨어하우스는 데이터 분석가가 분석 보고서를 작성할 때 사용했다. 그러나 이제는 실시간 대시보드를 생성하거나 애드혹 쿼리를 작성할 때, 그리고 예측 분석을 통해 의사결정 지침을 제공할 때 많이 사용하고 있다. 오늘날 많은 조직이 구글 빅쿼리 같은 클라우드 기반 데이터 웨어하우스로 이전하는 주된 이유는 고급 분석에 대한 비즈니스 요구와 더불어 비용 관리, 민첩성, 자체 서비스의 데이터 접근 등 때문이다.
이 책에서는 서버리스(serverless)이자 확장성이 뛰어난 저비용 엔터프라이즈 데이터 웨어하우스인 구글 클라우드의 빅쿼리에 대해 자세히 다룬다. 인프라스트럭처를 관리할 필요가 없으므로, 기업은 익숙한 SQL을 사용해 의미있는 통찰력을 찾는 데이터 분석에 집중할 수 있다.

우리가 빅쿼리를 통해 이루고자 했던 목적은 최첨단 기능을 제공하고 클라우드 환경에서 사용할 수 있는 우수한 기술을 십분 활용하며 오늘날에도 믿고 활용할 수 있는 검증된 데이터 기술을 지원하는 데이터 플랫폼의 구축이다. 예컨대 첨단 기술의 측면에서, 구글 빅쿼리는 연산과 스토리지를 분리하는 서버리스 컴퓨팅 아키텍처다. 덕분에 아키텍처의 다양한 계층을 독립적으로 실행하고 확장할 수 있으며, 디자인과 배포 면에서 데이터 과학자에게 더욱 높은 유연성을 제공할 수 있다. 조금 독특하지만 빅쿼리는 머신러닝과 지리공간 분석도 네이티브로 지원한다. 또한 빅쿼리는 클라우드 펍/섭, 클라우드 데이터플로우, 클라우드 빅테이블, 클라우드 AI 플랫폼을 비롯한 다양한 서드파티 도구와 통합할 수 있다. 이를 바탕으로 광범위한 수준의 처리량과 응답 대기 요구사항을 충족하면서도 오래된 시스템과 현대적 시스템 모두와 상호운용이 가능하다. 검증된 데이터 기술 측면에서 빅쿼리는 많은 사용자가 요구해 온 애드혹 데이터 탐색의 핵심인 ANSI 표준 SQL, 컬럼 기반 최적화, 통합 쿼리 등을 지원한다.

대규모 데이터셋에서 인사이트를 도출하기 위해 빅쿼리를 사용하는 데이터 분석가, 데이터 엔지니어, 데이터 과학자를 위한 책이다.

◆ 데이터 분석가
루커(Looker), 데이터 스튜디오(Data Studio), 태블로(Tableau) 같은 대시보드 도구나 SQL를 활용해 빅쿼리를 사용할 수 있다.

◆ 데이터 엔지니어
아파치 스파크(Apache Spark)와 아파치 빔(Apache Beam) 등의 프레임워크를 이용해 파이썬이나 자바로 작성한 데이터 파이프라인을 빅쿼리와 통합할 수 있다.

◆ 데이터 과학자
데이터 과학자는 빅쿼리에서 머신러닝 모델을 구축하고 빅쿼리에 저장된 데이터를 기반으로 텐서플로(Tensorflow) 모델을 실행하며 주피터 노트북(Jupyter Notebook)으로 빅쿼리에서 대용량 분산 작업을 실행할 수 있다.

[옮긴이의 글]
데이터사이언스, AI 등 데이터와 관련된 산업은 빠르게 성장하고 있습니다. 특히 최근 몇 년간 머신러닝/딥러닝 분야는 상상을 초월하는 크나큰 발전이 있었습니다. 뿐만 아니라 데이터 처리 분야도 빠르게 발전하고 있습니다. 대표적으로 아파치 하둡, 아파치 스파크 등이 있고, 많은 양의 데이터를 빠르게 처리하는 방법에 대해 고민합니다. 이런 움직임 가운데에서 구글은 2011년에 드레멜(Dremel) 엔진을 사용한 빅쿼리(BigQuery)를 출시해 데이터 처리 분야의 혁신을 이루고 있습니다.

빅쿼리는 다양한 장점이 있습니다. 그중 대표적인 장점을 꼽자면 다음과 같습니다.

■ 인프라를 구글이 관리하기 때문에, 사용자 입장에서 인프라를 관리할 필요가 없습니다.
■ 내부적으로 분산 처리를 사용해 데이터를 빠르게 추출 및 가공할 수 있습니다.
■ 지리 데이터 분석을 위한 GIS 함수, 머신러닝을 위한 빅쿼리 ML 등을 사용할 수 있습니다.
■ 파이어베이스(Firebase)를 사용할 경우, 앱 로그 데이터를 쉽게 획득할 수 있습니다.

이 책 『구글 빅쿼리 완벽 가이드

작가정보

저자(글) 발리아파 락쉬마난

저자 : 발리아파 락쉬마난
Valliappa (Lak) Lakshmanan
구글 클라우드의 데이터 분석 및 AI 솔루션 부문의 글로벌 책임자다. 빅쿼리를 비롯한 구글 클라우드 데이터 분석 및 머신러닝 제품을 사용한 비즈니스 문제에 대한 소프트웨어 솔루션을 구축하는 팀을 이끌고 있다. 『구글 클라우드 플랫폼상의 데이터 과학』(에이콘출판, 2019)을 집필했다.

저자 : 조던 티가니
Jordan Tigani
빅쿼리 제품 관리 디렉터다. 빅쿼리를 만든 엔지니어 중 한 명으로, 빅쿼리를 구글 클라우드에서 가장 성공적인 제품 중 하나로 성장시키는 데 일조했다. 빅쿼리에 관한 첫 책을 집필하고, 널리 강의해왔다. 마이크로소프트 리서치부터 시작해 머신러닝 스타트업에 이르기까지 20여 년간 소프트웨어 개발 경험을 쌓았다.

역자 : 변성윤
쏘카에서 머신러닝 엔지니어로 근무하고 있습니다. 데이터, 머신러닝, 머신러닝 엔지니어링, 데이터 엔지니어링, 구글 클라우드 플랫폼, MLOps 등에 관심이 있으며, 기술에 대해 이야기하는 것을 좋아합니다. 또한 기술을 이해하기 쉽게 전달하는 교육에도 관심이 많고, 알고 있는 지식을 쉽고 간결하게 전달하려고 노력하며, 주변 사람들을 성장시키고 동기부여하기 위해 애씁니다.
‘어쩐지 오늘은’이란 개발 블로그(https://zzsza.github.io/)를 운영하고 있고, 데이터 사이언스를 공부하고 싶은 분들을 위해 ‘I-want-to-study-Data-Science’(https://github.com/Team-Neighborhood/I-want-to-study-Data-Science/wiki)라는 자료를 만들었습니다. 최근엔 커리어 관련 내용을 전달하는 ‘카일 스쿨’이란 유튜브(https://www.youtube.com/c/kyleschool)를 시작했습니다. 앞으로 더 많은 곳에서 찾아뵙겠습니다!

역자 : 장현희
캐나다 캘로나 소재 QHR Technologies에서 시니어 소프트웨어 엔지니어로 근무 중이다. 21년째 개발자로 활동하며 25권에 이르는 프로그래밍 전문서를 집필하고 번역해왔다. 한국 개발자 커뮤니티에 조금이나마 기여하기 위해 원서 내용에 충실하면서도 읽기 쉬운 번역서를 만들기 위해 노력하고 있다.
대표 번역서로 『클라우드 네이티브 자바』(책만, 2018)와 『엔터프라이즈 데이터 플랫폼 구축』(책만, 2020) 등이 있다.?

저자(글) 조던 티가니

번역 변성윤