데이터 분석을 위한 SQL 레시피

데이터 처리부터 매출/유저 파악, 리포팅 등 각종 데이터 분석과 활용까지

가사키 나가토 , 다미야 나오토 지음 | 윤인성 옮김

한빛미디어 2018년 04월 10일 출간 종이책 : 2018년 04월 01일 출간

작품소개

책소개

현장에서 바로 써먹는 SQL 데이터 분석 실무 지침서

이 책은 집필진이 실제로 업무에서 작성했던 리포트나 SQL 코드를 범용화하여 정리한 지침서입니다. 데이터 집계와 가공, 매출 파악, 웹사이트 내 유저 행동 파악, 이상 수치 검출, 검출기능 평가, 추천 기능 구축 등 상황별 실전 대응 방법과 노하우가 담겨 있습니다. 코드 동작은 범용 SQL문으로 확인했습니다.

이 책을 익히면 데이터 분석 담당자는 각종 액세스 분석 툴이 제공하는 지표나 필터 없이 결과물을 스스로 만들어낼 수 있습니다. 엔지니어 역시 데이터 분석 업무를 충분히 이해하고 분석 담당자나 경영진에게 적절한 정보를 제공하거나 보고서를 만들어 제출할 수 있습니다.

목차

1장 빅데이터 시대에 요구되는 분석력이란?
1강 데이터를 둘러싼 환경의 변화
1 접근 분석 도구의 등장
2 빅데이터의 등장

2강 여러 가지 과제
1 분석 담당자의 과제
2 엔지니어의 과제
3 분석 담당자와 엔지니어의 이해관계

2장 이 책에서 다루는 도구와 데이터
3강 시스템
1 PostgreSQL
2 Apache Hive
3 Amazon Redshift
4 Google BigQuery
5 SparkSQL

4강 데이터
1 데이터의 종류
2 업무 데이터
3 로그 데이터
4 두 데이터를 사용해서 생성되는 가치

3장 데이터 가공을 위한 SQL
5강 하나의 값 조작하기
1 코드 값을 레이블로 변경하기
2 URL에서 요소 추출하기
3 문자열을 배열로 분해하기
4 날짜와 타임스탬프 다루기
5 결손 값을 디폴트 값으로 대치하기

6강 여러 개의 값에 대한 조작
1 문자열 연결하기
2 여러 개의 값 비교하기
3 2개의 값 비율 계산하기
4 두 값의 거리 계산하기
5 날짜/시간 계산하기
6 IP 주소 다루기

7강 하나의 테이블에 대한 조작
1 그룹의 특징 잡기
2 그룹 내부의 순서
3 세로 기반 데이터를 가로 기반으로 변환하기
4 가로 기반 데이터를 세로 기반 데이터로 변환하기

8강 여러 개의 테이블 조작하기
1 여러 개의 테이블을 세로로 결합하기
2 여러 개의 테이블을 가로로 정렬하기
3 조건 플래그를 0과 1로 표현하기
4 계산한 테이블에 이름 붙여 재사용하기
5 유사 테이블 만들기

4장 매출을 파악하기 위한 데이터 추출
9강 시계열 기반으로 데이터 집계하기
1 날짜별 매출 집계하기
2 이동 평균을 사용한 날짜별 추이 보기
3 당월 매출 누계 구하기
4 월별 매출의 작대비 구하기
5 Z 차트로 업적의 추이 확인하기
6 매출을 파악할 때 중요 포인트

10강 다면적인 축을 사용해 데이터 집약하기
1 카테고리별 매출과 소계 계산하기
2 ABC 분석으로 잘 팔리는 상품 판별하기
3 팬 차트로 상품의 매출 증가율 확인하기
4 히스토그램으로 구매 가격대 집계하기

5장 사용자를 파악하기 위한 데이터 추출
11강 사용자 전체의 특징과 경향 찾기
1 사용자의 액션 수 집계하기
2 연령별 구분 집계하기
3 연령별 구분의 특징 추출하기
4 사용자의 방문 빈도 집계하기
5 벤 다이어그램으로 사용자 액션 집계하기
6 Decile 분석을 사용해 사용자를 10단계 그룹으로 나누기
7 RFM 분석으로 사용자를 3가지 관점의 그룹으로 나누기

12강 시계열에 따른 사용자 전체의 상태 변화 찾기
1 등록 수의 추이와 경향 보기
2 지속률과 정착률 산출하기
3 지속과 정착에 영향을 주는 액션 집계하기
4 액션 수에 따른 정착률 집계하기
5 사용 일수에 따른 정착률 집계하기
6 사용자의 잔존율 집계하기
7 방문 빈도를 기반으로 사용자 속성을 정의하고 집계하기
8 방문 종류를 기반으로 성장지수 집계하기
9 지표 개선 방법 익히기

13강 시계열에 따른 사용자의 개별적인 행동 분석하기
1 사용자의 액션 간격 집계하기
2 카트 추가 후에 구매했는지 파악하기
3 등록으로부터의 매출을 날짜별로 집계하기

6장 웹사이트에서의 행동을 파악하는 데이터 추출하기
14강 사이트 전체의 특징/경향 찾기
1 날짜별 방문자 수 / 방문 횟수 / 페이지 뷰 집계하기
2 페이지별 쿠키 / 방문 횟수 / 페이지 뷰 집계하기
3 유입원별로 방문 횟수 또는 CVR 집계하기
4 접근 요일, 시간대 파악하기

15강 사이트 내의 사용자 행동 파악하기
1 입구 페이지와 출구 페이지 파악하기
2 이탈률과 직귀율 계산하기
3 성과로 이어지는 페이지 파악하기
4 페이지 평가 산출하기
5 검색 조건들의 사용자 행동 가시화하기
6 폴아웃 리포트를 사용해 사용자 회유를 가시화하기
7 사이트 내부에서 사용자 흐름 파악하기
8 페이지 완독률 집계하기
9 사용자 행동 전체를 시각화하기

16강 입력 양식 최적화하기
1 오류율 집계하기
2 입력~확인~완료까지의 이동률 집계하기
3 입력 양식 직귀율 집계하기
4 오류가 발생하는 항목과 내용 집계하기

7장 데이터 활용의 정밀도를 높이는 분석 기술
17강

출판사 서평

데이터 처리부터 매출·유저 파악, 리포팅 등 각종 데이터 분석과 활용까지!
현장에서 데이터 분석에 필요한 실전 SQL 작성법과 노하우
단순한 데이터 분석에 만족하던 시대를 지나 딥러닝 시대로 접어들었지만, SQL은 여전히 빅데이터와 스몰데이터를 가리지 않고 널리 쓰이는 소중한 분석 도구입니다. 다만 분석용 SQL이 보통 길고 읽기 어렵다 보니, 관련 업무 담당자들이 실무에 활용해보려 해도 금세 한계에 부닥치는 경우가 많습니다.

이에 안타까움을 느낀 저자들이 평소 현장에서 실제로 작성했던 데이터 분석 업무 리포트나 SQL 코드를 범용화하여 한 권의 레시피 모음집으로 보기 쉽게 묶어냈습니다. 데이터 가공과 매출 파악, 사용자 파악, 웹사이트 내 사용자 행동 파악, 이상수치 검출, 검출 기능 평가, 추천 기능 등 구체적 상황별 실전 대응 방법과 노하우를 한 권의 책에 세심히 녹여냈습니다.

이 책은 DB 관리자나 개발자는 물론, 일반인(통계 분석/ 사용자 경향 분석/ 마케팅 업무 관련자)까지도 유용하게 써먹을 수 있는 구체적인 상황별 실전 팁으로 가득합니다. 다만 SQL 사용법 자체를 설명하는 입문서는 아니므로, 기본적인 SQL 지식이 없다면 내용을 이해하기 어려울 수 있습니다. SQL을 처음 접하는 독자라면 먼저 한빛미디어의 『SQL 첫걸음』과 『SQL 레벨업』부터 읽어보기를 권합니다. 당장 실전에 활용할 ‘실천용’ 지식이 필요한 독자라면 분명 이 책이 훌륭한 나침반이 되어줄 것입니다.

★ 주요 내용

●데이터를 둘러싼 환경 변화와 각종 과제
●각종 데이터와 미들웨어
●기초적인 SQL 작성법과 데이터 가공법
●구체적인 상황별 데이터 분석법과 SQL 예제
●실제 데이터 활용 사례와 노하우

작가정보

저자(글) 가사키 나가토

저자 가사키 나가토(加? 長門)
게이오대학 대학원과 학생 벤처에서 멀티미디어 데이터베이스를 대상으로 한 검색 및 추천 알고리즘의 연구와 서비스 개발을 했습니다. 현재는 (주)DMM.com 연구소에서 빅데이터를 활용하기 위한 기반 시스템 구축, 스파크와 SQL on Hadoop을 이용한 추천 기능 및 빅데이터 활용에 대한 연구와 개발을 하고 있습니다

저자(글) 다미야 나오토

저자 다미야 나오토(田宮 直人)
대형 신문사에서 구인 서비스와 커뮤니티 서비스를 개발하다가 (주)사이버에이전트로 이직하면서 데이터 애널리스트로 변신했습니다. (주)DMM.com 연구소에서는 빅데이터 부서를 세웠고 현재는 데이터 컨설턴트 프리랜서로 활약 중입니다. 데이터 분석은 물론 데이터 분석환경의 설계와 구축, 로그 설계, 추천 API 작성 등 데이터 관련 업무를 전반적으로 다룹니다.

번역 윤인성

역자 윤인성
출근하는 게 싫어서 책을 집필/번역하기 시작했습니다. 일본어는 픽시브에서 웹 코믹을 읽다가 배웠다고 전해집니다. 현재 직업 특성상 집에서 나갈 이유가 별로 없다는 것에 굉장히 만족하는 성격이기도 합니다. 홍차와 커피를 좋아하며 요리, 음악, 그림, 스컬핑 등이 취미입니다. 『모던 웹을 위한 JavaScript+jQuery 입문』 『모던 웹을 위한 Node.js 프로그래밍』 『모던 웹 디자인을 위한 HTML5+CSS3 입문』(이상 한빛미디어) 등을 저술하였으며, 『파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문』(위키북스), 『TopCoder 알고리즘 트레이닝』 『Nature of Code』『SQL 레벨업』 『오라클 레벨업』(이상 한빛미디어), 『소셜 코딩으로 이끄는 GitHub 실천 기술』(제이펍) 등을 번역했습니다.

작가의 말

최근 SQL의 기능을 설명하는 블로그 글과 책이 많지만, 실제 업무에서 사용하는 SQL과는 큰 차이가 있습니다. SQL이라고 하면 대부분 웹 서비스의 백엔드에서 사용하는 내용만 다루는 경우가 많고, 데이터 분석을 위한 SQL을 효율적으로 설명하는 경우가 거의 없습니다. 마찬가지로 데이터 분석 방법과 분석을 통해 서비스를 개선한 사례가 굉장히 많이 쏟아져 나오지만, 정작 이를 어떻게 다루는지에 관한 언급이 없어서 활용 방법을 몰라 당황하는 사람도 많습니다.

이 책은 필자들이 평소 업무에서 만들던 리포트와 SQL 코드를 범용으로 사용할 수 있게 수정하여 레시피 모음처럼 구성했습니다. ‘최신 SQL 작성 방법, 분석 방법, 서비스를 개선할 방법을 하나의 책에 정리하자’가 이 책의 집필 계기로, 일상 업무를 하면서 책을 집필했습니다. 분석과 서비스 개선 문의를 받았을 때 이 책만 보여줘도 많은 사람이 이해하고 활용할 수 있을 정도로 실무 내용이 많이 들어갔다고 자부합니다. 이 책을 통해서 더 많은 사람이 빅데이터 활용을 위한 분석력과 SQL 능력을 키울 수 있기를 바랍니다.