빅데이터 설계 및 분석

김태형 지음

씨엔아이파트너스 2024년 12월 30일 출간

작품소개

책소개

데이터 분석은 과거 일부 전문가의 영역이었으며 특수 분야로 인식하던 시기가 있었습니다. 그러나 최근 컴퓨터의 발전과 컴퓨터 언어의 사용성 확장으로 이젠 사회에서, 기업에서, 학교 등에서 다양한 접근이 가능하게 되었고 또한 많은 기업에서 직원 채용시 컴퓨터 언어 습득과 데이터 분석에 대한 지식과 경헙을 요구하는 시대입니다.

지금을 인공지능 시대, 빅데이터 시대라고 합니다. 우리 삶에 인공지능 기술이 접목된 자율주행, 스마트 청소기, 세탁기, TV 등 다양한 제품들이 우리 생활에 민접하게 연관되어 있습니다. 또한 대기업 뿐만 아니라 많은 중소기업에서도 데이터 분석을 통한 과학적 의사결정을 내릴 수 있는 시대가 되어 치열한 생존 경쟁을 하게 되었습니다.

데이터 분석에 있어서 필수적인 것이 컴퓨터 언어 습득입니다. 데이터 분석에 가장 많이 사용하는 파이썬 프로그래밍 언어를 알아야 합니다. 이 책에서는 전반부에서 파이썬에 대한 일반적인 이해와 기본적인 문법을 습득하고 후반부에 빅데이터 분석에 필요한 설계 및 분석 실무를 다루도록 하였습니다.

컴퓨터 언어나 데이터 분석 공부를 처음 접하는 입문자 뿐만 아니라 어느 정도 지식을 알고 있는 전공 학생들도 빅데이터 설계와 분석에 대한 복습과 새로운 관점에서 접근할 수 있도록 다음과 같이 교재를 구성하였습니다.

본서의 내용은 제1장에서는 빅데이터 개요에 대하여 다루면서 빅데이터의 정의, 특징, 중요성, 활용사례 등에 대하여 살펴보고

제2장 파이썬 프로그래밍 이해에서는 파이썬 프로그래밍에 대한 소개와 설치 그리고 변수, 연산자, 조건문, 반복문, 문자열, 함수 및 주요 외부 라이브러리에 대하여 기본적인 문법들을 익히면서 파이썬에 대한 다양한 실습을 다루어 볼 것입니다.

제3장 데이터 수집과 저장부터 제4장 데이터 전처리, 제5장 데이터 분석기초, 제6장 빅데이터 시스템 설계, 제7장 빅데이터 분석 실습 등을 통하여 빅데이터 설계 및 분석에 대한 이론과 현실적인 다양한 분석 실습을 체험하게 될 것입니다.

제8장 클라우드 기반 빅데이터, 제9장 빅데이터 활용과 응용 그리고 제10장 통계 분석 프로젝트를 통하여 데이터 모델링을 하고 새로운 샘플에 대한 예측을 하는 과정을 통하여 빅데이터에 대한 설계 과정과 분석 과정을 전반적으로 다루고자 하였습니다.

처음으로 빅데이터 설계 및 분석 관련 책을 집필하면서 그동안 대학 현장에서 가르치며 느낀 부족한 부분들을 채우기 위하여 노력하였으나, 많은 부분들이 아직 부족 합니다. 독자분들께서 많은 의견 주시기 바라며 계속 보완, 수정하면서 개선하도록 하겠습니다.

부디 이 책이 다양한 문제에 대한 접근과 해결 과정에 접목되고 빅데이터 설계와 분석을 배우고 익히며 앞으로의 진로에 대한 준비를 하는 학생들에게 조금이나마 도움이 되었으면 하는 바램입니다.

목차

목차
머리말 ㆍ4

제1장 빅데이터 개요 ㆍ6
1.1 빅데이터의 정의와 특징 ㆍ6
1.2 빅데이터의 중요성 ㆍ9
1.3 빅데이터 활용 사례 ㆍ12
1.4 데이터 크기와 종류 비교 예제 ㆍ16

제2장 파이썬 프로그래밍 이해 ㆍ26
2.1. 파이썬 소개 및 개발 환경 설정 ㆍ26
2.2. 변수와 기본 데이터형 ㆍ43
2.3. 연산자 ㆍ53
2.4. 조건문 ㆍ62
2.5. 반복문 ㆍ72
2.6. 문자열 ㆍ88
2.7. 리스트, 튜플, 딕셔너리 ㆍ94
2.8. 함수 ㆍ113
2.9. 파일 입출력 ㆍ122
2.10. 주요 라이브러리(판다스(pandas), 맷플롯립(matplotlib)) ㆍ128

제3장 데이터 수집과 저장 ㆍ161
3.1 데이터 수집의 방법과 도구 ㆍ161
3.2 정형 데이터와 비정형 데이터의 차이 ㆍ167
3.3 데이터베이스와 NoSQL 개요 ㆍ172
3.4 실습: Python을 이용한 데이터 수집 ㆍ178

제4장 데이터 전처리 ㆍ193
4.1 데이터 전처리의 필요성 ㆍ193
4.2 결측치 처리와 이상치 탐지 ㆍ200
4.3 데이터 정규화와 변환 ㆍ211
4.4 실습: Pandas를 이용한 데이터 클리닝 ㆍ216

제5장 데이터 분석 기초 ㆍ237
5.1 데이터 분석의 기본 개념 ㆍ237
5.2 통계 기초: 평균, 중앙값, 분산 ㆍ244
5.3 데이터 시각화 기법 ㆍ249
5.4 실습: Matplotlib을 이용한 데이터 시각화 ㆍ257

제6장 빅데이터 시스템 설계 ㆍ275
6.1 빅데이터 시스템 설계 프로세스 ㆍ275
6.2 데이터 흐름 설계 ㆍ282
6.3 데이터 처리와 분석 계획 ㆍ290
6.4 실습 : 데이터 파이프라인 설계 ㆍ296

제7장 빅데이터 분석 실습 ㆍ315
7.1 데이터 분석 프로젝트 개요 ㆍ315
7.2 Python과 Jupyter Notebook 소개 ㆍ323
7.3 데이터 분석 프로젝트 수행 ㆍ334
7.4 실습 1: 공개 데이터셋을 활용한 분석 실습(Covid-19) ㆍ342
7.5 실습 2: 공개 데이터셋을 활용한 분석 실습(Titanic) ㆍ351

제8장 클라우드 기반 빅데이터 ㆍ370
8.1 클라우드 서비스와 빅데이터 ㆍ370
8.2 AWS, Google Cloud, Azure 개요 ㆍ376
8.3 클라우드 환경에서 데이터 처리하기 ㆍ382
8.4 실습: Google Colab을 활용한 데이터 분석 ㆍ390

제9장 빅데이터 활용과 응용 ㆍ412
9.1 빅데이터를 활용한 의사결정 ㆍ412
9.2 빅데이터 기반의 비즈니스 모델 ㆍ419
9.3 실생활 데이터 활용 사례 ㆍ429
9.4 실습: 나만의 데이터 분석 보고서 작성 ㆍ438

제10장 통계 분석 프로젝트: 와인 품질 등급 예측하기 ㆍ457
10.1 목표 설정 ㆍ457
10.2 주요 개념 이해 ㆍ457
10.3 데이터 수집 ㆍ459
10.4 데이터 준비 ㆍ461
10.5 데이터 탐색 ㆍ468
10.6 데이터 모델링 ㆍ473
10.7 회귀 분석 모델로 새로운 샘플의 품질 등급 예측하기 ㆍ479
10.8 결과 시각화 하기 ㆍ483

Appendix 부록 ㆍ499

< 부록 1 > Jupyter Notebook 소개 ㆍ500
< 부록 2 > 클라우드 기반 빅데이터 : Google Colab 이용 ㆍ502
< 부록 3 > 파이썬 설치 및 설정 ㆍ504
< 부록 4 > 파이썬 기본 개발 환경 설정 ㆍ508
< 부록 5 > 파이썬 외부 라이브러리 설치 방법 ㆍ513
- 예 : pandas, matplotlib, pillow 등
< 부록 6 > 파이썬 관련 파일 위치 ㆍ517

책 속으로

데이터 분석은 과거 일부 전문가의 영역이었으며 특수 분야로 인식하던 시기가 있었습니다. 그러나 최근 컴퓨터의 발전과 컴퓨터 언어의 사용성 확장으로 이젠 사회에서, 기업에서, 학교 등에서 다양한 접근이 가능하게 되었고 또한 많은 기업에서 직원 채용시 컴퓨터 언어 습득과 데이터 분석에 대한 지식과 경헙을 요구하는 시대입니다.

지금을 인공지능 시대, 빅데이터 시대라고 합니다. 우리 삶에 인공지능 기술이 접목된 자율주행, 스마트 청소기, 세탁기, TV 등 다양한 제품들이 우리 생활에 민접하게 연관되어 있습니다. 또한 대기업 뿐만 아니라 많은 중소기업에서도 데이터 분석을 통한 과학적 의사결정을 내릴 수 있는 시대가 되어 치열한 생존 경쟁을 하게 되었습니다.

데이터 분석에 있어서 필수적인 것이 컴퓨터 언어 습득입니다. 데이터 분석에 가장 많이 사용하는 파이썬 프로그래밍 언어를 알아야 합니다. 이 책에서는 전반부에서 파이썬에 대한 일반적인 이해와 기본적인 문법을 습득하고 후반부에 빅데이터 분석에 필요한 설계 및 분석 실무를 다루도록 하였습니다.

컴퓨터 언어나 데이터 분석 공부를 처음 접하는 입문자 뿐만 아니라 어느 정도 지식을 알고 있는 전공 학생들도 빅데이터 설계와 분석에 대한 복습과 새로운 관점에서 접근할 수 있도록 다음과 같이 교재를 구성하였습니다.

본서의 내용은 제1장에서는 빅데이터 개요에 대하여 다루면서 빅데이터의 정의, 특징, 중요성, 활용사례 등에 대하여 살펴보고

제2장 파이썬 프로그래밍 이해에서는 파이썬 프로그래밍에 대한 소개와 설치 그리고 변수, 연산자, 조건문, 반복문, 문자열, 함수 및 주요 외부 라이브러리에 대하여 기본적인 문법들을 익히면서 파이썬에 대한 다양한 실습을 다루어 볼 것입니다.

제3장 데이터 수집과 저장부터 제4장 데이터 전처리, 제5장 데이터 분석기초, 제6장 빅데이터 시스템 설계, 제7장 빅데이터 분석 실습 등을 통하여 빅데이터 설계 및 분석에 대한 이론과 현실적인 다양한 분석 실습을 체험하게 될 것입니다.

제8장 클라우드 기반 빅데이터, 제9장 빅데이터 활용과 응용 그리고 제10장 통계 분석 프로젝트를 통하여 데이터 모델링을 하고 새로운 샘플에 대한 예측을 하는 과정을 통하여 빅데이터에 대한 설계 과정과 분석 과정을 전반적으로 다루고자 하였습니다.

처음으로 빅데이터 설계 및 분석 관련 책을 집필하면서 그동안 대학 현장에서 가르치며 느낀 부족한 부분들을 채우기 위하여 노력하였으나, 많은 부분들이 아직 부족 합니다. 독자분들께서 많은 의견 주시기 바라며 계속 보완, 수정하면서 개선하도록 하겠습니다.

부디 이 책이 다양한 문제에 대한 접근과 해결 과정에 접목되고 빅데이터 설계와 분석을 배우고 익히며 앞으로의 진로에 대한 준비를 하는 학생들에게 조금이나마 도움이 되었으면 하는 바램입니다.

실습자료를 기꺼이 제공한 학생들에게 감사를 마음을 전하며, 어느새 성인으로 자라 독립한 아들 하람과 한결이. 그리고 묵묵히 응원하는 아내 옥주에게도 지면을 통해 감사의 인사를 드립니다.

감사합니다.

작가정보

저자(글) 김태형

금융권(한국산업은행, 평화은행, 우리금융그룹)에서 30여년간 근무하였으며, 특히 20여년을 전산센터에서 근무하면서 IT전산개발, IT구매, IT감사 등 금융권 ICT를 다양하게 경험하였습니다.

한양대학교 경영대학원 MBA를 졸업하였으며, 단국대학교에서 경영정보(MIS) 전공으로 경영학 박사를 취득하였습니다.

단국대학교 학부 및 대학원에서 ERP, 디자인씽킹, 알고리즘씽킹과W활용, 전공별AI활용, 연구방법론및통계 등을 강의하고 있으며, 또한 가천대학교에서 프로그래밍 활용, 데이터베이스관리, 데이터분석 등을 강의하고 있습니다.

산업 현장에서의 경험과 지식을 바탕으로 대학교에서 제4차산업혁명 시대에 맞는 인재 양성과 중소벤처기업부 비지니스지원단 전문위원, 공공기관 인증심사위원 및 심사/자문/평가위원, 기업체 면접관 등으로 제2막 인생을 보람 있게 보내고 있습니다.