우아한 사이파이

수학, 과학, 엔지니어링을 위한 파이썬 데이터 분석 라이브러리 SciPy

후안 누네즈 이글레시아스 , 스테판 판데르발트 , 해리엇 대시나우 지음 | 최길우 옮김

한빛미디어 2018년 06월 12일 출간 종이책 : 2018년 06월 01일 출간

작품소개

책소개

사이파이를 활용해서 수치 계산과 데이터 분석 및 예측하기

사이파이는 통계, 신호 처리, 이미지 처리 및 함수 최적화에 사용되는 파이썬 데이터 과학 핵심 라이브러리다. 이 책은 파이썬을 사용하는 과학자를 대상으로 사이파이의 기본 사용법과 관련 라이브러리를 다룰 뿐만 아니라 실제 현업에서 사용하는 읽기 쉬운 우아한 코드를 제공한다. 유전자 발현 분석, 생존율?사망률 예측, 이미지 분석·필터링·등록, 실전 레이더 전파 데이터 분석·정보 변형, 스트리밍 데이터셋 처리 문제를 사이파이, 넘파이, 팬더스, 사이킷-이미지 등으로 해결한다.

이 책의 주목표는 독자가 넘파이와 사이파이 라이브러리를 효율적으로 다루는 것이다. 사이파이 라이브러리를 사용하여 효율적으로 과학적 문제를 분석하면서, 우아한 코드를 작성하는 노력이 가치 있다는 느낌이 들길 바란다.

목차

지은이ㆍ옮긴이 소개
옮긴이의 말
이 책에 대하여

CHAPTER 0 들어가며
0.1 왜 ‘사이파이’인가?
0.2 사이파이 생태계
0.3 대혼란 : 파이썬 2 vs 파이썬 3
0.4 사이파이 생태계와 커뮤니티
0.5 도움받기
0.6 파이썬 설치하기
0.7 사이파이의 세계로

CHAPTER 1 우아한 넘파이 : 파이썬 과학 기초
1.1 유전자 발현 데이터
1.2 넘파이 N차원 배열
__1.2.1 왜 파이썬 리스트 대신 ndarray를 사용할까?
__1.2.2 벡터화
__1.2.3 브로드캐스팅
1.3 유전자 발현 데이터셋
__1.3.1 팬더스로 데이터 읽기
1.4 정규화
__1.4.1 샘플 간 비교
__1.4.2 샘플 간 공간 크기 정규화
__1.4.3 유전자 간 비교
__1.4.4 샘플과 유전자의 정규화 : RPKM
1.5 마치며

CHAPTER 2 넘파이와 사이파이의 분위수 정규화
2.1 데이터 가져오기
2.2 개체 간 유전자 발현 분포의 차이
2.3 이중 군집화
2.4 군집 시각화
2.5 생존율 예측
__2.5.1 추가 작업 : TCGA의 환자 군집 사용하기
__2.5.2 추가 작업 : TCGA 군집 재현하기

CHAPTER 3 이미지 지역망 : ndimage
3.1 이미지는 넘파이 배열일 뿐이다
__3.1.1 연습문제 : 격자 오버레이 추가
3.2 신호 처리 필터
3.3 이미지 필터링(2차원 필터)
3.4 제네릭 필터 : 근접값의 임의 함수
__3.4.1 연습문제 : 콘웨이의 생명 게임
__3.4.2 연습문제 : 소벨 필터 코드 리팩토링
3.5 그래프와 NetworkX 라이브러리
__3.5.1 연습문제 : 사이파이 곡선 맞춤
3.6 지역 근접 그래프
3.7 우아한 ndimage : 지역 근접 그래프에서 호랑이 추출하기
3.8 평균 색상 분할

CHAPTER 4 주파수와 고속 푸리에 변환
4.1 주파수
4.2 새소리 스펙트로그램
4.3 푸리에 변환 역사
4.4 푸리에 변환 구현
4.5 이산 푸리에 변환 길이 선택하기
4.6 기타 이산 푸리에 변환 개념
__4.6.1 주파수와 순서
__4.6.2 윈도윙
4.7 실전 레이더 데이터 분석
__4.7.1 주파수 영역의 신호 속성
__4.7.2 윈도우 적용하기
__4.7.3 레이더 이미지
__4.7.4 기타 고속 푸리에 변환 응용
__4.7.5 기타 참고 자료
__4.7.6 연습문제 : 이미지 합성곱

CHAPTER 5 희소행렬과 혼동행렬
5.1 혼동행렬
__5.1.1 연습문제 : 혼동행렬의 계산 복잡성
__5.1.2 연습문제 : 혼동행렬을 계산하는 대체 알고리즘
__5.1.3 연습문제 : 다중 혼동행렬 계산
5.2 scipy.sparse 데이터 형식
__5.2.1 COO 형식
__5.2.2 연습문제 : COO 형식 표현
__5.2.3 CSR 형식
5.3 희소행렬 애플리케이션 : 이미지 변환
__5.3.1 연습문제 : 이미지 회전
5.4 (다시) 혼동행렬
__5.4.1 연습문제 : 메모리 사용량 줄이기
5.5 분할과 혼동행렬
5.6 정보 이론 요약
__5.6.1 연습문제 : 조건부 엔트로피 계산
5.7 분할의 정보 이론 : 정보 변형
5.8 희소행렬을 위한 넘파이 배열
5.9 정보 변형 사용하기

CHAPTER 6 사이파이 선형대수학
6.1 선형대수학 기초
6.2 그래프의 라플라시안 행렬
__6.2.1 연습문제 : 회전 행렬
6.3 뇌 데이터와 라플라시안
__6.3.1 연습문제 : 유사도 보기
__6.3.2 도전 과제 : 희소행렬과 선형대수학
6.4 페이지랭크 알고리즘 : 평판과 중요도를 위한 선형대수학
__6.4.1 연습문제 : 댕글링(Dangling) 노드 처리
__6.4.2 연습문제 : 함수 비교
6.5 마치며

CHAPTER 7 사이파이 함수 최적화
7.1 사이파이 최적화 모듈 : scipy.optimize
__7.1.1 예제 : 이미지 이동 최적화 계산
7.2 이미지 등록 최적화
7.3 국소 최저치 피하기와 배싱 호핑
__7.3.1 연습문제 : 정렬 함수 수정
7.4 무엇이 최선인가? : 적합한 목적함수 선택

CHAPTER 8 빅데이터와 Toolz 라이브러리
8.1 스트리밍과 yield
8.2 Toolz 스트리밍 라이브러리 소개
8.3 k-mer 계산과 오류 수정
8.4 커링 : 스트리밍의 묘미
8.5 k-mer 계산 계속하기
__8.5.1 연습문제 : 스트리밍 데이터와 PCA
8.6 게놈의 마르코프 모델
__8.6.1 연습문제 : 온라인 압축풀기

에필로그
부록 : 연습문제 정답
찾아보기

출판사 서평

★ 왜 ‘사이파이’인가?
넘파이와 사이파이 라이브러리는 파이썬 과학 생태계의 핵심이다. 사이파이 소프트웨어 라이러리는 통계, 신호 처리, 이미지 처리 및 함수 최적화와 같은 과학 데이터 처리에 사용하는 일련의 함수를 제공한다. 사이파이는 파이썬 숫자 배열 계산 라이브러리인 넘파이를 기반으로 한다. 지난 몇 년 동안 넘파이와 사이파이 기반 앱과 라이브러리 생태계는 천문학, 생물학, 기상학 및 기후 과학, 재료 과학 등 다양한 분야에 걸쳐 급격히 성장해왔다.\

★ 이 책에서 다루는 수학, 과학, 엔지니어링 주요 패키지 소개
- 사이파이(SciPy) : 신호의 처리, 통합 및 최적화, 그리고 통계와 같은 분야에 사용되는 효율적인 수치 알고리즘의 모음이다. 사용자 친화적인 인터페이스를 제공한다.
- 넘파이(NumPy) : 파이썬에서 기초 과학을 다루는 넘파이는 효율적인 수치 배열과 선형대수, 난수 및 푸리에 변환을 포함한 광범위한 수치 계산을 제공한다. 넘파이의 가장 강력한 기능은 N 차원 배열(ndarry)이다. 이러한 자료 구조는 숫자를 효율적으로 저장하고, 다차원의 그리드(grid )를 정의한다.
- 맷플롯립(Matplotlib) : 2차원 및 기본적인 3차원 그래프를 그리는 강력한 패키지다.
- 아이파이썬(IPython) : 데이터와 테스트 로직을 적용하여 그 결과를 쉽고 빠르게 얻을 수 있는 파이썬의 대화식 인터프리터 인터페이스다.
- 주피터 노트북(Jupyter notebook) : 브라우저에서 코드, 텍스트, 수식 및 대화식 위젯을 결합한 풍부한 문서를 만들 수 있다. 실제로 이 책에서 사용하는 코드를 주피터 노트북으로 변환하여 실행했다(이 책의 모든 예제가 올바르게 작동한다). 주피턴는 아이파이썬의 확장으로 시작했지만, 현재는 사이썬(Cython), 줄리아(Julia), R, 옥타브(Octave), 배시(Bash), 펄(Perl ), 루비(Ruby)를 비롯한 여러 언어를 지원한다.
- 팬더스(pandas) : 사용하기 쉬운 패키지 형태로 칼럼 형식의 자료 구조를 빠르게 제공한다. 특히 테이블 혹은 관계형 데이터베이스와 같이 레이블이 있는 데이터셋을 처리하고, 시계열(time series ) 데이터와 슬라이딩 윈도우(sliding window)를 관리하는 데 적합하다. 또한, 데이터 파싱, 정리, 수집하고, 그래프를 그리는 데 편리한 데이터 도구를 제공한다.
- 사이킷-런(scikit-learn) : 머신러닝 알고리즘용 통합 인터페이스를 제공한다.
- 사이킷-이미지(scikit-image) : 사이파이 생태계와 완벽하게 통합하는 이미지 분석 도구를 제공한다.

★ 주요 내용
- 과학 계산에 활용되는 자료구조 넘파이 배열 사용하기
- 분위수 정규화를 사용하여 측정값이 특정 분포에 맞는지 확인하기
- 시간 또는 공간 데이터를 주파수 도메인 데이터로 고속 푸리에 변환하기
- 사이파이 희소 모듈로 이미지 분할화와 희소행렬 문제 해결하기
- 사이파이 패키지를 사용하여 선형대수학 다루기
- 사이파이의 최적화 모듈로 이미지를 정렬하고 등록하기
- 파이썬 데이터 스트리밍 요소와 Toolz 라이브러리로 대규모 데이터셋 처리하기

작가정보

저자(글) 후안 누네즈 이글레시아스

저자 후안 누네즈 이글레시아스
프리랜서 컨설턴트이자 호주 멜버른 대학교 연구 과학자다. 이전에는 하워드 휴즈 의학연구센터(HHMI) 자넬리아 팜 연구소 연구원으로 드미트리 ‘미탸’ 치클롭스키와 같이 일했다. 서던 캘리포니아 대학교에서는 샹홍 재스민 저우 교수 밑에서 조교 및 박사 과정을 밟으며 계산생물학을 공부했다. 주요 연구 관심 분야는 신경과학과 이미지 분석이다. 생물정보학 및 통계학의 그래프 연구 방법에 관심이 많다.

저자(글) 스테판 판데르발트

저자 스테판 판데르발트
캘리포니아 버클리 대학교 데이터과학연구소 조교 연구원이다. 남아프리카공화국 스텔렌보스 대학교 응용수학 수석 강사다. 10년 이상 오픈 소스 과학 소프트웨어 개발에 참여해왔고, 워크숍과 콘퍼런스에서 파이썬을 가르치는 것을 좋아한다. 사이킷-이미지(scikit-image) 창시자이고, 넘파이, 사이파이, cesium-ml의 컨트리뷰터다.

저자(글) 해리엇 대시나우

저자 해리엇 대시나우
생물정보학자로서 머독 칠드런스 리서치, 멜버른 대학교 생화학과, 빅토리안 생명 과학 컴퓨터 기관(VLSCI)에서 근무했다. 맬버른 대학교에서 심리학 학사, 유전학 및 생화학 학사, 생물정보학 석사를 취득했고 현재는 박사 과정을 밟고 있다. 유전체학, 소프트웨어 카펜트리, 파이썬, R, 유닉스, 깃 버전 관리 같은 분야에서 IT 스킬 워크숍을 조직하고 가르친다.

번역 최길우

역자 최길우
컴퓨터학부 학사를 졸업하고, 소프트웨어 마에스트로 3기 과정 중 수면실에서 약 1년 동안 미래를 고민했다. 현재는 클라우드 업계에서 솔루션즈 아키텍트로 근무 중이다. 번역서로는 『Head First C# 3판』(한빛미디어, 2015)과 『처음 시작하는 파이썬』(한빛미디어, 2015)이 있다.