요즘 가장 인기 있는 프로그래밍 언어인 파이썬을 활용한 데이터 마이닝 기법을 소개한다. 다양한 예제와 데이터 마이닝 기법으로 유용한 인사이트를 어떻게 얻어낼 수 있는지를 배운다. 파이썬 라이브러리를 사용한 데이터 시각화 기법도 함께 소개한다.

■ 데이터셋 요약 및 데이터 시각화 기법 탐구
■ 분석 작업을 위한 데이터 수집과 구성
■ 데이터 포인트를 그룹에 할당하고 클러스터링으로 시각화하기
■ 데이터에 대한 연속적 및 카테고리적 예측 학습
■ 데이터 클리닝, 노이즈 제거, 차원 감소
■ scikit-learn의 파이프라인 특징을 사용한 데이터 처리 모델 연속화
■ 파이썬의 pickle 모듈을 이용한 데이터 처리 모델 구현

파이썬을 활용한 데이터 마이닝과 분석 분야의 초보자를 대상으로 한다. 독자가 파이썬 프로그래밍 경험이 거의 없으며 고등학교 수준 이상의 수학 실력을 갖추지 못한 것으로 가정하고 서술했다. 이 책에 사용된 모든 파이썬 라이브러리는 많은 플랫폼에서 무료로 구할 수 있으므로, 인터넷에 접속할 수 있다면 책에 나오는 개념을 배우고 연습할 수 있을 것이다.

처음 세 장은 데이터 마이닝 프로젝트의 구조적인 내용을 다룬다. 여기에는 데이터 마이닝 파이썬 환경의 생성, 다양한 소스로부터의 데이터 로딩, 다운스트림 분석을 위한 데이터 변환을 포함한다. 나머지 장에서는 주로 개념을 다루며, 신입 사원을 교육하는 것처럼 대화체로 서술했다.
1장. ‘데이터 마이닝과 파이썬 도구 입문’에서는 독자의 소프트웨어 환경에서 파이썬을 시작하는 법을 다룬다. 파이썬, pandas, scikit-learn, seaborn 같은 인기 있는 라이브러리를 설치하는 법을 알려준다. 환경을 설정하고 나면 다음 설명을 따라갈 수 있을 것이다.
2장. ‘기본 용어와 종합적 사례’에서는 데이터 마이닝에서 요구되는 기본적 통계와 데이터 용어를 소개한다. 이 장의 끝에서는 종합적 예제를 다루고, 다음 장에서 소개할 여러 기법을 보여준다. 2장을 읽으면 분석이 의미하는 사고의 과정과 업무에서 맞닥뜨리게 될 문제를 해결하기 위한 절차를 좀 더 명확히 이해할 수 있다.
3장. ‘데이터의 수집, 탐구, 시각화’에서는 데이터베이스, 디스크, 웹에서 데이터를 불러오는 기본적인 방법을 살펴본다. 기본적인 SQL 질의와 pandas의 액세스 및 검색 함수를 다루며, seaborn을 사용한 주요 플롯 형태를 소개한다.
4장. ‘분석을 위한 데이터 클리닝 및 준비’에서는 데이터 클리닝과 차원 감소의 기본을 다룬다. 어떻게 미지의 값을 처리하고, 입력 데이터를 리스케일하고, 카테고리 변수를 다룰지 이해하게 될 것이다. 또한 고차원 데이터의 문제를 필터, 래퍼(wrapper), 변환 기법 등의 특징 감소 기법을 사용해 문제를 어떻게 해결하는지 알아본다.
5장. ‘데이터의 그룹화와 클러스터링’에서는 데이터 마이닝을 위한 클러스터링 알고리즘 설계 배경과 사고 과정을 설명한다. 그리고 실무에서 사용하는 클러스터링 기법을 소개하고 모의 데이터를 사용해 이들을 비교한다. 이 내용을 배우면 평균 분리, 밀도, 연결성에 기반한 클러스터링 알고리즘 간의 차이를 알게 될 것이다. 또한 데이터의 플롯을 해석하고 클러스터링이 여러분의 데이터 마이닝 프로젝트에 어느 정도 적합한지에 대한 인사이트를 얻을 수 있다.
6장. ‘회귀와 분류를 이용한 예측’에서는 손실 함수와 기울기 하강을 통한 예측 모델 학습을 다룬다. 그다음 과대적합, 과소적합 및 적합 과정에서의 모델 정규화를 위한 페널티 접근의 개념을 살펴본다. 그리고 표준적인 회귀 및 분류 기법들과 각각의 정규화된 버전을 다룬다. 교차 검증과 그리드 검색을 포함한 모델 튜닝의 베스트 프랙티스를 다루면서 마무리한다.
7장. ‘고급 주제: 데이터 처리 파이프라인의 생성과 사용’에서는 scikit-learn 기법을 사용해 파이프라인을 생성하고 적용하는 전략을 살펴본다. 이어서 구현 시점에서 일어나는 파이썬 관련 문제를 다룬다.

인기 있는 무료 파이썬 라이브러리들을 활용한 데이터 마이닝을 소개한다. 이 책은 대화체로 쓰여졌고, 독자에게 인사이트를 주는 동시에 읽기 쉬운 책이 되고자 했다. 데이터 마이닝은 당신의 데이터로부터 전통적 분석 기법으로는 발견하기 힘든 인사이트를 발견하기 위해 설계된 분석 기법의 통칭이다. 데이터 마이닝의 분야는 광대하므로, 이 책의 주제는 데이터 마이닝 영역의 적합성뿐만 아니라, 이에 관련한 머신 러닝과 인공지능의 영역까지 고려해서 선택됐다. 전반부에서는 데이터의 수집, 로딩, 변환 등에 익숙해질 수 있도록 돕고, 후반부에서는 개념적인 내용을 다룬다. 이 개념은 먼저 직관적인 원리부터 소개되고 크게 변환, 클러스터링, 예측으로 나뉜다. 주요 요소 분석, k-means 클러스터링, 서포트 벡터 머신, 랜덤 포레스트와 같이 인기 있는 여러 기법은 후반부에서 다룬다. 그리고 파이프라인과 당신의 분석 모델을 구현하는 것으로 마무리한다.

나단 그리넬치(Nathan Greeneltch)

인텔 소속의 엔지니어로, 인공지능 컨설팅 부서에서 데이터 마이닝과 분석 전문가로 일하고 있다. 지난 10년 동안 스타트업과 제조 분야 대기업에서 파이썬 분석 업무를 해왔다. 분석 분야에 새로 입문한 신입 사원과 엔지니어를 정기적으로 멘토링하고 있으며, 인텔에서 수시로 강연을 통해 지식을 공유하고 있다. 일리노이주 에반스턴에 위치한 노스웨스턴 대학교에서 물리화학을 전공했으며, 작은 분자의 진동 신호 표면 향상을 주제로 박사 논문을 썼다. 미국 남동부에서 자랐으며, 가족의 반은 아칸소 출신이고 나머지 반은 플로리다 출신이다.

데이터 마이닝의 개념은 학계와 산업계에 소개된 지 오래됐다. 하지만 고급 통계 패키지나 컴퓨터 프로그래밍을 경험해보지 못한 사람도 쉽게 이해하고 간편하게 활용할 수 있는 안내서는 지금껏 찾기 힘들었다.
이 책은 데이터 마이닝 패키지 혹은 컴퓨터 프로그래밍 관련 경험이 없는 독자도 차근차근 쉽게 따라 할 수 있도록 쓰여졌다. 알기 쉬운 예제와 파이썬 프로그램을 활용한 해결 방법을 제공하고 있으므로, 데이터 마이닝에 관심이 있는 학생과 직장인에게 좋은 입문서가 될 것이다.
이 책이 우리나라에서 데이터 마이닝의 대중화를 앞당기는 데 조금이나마 도움이 되길 바란다.

조종희

데이터를 활용한 비즈니스 환경에서의 과학적인 의사 결정 및 업무성과의 최적화가 주요 업무 분야다. 포드자동차, JP모건 체이스, 빅토리아 시크릿 등의 세계적인 브랜드에서 10년 넘게 마케팅 분석 관련 경력을 쌓았다. 카네기 멜론 대학교에서 분석적 마케팅 전공으로 MBA를 마쳤다. 「하버드 비즈니스 리뷰 코리아」의 객원 번역가로 활동했으며 미국 조지아대학교, 한양대학교 등에서 강의했다.