pandas의 모든 기능을 친절한 예제와 설명, 실제 파이썬 코드를 통한 실습과 함께 설명한다. pandas의 핵심 DataFrame과 Series를 주축으로 함수, 메서드, 속성을 설명하고 장단점은 물론 메모리 사용량과 처리 시간도 비교한다. 금융 데이터에서 가장 중요한 시계열 자료를 처리하는 다양한 방법과 SQL 데이터베이스에 연결하는 방법도 알려준다. 한편 pandas 라이브러리의 그룹화 함수를 체인 기능과 집계함수를 결합해 사용할 때 pandas 라이브러리의 강력한 힘을 느낄 수 있다.
그리고 정돈된 데이터(tidy data)의 정의와 함께 데이터 정돈 방법과 절차를 자세히 알아보고 matplotlib, python plot, seaborn을 이용한 데이터 시각화와 각각의 장단점을 상세히 설명한다.

■ 모든 데이터셋을 탐색할 수 있게 해주는 pandas의 기본 지식
■ 쿼리와 선택으로 데이터 중 원하는 부분만 부분집합으로 적절히 골라내는 방법
■ 데이터를 종합하거나 각 그룹으로 변환하기 전 개별 그룹으로 분할하는 방법
■ 데이터 분석과 시각화가 용이하도록 데이터를 정돈된 형식으로 재구성하기
■ 복잡한 실제 환경 데이터를 머신러닝에서 사용할 수 있도록 준비하기
■ pandas의 SQL 유사 연산 기능으로 서로 다른 소스의 데이터 병합하기
■ pandas의 독보적인 시계열 데이터 처리 능력
■ pandas의 matplitlib나 seaborn을 사용한 시각화 기능

단순한 예제에서 고급 예제까지 거의 100가지 예제를 다룬다. 모든 예제는 간단명료하고 최신 파이썬 문법과 구문을 사용해 작성했다. ‘작동 원리’ 절에서는 예제의 복잡한 각 단계를 상세히 설명하며, 종종 ‘추가 사항’ 절에서 새로운 예제에 대한 정보를 얻을 수 있다.
처음 6개 장의 예제는 간단한 예제로 구성됐으며, 이후 5개 장에 비해 기본적이고 근본적인 pandas 연산에 중점을 둔다. 나머지 5개 장은 고급 연산과 프로젝트 성격이 강한 예제를 소개한다. 난이도가 광범위하므로 초보자나 숙련자 모두에게 유용하다. 내 경험에 비춰 봤을 때 pandas를 일상적으로 사용하는 사람도 pandas의 관용구에 익숙하지 않다면 마스터하지 못할 것이다. 이는 pandas가 방대한 영역을 다루기 때문이다. 대부분 동일한 연산을 수행할 수 있는 방법은 여러 가지가 있기 때문에 사용자는 원하는 결과를 얻고자 비효율적인 방법을 사용하고 있을 수도 있다. 동일한 문제를 해결하는 pandas 솔루션의 속도 차이가 수십 배 이상 다른 경우도 빈번하다.
필수 지식은 오직 파이썬뿐이다. 독자가 리스트(list), 집합(set), 딕셔너리(dictionary), 튜플(tuple) 등의 파이썬 내장 데이터 저장소에 어느 정도 익숙하다고 가정한다.

1장, ‘pandas 기초’에서는 pandas 데이터 구조를 이루는 두 구성 요소인 Series와 DataFrame을 해부하고 용어를 정리한다. 각 열은 동일한 데이터 형식을 가져야 하고 우리는 각 데이터 형식을 알아본다. 이를 통해 Series와 DataFrame의 메서드를 호출하고 바꾸면서 두 요소의 진정한 힘을 배울 수 있다.
2장, ‘기본 DataFrame 연산’에서는 데이터 분석을 위해 가장 중요하고 보편적인 연산을 알아본다.
3장, ‘DataFrame 생성과 유지’에서는 DataFrame을 생성하고 값을 넣는 다양한 방법을 알아본다.
4장, ‘데이터 분석 시작’에서는 데이터를 읽어 들인 후, 해야 할 반복 작업에 도움이 되는 내용을 다룬다.
5장, ‘탐색적 데이터 분석’에서는 수치와 범주 데이터를 비교하는 기본 분석 기법을 다룬다. 또한 일반적인 시각화 기법도 알아본다.
6장, ‘데이터의 부분집합 선택’에서는 서로 다른 부분집합 선택에서 다양하고 혼동되는 부분 등 여러 주제를 다룬다.
7장, ‘행 필터링’에서는 불리언 조건을 이용해 데이터의 부분집합을 선택하는 쿼리 프로세스를 다룬다.
8장, ‘인덱스 정렬’에서는 상당히 중요하면서도 종종 잘못 이해하고 있는 인덱스 객체를 다룬다. 인덱스를 잘못 다루면 많은 잘못된 결과를 초래한다. 예제에서 강력한 결과를 얻을 수 있는 올바른 사용법을 알아본다.
9장, ‘그룹화를 위한 집계, 여과, 변환’에서는 데이터 분석에 필요한 강력한 그룹화 기능을 다룬다. 따라서 목적에 맞는 그룹에 적용할 사용자 정의 함수를 구성할 수 있다.
10장, ‘정돈된 형식으로 데이터 재구성’에서는 정돈된 데이터를 설명하고 중요한 이유를 알아보고 서로 다른 형태의 데이터를 정돈하는 방법을 다룬다.
11장, ‘pandas 객체 병합’에서는 DataFrame과 Series를 수직과 수평으로 병합하는 여러 메서드를 알아본다. 또한 웹 스크래핑으로 트럼프와 오바마 대통령의 국정 수행 평가 점수를 비교하고 웹 스크래핑과 SQL 관계형 데이터베이스 연결을 실습해본다.
12장, ‘시계열 분석’에서는 가능한 모든 시간 차원에 따라 분해할 수 있는 시계열의 강력한 고급 기능을 알아본다.
13장, ‘matplotlib, pandas, seaborn을 이용한 시각화’에서는 pandas에서 모든 도식화의 기본이 되는 matplotlib 라이브러리를 소개한다. 그리고 pandas plot 메서드와 seaborn 라이브러리 등 pandas에서 직접 제공하지 않는 다양하고 심미적인 시각화 기능을 알아본다.
14장, ‘pandas 디버깅과 테스트’에서는 DataFrame과 pandas 코드를 테스트하는 메커니즘을 살펴본다. 생산 라인에 pandas를 배포할 계획이라면 이 장을 통해 코드를 신뢰할 수 있게 돕는다.

pandas는 파이썬을 사용해 구조화된 데이터를 만들고 조작하기 위한 라이브러리다. 구조화했다는 것은 무슨 의미일까? 구조화란 스프레드시트나 데이터베이스에서와 같이 행과 열의 테이블 형식으로 된 데이터를 의미한다. 데이터 과학자, 분석가, 프로그래머, 엔지니어 등은 데이터를 활용하고자 이런 형식의 데이터를 활용하고 있다.
pandas는 ‘작은 데이터’(단일 시스템 메모리에 들어갈 수 있는 데이터)만 다룰 수 있다. 그러나 pandas의 구문과 연산은 PySpark, Dask, Modin, cuDF, Baloo, Dexplo, Tabel, StaticFrame 등 다른 프로젝트에 채택되거나 영감을 줬다. 프로젝트에는 다양한 목표가 있지만 일부 프로젝트는 빅데이터로 확장된다. 따라서 pandas는 구조화된 데이터와 상호작용하기 위한 사실상 표준 API가 되고 있으므로 작동 방식을 이해할 가치가 있다. 내 이름은 매트 해리슨(Matt Harrison)이며 기업 교육을 수행하는 메타스네이크(MetaSnake)라는 회사를 운영한다. 내가 하는 일은 파이썬과 데이터 기술을 향상시키고자 하는 대기업을 훈련하는 것이다. 따라서 수년 동안 수천 명의 파이썬과 pandas 사용자를 가르쳤다.
2판을 쓸 때 내 목표는 pandas와 관련해 많은 사람이 혼동을 겪는 부분을 열심히 돕는 것이었다. pandas는 여러 이점이 있지만 어렵고 혼란스러운 점이 있다. 독자 여러분이 실제 환경에서 그러한 문제점을 해결할 수 있도록 돕고자 한다. 라이브 교육에 관심이 있다면 언제든지 문의하라(matt@metasnake).

매트 해리슨(Matt Harrison)

2000년부터 파이썬을 사용해 왔다. 파이썬과 데이터 과학에 대한 기업 교육을 제공하는 메타스네이크(MetaSnake)를 운영하고 있다. 『Machine Learning Pocket Reference』(O'Reilly, 2019), 베스트셀러인 『Illustrated Guide to Python 3』(2017), 『Learning the Pandas Library』(2016) 등 여러 책의 저자다.

시어도어 페트로우(Theodore Petrou)

데이터 과학자이자 탐색적 데이터 분석에 중점을 두고 있는 교육 회사 던더 데이터(Dunder Data)의 설립자다. 밋업(meetup) 그룹인 휴스턴 데이터 과학(Houston Data Science)을 이끌고 있는데, 그룹에는 2,000여명의 멤버가 있고 같은 공간에서 데이터 과학을 학습하기 위한 공동체를 형성하는 것을 주목적으로 한다. 던더 데이터를 설립하기 전에는 대규모 정유회사인 슐룸베르거(Schlumberger)에서 데이터 과학자로 근무했는데, 데이터 분석 업무에 대부분의 시간을 보냈다. 수행한 프로젝트에는 엔지니어 텍스트에서 부품 고장의 근본 원인을 파악하는 타깃화된 감정 분석, 맞춤형 대시보드 응용, 판매 상품 가격 산정 에러를 막기 위한 실시간 웹 서비스 등이 있다. 라이스대학교(Rice University)에서 통계학으로 석사 학위를 받았고, 데이터 과학자가 되기 전에는 분석 기술을 이용해 직업 포커 게임을 하기도 했으며 수학을 가르치기도 했다. 실습을 통한 학습을 강조하며 스택 오버플로에서 pandas 관련해 자주 답변하곤 한다.

구조화된 데이터를 다룰 때 최적의 편의성을 제공해주는 pandas 라이브러리의 거의 모든 것을 정리해 둔 책이다. 이미 1판에서 다양한 예제를 통해 pandas 라이브러리를 상세히 설명했지만, 2판에서는 더 많은 예제를 통해 좀 더 친절하고 풍부한 내용을 전달한다. 특히 pandas의 그룹화, 체인, 집계 함수를 동시에 사용하는 방법을 접하게 되면 기존의 까다롭고 복잡한 연산을 단순하게 구현하는 일을 할 수 있음에 놀랄 것이다.
데이터 분석의 중요성과 데이터 과학자의 필요성에 대한 목소리는 하루가 다르게 커져가고 있지만, 데이터 분석에서 소위 ‘정돈된 데이터(Tidy data)’의 필요성과 데이터 전처리의 중요성을 여전히 잘 인식하지 못하는 듯하다. 특히 파이썬을 이용해 데이터를 분석하는 대부분의 사람들은 늘 pandas를 사용하면서도 정작 pandas의 전체 기능을 제대로 학습하려는 노력은 많이 부족한 듯하다. DataFrame과 Series 등 pandas의 근간이 되는 데이터 구조에서 자신이 원하는 부분만 정확히 선택하되 가장 효율적인 방식으로 처리하는 방법을 풍부한 예제를 통해 배울 수 있다.

(주)크라스랩

머신러닝을 기반으로 다양한 연구를 수행하고 있으며, 특히 머신러닝 기반의 금융 분석과 핀테크에 중점을 두고 있다. KAIST 전산학과 계산이론 연구실 출신의 이병욱 대표가 이끌고 있으며, 저서인 『블록체인 해설서』(에이콘, 2019)는 대한민국학술원에서 2019 교육부 우수학술 도서로 선정됐다.