https://github.com/AcornPublishing/data-analysis-pandas

pandas는 파이썬에서 데이터 과학을 위한 강력하고 인기 있는 라이브러리다. 이 책은 주식 시장과 모의 해킹 시도, 기상 동향, 지진, 와인, 천문학 데이터 등 실제 데이터에 pandas를 이용한 데이터 분석 실습을 제공한다. pandas는 표 형식의 데이터를 효율적으로 다룰 수 있는 기능을 제공해 데이터 랭글링(data wrangling)과 시각화를 쉽게 할 수 있다. 데이터 분석 방법을 배운 다음에 다양한 응용 프로그램을 살펴본다. 파이썬 패키지를 구축한 다음, 데이터 시각화와 데이터 랭클링, 그리고 머신러닝을 위해 널리 사용되는 Matplotlib와 Seaborn, 넘파이(NumPy), Scikit-learn과 같은 추가 라이브러리를 사용해 주가 분석, 이상 탐지, 회귀, 군집화, 분류 문제에 도전한다. 이 책을 읽으면 파이썬으로 여러분만의 데이터 과학 프로젝트를 수행할 준비가 돼 있을 것이다.

교육자들은 자신이 선호하는 매체를 사용해 가르치는 경향이 있다. 개인적으로 경력을 시작할 즈음의 나는 비디오 콘텐츠에 매료됐다. 온라인 콘텐츠를 제작하면서 자주 듣는 질문 중 하나는 놀랍게도 ‘데이터 과학을 시작하는 사람들에게 추천할 만한 책이 있나요?’라는 질문이었다.
온라인에 좋은 자료가 많이 있는데도 책을 찾는 것에 처음에는 당황했으나 이 책을 읽은 후에는 데이터 과학 학습을 위한 책에 대한 내 인식이 바뀌었다.
이 책에서 가장 마음에 들었던 것은 책의 구성이었다. 적절한 양의 정보를 제때에 제공해 여러분이 자연스럽게 진도를 나갈 수 있도록 하고 있다. 본서를 통해 통계와 관련 개념에 관한 기초 지식부터 시작해 실습을 바탕으로 이론을 배울 수 있을 것이다.
기초를 배우고 나면 이 책의 핵심인 pandas를 만나게 된다. 저자는 (이전에 여러분들이 사용했던 것과 같은 오래된 데이터가 아닌) 최신 실제 데이터를 사용해 모듈(module)에 생명을 불어넣는다. 나 역시 이 책을 통해 몇 가지 기술을 배웠다.
이 책의 후반부에서는 pandas의 강력한 기능을 바탕으로 무엇을 할 수 있는지 배운다. 저자는 머신러닝의 고급 개념도 자세히 소개하지만 지나치게 기술적인 전문 용어를 사용하지 않으면서 진도를 나가는 데 필요한 정보를 충분히 제공한다.
나는 저자와 대화하면서 이 책에 대한 그녀의 자부심을 느낄 수 있었다. 이 책은 데이터 과학의 도구를 배우려는 사람들에게 좋은 자료이자 저자 자신의 지식을 확고히 하면서 본인의 영역을 확장할 수 있는 방법이기도 하다. 여러분은 커뮤니티뿐만 아니라 자신의 학습을 위해 창조하는 사람들로부터 배우고 싶을 것이다. 내재적 동기를 가진 사람들은 추가로 수정하거나 표현을 정확하게 하고자 더 많은 노력을 한다.
여러분도 나처럼 이 책에서 많은 것을 배울 수 있길 바란다. 위에서 내게 ‘데이터 과학을 시작하는 사람들에게 추천할 만한 책이 있나요?’ 라는 질문을 한 분들에 대한 대답은 바로 이 책이다.

— 켄 지(Ken Jee) 유튜버이자 스카우트 컨설팅 그룹(Scouts Consulting Group)의 데이터 과학 책임자 호놀룰루, 2021년 3월 9일

◆ 데이터 분석가와 과학자가 데이터를 수집하고 분석하는 방법 이해
◆ 파이썬으로 데이터 분석과 데이터 랭글링
◆ 여러 출처의 데이터를 결합, 그룹화 그리고 집계
◆ pandas와 matplotlib, seaborn으로 데이터 시각화
◆ 머신러닝 알고리듬으로 패턴을 식별, 예측
◆ 파이썬 데이터 과학 라이브러리를 사용해 실제 데이터세트 분석
◆ pandas로 일반적인 데이터 표현과 분석 문제 해결
◆ 분석 코드를 재사용할 수 있도록 파이썬 스크립트와 모듈, 그리고 패키지 생성

이 책은 데이터 과학을 프로젝트에 적용하고 데이터 과학자와 협업하거나 소프트웨어 엔지니어와 함께 머신러닝 제품 코드 작업을 진행하고자 파이썬으로 데이터 과학을 배우려는 다양한 수준의 경험을 가진 사람들을 대상으로 한다. 다음과 같은 경험이 있다면 이 책을 최대로 활용할 수 있을 것이다.
R이나 SAS 또는 MATLAB과 같은 다른 언어로 데이터 과학을 경험하고 여러분의 작업을 파이썬으로 전환하고자 pandas를 배우려는 사람, 그리고 파이썬 경험이 있으며 파이썬을 사용해 데이터 과학을 배우려는 사람 모두가 읽기에 적합하다.

1장, ‘데이터 분석 소개 데이터 분석과 통계학의 기초’에서는 파이썬에서의 데이터 작업과 주피터 노트북(Jupyter Notebook) 사용을 위한 환경 설정 과정을 안내한다.
2장, ‘pandas 데이터프레임으로 작업하기’에서는 pandas 라이브러리를 소개하고 데이터프레임으로 작업하기 위한 기본 지식을 설명한다.
3장, ‘pandas로 데이터 랭글링하기’에서는 데이터 조작(data manipulation) 과정을 설명하고 API로 통한 데이터 수집 방법을 소개하며 pandas로 데이터 정제(data cleaning)와 재구성(reshaping)을 안내한다.
4장, ‘pandas로 데이터프레임 집계하기’에서는 데이터프레임에 질의(query)하고 병합하는 방법과 데이터프레임에서 이동 평균과 집계를 포함해 복잡한 계산을 하는 방법, 시계열 데이터를 효율적으로 다루는 방법을 다룬다.
5장, ‘pandas와 matplotlib로 데이터 시각화하기’에서는 파이썬에서 matplotlib 라이브러리를 사용해 데이터를 시각화하는 방법과 pandas 객체에서 직접 시각화하는 방법을 소개한다.
6장, ‘seaborn과 사용자 정의 기술로 그림 그리기’에서는 seaborn 라이브러리를 사용해 긴 형식의 데이터를 시각화하는 방법과 발표에 사용할 수 있도록 시각화를 사용자에게 맞게 수정할 수 있는 도구를 소개하면서 데이터 시각화에 관해 설명을 이어간다.
7장, ‘금융 분석-비트코인과 주식시장’에서는 주가 분석을 위한 파이썬 패키지를 만들고자 1장부터 6장까지 배운 모든 내용을 다룬다.
8장, ‘규칙 기반 이상 탐지’에서는 데이터를 시뮬레이션한 다음, 이상 탐지를 위한 규칙 기반 전략을 사용해서 웹 사이트에 인증을 시도하려는 해커를 잡고자 1장부터 6장까지 배운 모든 내용을 다룬다.
9장, ‘파이썬으로 머신러닝 시작하기’에서는 머신러닝과 Scikit-learn 라이브러리를 사용해 머신러닝 모델을 구축하는 방법을 소개한다.
10장, ‘예측 더 잘하기-모델 최적화’에서는 머신러닝 모델의 성능을 조정하고 개선하기 위한 전략을 알아본다.

상세 이미지

데이터 과학은 종종 프로그래밍 기술과 통계적 기법(statistical know-how) 그리고 특정 분야의 지식(domain knowledge)이 서로 어우러지는 학제간 분야로 묘사된다. 데이터 과학은 빠르게 우리 사회에서 가장 주목받는 분야 중의 하나가 됐으며, 데이터로 작업하는 방법을 아는 것은 오늘날의 직장생활에서 꼭 필요한 것이 됐다. 산업이나 역할, 또는 프로젝트에 상관없이 데이터 기술은 수요가 많으며 데이터 분석을 배우는 것이 영향력을 행사할 수 있는 중요한 요소다. 데이터 과학 분야는 영역 전반에 걸쳐 다른 많은 측면을 다룬다. 데이터 분석가(data analyst)는 비즈니스 인사이트(business insight)를 도출하는 데 더 중점을 두지만, 데이터 과학자는 기업의 문제에 머신러닝 기술을 적용하는 데 더 중점을 둔다. 데이터 엔지니어는 데이터 분석가와 데이터 과학자가 사용하는 데이터 파이프라인 설계와 구축, 유지 관리에 집중한다. 머신러닝 엔지니어 는 데이터 엔지니어와 마찬가지로 데이터 과학자의 많은 기술을 사용하는 능숙한 소프트웨어 엔지니어다. 데이터 과학은 많은 분야를 아우르지만 모든 분야에 있어서 데이터 분석은 기본 구성 요소 다. 이 책은 여러분이 어느 분야에서든 시작할 수 있는 기술을 제공한다.
데이터 과학의 전통적인 기술은 데이터베이스, API와 같이 다양한 출처에서 데이터를 수집하고 처리하는 방법을 포함한다. 파이썬은 데이터를 수집하고 처리할 뿐만 아니라 데이터 제품의 생산 품질을 구축할 수 있는 수단을 제공해 데이터 과학 분야에서 인기 있는 언어 중의 하나다. 또한 오픈 소스로 다른 사람이 작성한 라이브러리를 활용해 일반적인 데이터 작업이나 문제를 해결하기 위한 데이터 과학을 시작하는 데 적합하다.

이 책을 번역하면서 데이터 분석을 처음 공부했을 때가 생각났다. 학교에서 배웠던 기본 통계학을 다시 공부하면서 관련 내용을 코드로 구현하고, 그 과정 및 결과를 그래프로 시각화하면서 개념을 다시 잡으면서 고생했었다.

이런 책이 있었더라면 많은 사람이 역자처럼 고생하지 않고 쉽게 데이터 분석에 입문하지 않을까 생각하면서 번역을 시작했다. 그러나 번역을 다 끝내고 편집된 원고를 다시 읽어보면서 이 책에 담겨있는 많은 내용을 제대로 번역하지 못한 것 같아 다소 아쉬운 생각이 든다. 기본적인 내용이 많이 담겨있지만, 더 필요한 통계학과 코딩 기본 지식을 더 보충했더라면 더 좋은 책이 되었을 것으로 생각한다. 하지만 이는 번역서로의 범위를 넘어설 뿐만 아니라 데이터 분석 입문을 위한 이 책의 목적에도 부합하지 않는다.

저자도 강조했듯이 역자들 또한 데이터 분석에서 가장 중요하다고 생각하는 것은 ‘왜 데이터 분석해야 하는가?’이다. 많은 데이터 분석 관련 정보는 데이터를 읽고, 시각화를 위해 전처리하고 시각화를 하는 과정에만 집중하고 있다. 그러나 데이터 분석은 데이터를 시각화하는 것이 목적이 아니라는 것을 재차 강조하고 싶다. 데이터 분석은 데이터분석가를 위한 것이 아니라 기업활동에서 의사결정권자에게 필요한 정보를 데이터분석가가 데이터를 가공해 전달하기 위한 도구라는 것을 명심해야 한다. 단순히 데이터를 시각화하는 것에 사로잡히지 말고, 우리가 하려는 ‘목적’을 정확히 알고, 목적 달성에 필요한 데이터를 수집해야 하며, ‘목적’을 위해 데이터를 어떻게 가공하고 시각화해야만 의사결정권자가 필요한 정보를 한눈에 알아보고 이해할 수 있는가는 고민해야 한다. 이것이 역자들이 생각하는 데이터 분석의 목적이다.

이 책을 읽고 실습하면서 필요한 배경지식은 이 책에 각 장의 보충 자료 외에 통계학 등의 관련 서적이나 MOOC 등의 강의를 통해 습득하길 바란다. 또한 데이터 시각화를 위해서는 동적으로 시각화를 할 수 있도록 Tableau나 Plotly 등의 오픈소스 시각화 도구를 활용하는 방법을 추가로 익히길 바란다.

스테파니 몰린(Stefanie Molin)

뉴욕 블룸버그 LP의 데이터 과학자이자 소프트웨어 엔지니어로서 정보보호 분야에서 이상 탐지(anomaly detection)와 데이터 수집을 위한 도구 개발, 지식 공유와 같이 어려운 문제를 담당하고 있다. AdTech와 FinTech 산업에서 데이터 과학, 이상 탐지 솔루션 설계, 머신러닝에 R과 파이썬을 활용하는 데 많은 경험이 있으며, 컬럼비아 대학의 후 재단 공과 및 응용과학 대학(Fu Foundation School of Engineering and Applied Science)에서 운용 연구(OR, Operations Research)로 석사 학위를 받았으며 경제학과 기업가 정신 및 혁신(entrepreneurship and innovation)을 부전공했다. 세계를 여행하고, 새로운 요리법을 개발하며, 사람과 컴퓨터 간에 사용되는 새로운 언어를 배우는 것을 즐긴다.

장기식

경희대학교에서 대수학을 전공했으며, 고려대학교 정보보호대학원에서 박사 학위를 취득했다. 이후 약 10년간 경찰청 사이버안전국 디지털포렌식센터에서 디지털 포렌식 업무를 담당했다. 경찰대학 치안정책연구소에서 데이터 분석을 접한 이후 데이터 분석을 기반으로 한 머신러닝 기술을 연구했으며, 이 경험을 바탕으로 현재 아이브스 CTO 및 AI LAB 연구소장으로 딥러닝 기반 영상 및 음향·음성 보안 솔루션과 데이터 분석 플랫폼 개발 및 연구를 책임지고 있다. 번역서로는 『보안을 위한 효율적인 방법 PKI』(인포북, 2003)와 『EnCase 컴퓨터 포렌식』(에이콘, 2015), 『인텔리전스 기반 사고 대응』(에이콘, 2019), 『적대적 머신러닝』(에이콘, 2020), 『사이버 보안을 위한 머신러닝 쿡북』(에이콘, 2021), 『양자 암호 시스템의 시작』(에이콘, 2021), 『스크래치로 배워보자! 머신러닝』(에이콘, 2022)이 있다.

김경환

강산이 세 번 바뀌는 동안 꾸준하게 개발자의 길을 걸어왔다. 코딩 자체를 좋아하지만 다양한 전문 분야의 요구사항을 분석하면서 새로운 지식을 습득하고 체계화하는 것을 즐긴다. 첫 직장에서 경험한 데이터베이스를 시작으로 데이터웨어하우스, 검색엔진, 빅데이터, 머신러닝에 이르는 여정에서 얻게 된 ‘살아 숨 쉬는 지혜’를 DIKW 이론을 빌어 주변에 설파하고 있다. ‘배운 것 남 주자’를 실천하기 위해 한양대학교 대학원 산업공학과 겸임교수, 서울과학종합대학원 AI·빅데이터 MBA 객원교수로 자료구조와 알고리듬, DIKW와 Spark 강의도 하는 주경야독러다. 현재 쏘마에서 ‘보안 위협, 그 너머로’를 목표로 고도화된 보안 위협 대응을 위한 사이버 위협 헌팅 플랫폼 MONSTER와 APT 공격 시뮬레이터 CHEIRON를 구현하는 데 매진하고 있다.

노용환

군 전역 후 전공을 포기하고 컴퓨터공학을 독학으로 공부한 이후 1999년 오픈소스 소프트웨어 경진대회에서 정보통신부장관상을 수상한 이후로 보안 소프트웨어 개발에 눈을 뜨게 되어 2015년에는 ‘올해의 안랩인상’을 받았다. 다양한 사이버보안 회사에서 게임보안 및 정부기관의 주요 보안 프로젝트를 수행하면서 개발자이자 화이트해커로의 명성을 얻은 후 Microsoft MVP를 역임했다. 2016년 쏘마를 창업해 고도화된 보안 위협 대응을 위한 사이버 위협 헌팅 플랫폼 MONSTER와 APT 공격 시뮬레이터 CHEIRON를 개발해 서비스하고 있으며, BoB 보안인재 양성프로그램의 멘토이며 Kimchicon 보안컨퍼런스 reviewer로도 활동하고 있다. 저서로는 『해킹과 보안 내가 최고』(영진닷컴, 2000)가 있다.