딥러닝 데이터 전처리 입문 [파이썬과 R로 배우는 데이터 다루기]
- 원서명Practical Data Wrangling: Expert techniques for transforming your raw data into a valuable source for analytics (ISBN 9781787286139)
- 지은이앨런 비소첵(Allan Visochek)
- 옮긴이김창엽, 강병호
- ISBN : 9791161751580
- 20,000원
- 2018년 05월 24일 펴냄
- 페이퍼백 | 232쪽 | 188*235mm
- 시리즈 : acorn+PACKT, 데이터 과학
책 소개
소스 코드 파일은 여기에서 내려 받으실 수 있습니다.
본문에 쓰인 컬러 이미지는 여기에서 내려 받으세요.
요약
실제 데이터 분석에 가장 중요한 기초 데이터 전처리를 다룬다. 데이터 전처리 과정은 머신 러닝을 통해 만든 모델의 성능을 크게 좌우한다. 데이터 분석에 입문한다면 데이터 전처리를 위한 데이터 전처리 개념과 사용 도구, 주요 파일 형식, 정규 표현식 등 꼭 알아야 할 내용을 실습을 통해 쉽게 익힐 수 있다.
이 책에서 다루는 내용
■ 파이썬과 R로 CSV를 읽어 데이터의 통계량 출력하기
■ 데이터 형식과 API를 활용한 데이터 추출에 필요한 프로그래밍 구조 학습
■ 데이터 정리 과정에 필요한 정규 표현식의 효과적인 사용
■ 수치 데이터 분석에 필요한 도구와 패키지 탐색
■ 더 나은 데이터 구조 제어 방법 탐색
■ 프로그래밍 방식을 통한 데이터의 읽기, 검사, 수정, 형태 변경
■ 데이터셋을 불러오고 정제하고 출력하는 프로그램 작성
이 책의 대상 독자
데이터를 분석해보고 싶은 데이터 과학자, 데이터 분석가, 통계학자에게 유용한 책이다. R과 파이썬을 모두 다루기 때문에 큰 도움이 될 것이다
이 책의 구성
1장. '데이터 프로그래밍'에서는 데이터 처리 방법을 논의하고 이 책에서 다루는 내용을 개괄한다.
섹션 1. 데이터를 다루는 일반적인 프로그래밍 방법
2장. '파이썬 프로그래밍 소개'에서는 이 책에서 가장 많이 사용하는 프로그래밍 언어인 파이썬을 소개한다.
3장. '데이터 입력, 탐색, 수정: 1부'에서는 데이터를 처리하는 방법과 JSON 데이터 형식을 소개한다.
4장. '데이터 입력, 탐색, 수정: 2부'에서는 CSV와 XML 데이터 형식을 다룬다.
5장. '텍스트 데이터 처리: 정규 표현식 소개'에서는 정규 표현식을 이용해 주소로부터 도로명을 추출해본다.
섹션 2: 정형 데이터 처리
6장. '수치 데이터 정리: R과 RStudio 소개'에서는 R을 소개하고 RStudio를 이용해 수치 데이터를 정리하는 방법을 소개한다.
7장. 'dplyr을 이용한 데이터 처리 간소화'에서는 데이터를 강력하면서도 간단하게 다룰 수 있는 R의 dplyr 패키지를 소개한다.
섹션 3: 고급 데이터 입출력 방법
8장. '웹에서 데이터 수집하기'에서는 파이썬 API를 이용해 웹에서 데이터를 추출하는 방법을 다룬다.
9장. '대용량 데이터 처리'에서는 대용량 데이터 처리 시 발생할 수 있는 문제점을 논의하고 MongoDB를 이용해 대용량 데이터를 처리해본다.
목차
목차
- 1장. 데이터 프로그래밍
- 데이터 처리의 이해
- 데이터의 수집과 읽어오기
- 데이터 정리
- 데이터 형성 및 구조화
- 데이터 저장
- 데이터 처리 도구
- 파이썬
- R
- 요약
- 데이터 처리의 이해
- 2장. 파이썬 프로그래밍 소개
- 외부 리소스
- 이번 장 살펴보기
- 설치 요구 사항
- 다른 학습 리소스
- 파이썬 2와 파이썬 3의 차이점
- 파이썬에서 프로그램 실행
- 텍스트 편집기를 사용해 프로그램 작성 및 관리
- 터미널을 사용해 프로그램 실행
- 동작하지 않면 어떻게 해야 할까?
- 데이터 유형, 변수, 파이썬 셸
- 숫자: 정수와 실수
- 문자열
- 부울 데이터 형식
- print 함수
- 변수
- 배열(파이썬에서의 리스트)
- 사전
- 복합문
- 복합문 문법과 들여쓰기 수준
- for문과 이터러블
- if문
- 함수
- 프로그램에서 주석 달기
- 프로그래머 리소스
- 공식 문서
- 온라인 포럼과 메일링 리스트
- 요약
- 3장. 데이터 입력, 탐색, 수정: 1부
- 외부 리소스
- 이번 장 살펴보기
- 설치 요구 사항
- 데이터
- 파일시스템 설정
- 기본 데이터 처리 작업 흐름 소개
- JSON 파일 형식 소개
- 파이썬의 파일 I/O를 이용한 파일 열기와 닫기
- open 함수와 파일 객체
- 파일 구조: 데이터 저장을 위한 좋은 방법
- 파일 열기
- 파일 내용 읽기
- 파이썬 모듈
- json 모듈을 이용한 JSON 파일 파싱
- 데이터 파일의 내용 탐색
- 데이터의 주요 내용 추출
- 데이터상의 모든 변수 출력
- 데이터셋 수정
- 원본 데이터셋에서 데이터 변수 추출
- 수정된 데이터를 새 파일에 기록
- 터미널에서 입출력 파일명 지정
- 터미널에서 파일명 지정
- 요약
- 4장. 데이터 입력, 탐색, 수정: 2부
- 이번 장 살펴보기
- 파일시스템 설정
- 데이터
- pandas 설치
- CSV 형식 이해
- csv 모듈 소개
- CSV 데이터를 읽고 처리하기 위해 csv 모듈 사용
- CSV 데이터 기록을 위한 csv 모듈 사용
- 데이터를 읽고 처리하기 위해 pandas 모듈 사용
- 2011년 총 도로 길이 다시 계산
- 비표준 CSV 인코딩과 다이얼렉트 처리
- XML 이해
- XML과 JSON 비교
- XML 데이터 파싱을 위한 xmletreeElementTree 모듈 사용
- Xpath
- 요약
- 이번 장 살펴보기
- 5장. 텍스트 데이터 처리: 정규 표현식 소개
- 이번 장 살펴보기
- 데이터
- 파일 구조 설정
- 패턴 인식의 필요성
- 정규 표현식 소개
- 정규 표현식 작성
- 특수 문자
- 공백 문자 탐색
- 시작 문자 탐색
- 종료 문자 탐색
- 문자 또는 숫자의 범위 탐색
- 여러 패턴의 탐색
- 하나의 문자가 아닌 문자열 시퀀스 탐색
- 패턴 결합
- 문자열로부터 패턴 추출
- 정규 표현식의 split() 함수
- 파이썬 정규 표현식 문서
- 패턴 탐색
- 패턴 정량화
- 도로명 주소를 탐색하는 정규 표현식 작성
- 탐색 횟수 측정
- 탐색 정확도 검증
- 패턴 추출
- 출력 결과 파일 저장
- 요약
- 이번 장 살펴보기
- 6장. 수치 데이터 정리: R과 RStudio 소개
- 이번 장 살펴보기
- 데이터
- 디렉터리 구조
- R과 Rstudio 설치
- R과 RStudio 소개
- RStudio 연습
- R 명령어 실행
- 작업 디렉터리 지정
- 데이터 불러오기
- R 데이터프레임
- R 벡터
- R 데이터프레임 인덱싱
- R을 활용한 2001년 데이터 분석
- 기본적인 이상치 탐지 및 제거
- NA 값 처리
- 결측치 제거
- 결측치를 상수로 대체
- 결측치 대체
- 변수명과 내용
- 요약
- 이번 장 살펴보기
- 7장. dplyr을 이용한 데이터 처리 간소화
- 이번 장 살펴보기
- 데이터
- 파일시스템 구성
- dplyr 및 tibble 패키지 설치
- dplyr 소개
- dplyr 시작하기
- 명령어 체인 사용
- 데이터프레임의 행 필터링
- 항목별로 데이터 요약하기
- dplyr을 이용한 코드 재작성
- 요약
- 이번 장 살펴보기
- 8장. 웹에서 데이터 수집하기
- 이번 장 살펴보기
- 파일시스템 설정
- requests 모듈 설치
- 인터넷 연결
- API 소개
- API를 통해 파이썬으로 데이터 추출하기
- 결과 필터링을 위한 URL 파라미터 사용
- 요약
- 이번 장 살펴보기
- 9장. 대용량 데이터 처리
- 이번 장 살펴보기
- 시스템 요구 사항
- 데이터
- 파일시스템 설정
- MongoDB 설치
- 시간 계획
- 정리
- 컴퓨터 메모리 이해
- 데이터베이스 이해
- MongoDB 소개
- 파이썬에서 MongoDB 사용하기
- 요약
- 이번 장 살펴보기