이 책은 알파고와 시리, 자율주행 자동차 등의 시스템을 구축할 때 기초가 될 수 있는 각종 데이터 처리 방법과 비감독 학습, 베이지안 분석, 회귀와 정규화, 은닉 마코프 모델, SVM, 인공 뉴럴 네트워크, 유전자 알고리즘, 강화 학습 등의 기계 학습 알고리즘의 수학적 모델을 설명하고, 스파크 등의 빅데이터 시스템에서 쓰이고 있는 스칼라 언어를 통해 구현한다. 또한 실제 미국 증시와 외환 시장에서 가져온 각종 금융 데이터에 각 기계 학습 알고리즘을 적용하면서 알고리즘들의 장단점과 한계 등을 설명한다. 독자들은 스칼라를 활용해 규모 확장성이 있는 기계 학습 시스템을 작성하고, 자신의 필요에 맞는 기계 학습 알고리즘을 평가하고 선택할 수 있는 방법을 배울 수 있다.

■ 과학기술 계산을 위한 동적인 워크플로우를 만드는 방법
■ 오픈소스 라이브러리를 활용해 시계열 데이터에서 패턴을 추출하는 방법
■ 분류, 군집화, 진화 알고리즘을 작성하는 방법
■ 상대적인 성능 튜닝을 수행하는 방법과 스파크에 대한 평가
■ 순차적 데이터에 대한 확률 모델
■ 정규화나 커널화 등의 고급 기법을 활용한 실험
■ 스칼라 병렬 컬렉션, 아카 액터, 아파치 스파크 클러스터 등을 활용해 빅데이터 문제를 푸는 방법
■ 금융시장에 대한 기술적 분석에 핵심 기계 학습 전략 적용

이 책은 어떻게 기계 학습 알고리즘을 구현하고, 검증하고, 응용할 수 있는지 배우고 싶어 하는 스칼라 프로그래밍에 경험이 있는 소프트웨어 개발자가 주 대상이다.
함수 프로그래밍에 대해 살펴보거나 스칼라를 활용해 기존 애플리케이션의 규모 확장성을 개선하고자 하는 데이터 과학자에게도 도움이 될 것이다.
이 책은 금융시장에 대한 기술 분석을 활용해 직접 짜면서 비교해볼 수 있는 연습 문제를 제공하는 자습서로 고안됐다.

1장, ‘시작하며’에서는 통계 분석, 자동 분류, 회귀분석, 예측, 클러스터링, 최적화의 기본 개념을 소개한다. 스칼라 언어 특징과 라이브러리를 간단한 애플리케이션 구현과 함께 다룬다.

2장, ‘Hello World!’에서는 전형적인 자동 분류 워크플로우를 설명하고, 편향/분산(bias/variance)의 트레이드 오프(trade-off) 관계, 스칼라 의존성 삽입을 활용한 검증 방법을 금융시장 분석에 응용해 살펴본다.

3장, ‘데이터 전처리’에서는 시계열 분석에 대해 다루며, 스칼라를 활용해 데이터 전처리를 구현하고 이동 평균과 같은 평활 기법, 이산 푸리에 변환, 그리고 칼만 재귀 필터 등을 어떻게 간편하게 구현할 수 있는지 살펴본다.

4장, ‘비감독 학습’에서는 가장 널리 활용되는 클러스터링 기법인 K-평균법, 기대값 최대화(EM, Expectation Maximization) 구현, 차원 축소 방법인 주성분 분석에 대해 주로 살펴본다.

5장, ‘나이브 베이즈 분류기’에서는 확률 그래프 모델을 소개하고, 나이브 베이즈 분류기와 다변량 베르누이 분류기를 어떻게 구현하는지 텍스트마이닝 관점에서 살펴본다.

6장, ‘회귀분석과 정규화’에서는 전형적인 선형 회귀와 최소 제곱법 회귀, 릿지 회귀와 정규화 기법에 대해 다루고, 마지막으로 로지스틱 회귀에 대해 살펴본다.

7장, ‘순차적 데이터 모델’에서는 마르코프 프로세스를 은닉 마르코프 모델 구현 전체 과정과 함께 살펴보고, 금융시장 데이터에 대한 패턴 인식 과정에 응용해본 조건부 임의 필드(conditional random field) 기법에 대해서도 살펴본다.

8장, ‘커널 모델과 서포트 벡터 머신’에서는 커널 함수의 개념과 지지 벡터 머신 분류기 및 회귀분석 구현 방법을 살펴보고, 이진 SVM 분류기를 활용한 이상 탐지 방법도 살펴본다.

9장, ‘인공 뉴럴 네트워크’에서는 앞먹임(feed-forward) 신경망과 다층 퍼셉트론(multilayer perceptron) 분류기 구현 방법을 살펴본다.

10장, ‘유전자 알고리즘’에서는 진화 컴퓨팅의 기초를 다루며, 다목적 유전자 알고리즘 구성 요소 각각의 구현에 대해서 살펴본다.

11장, ‘강화 학습’에서는 강화 학습 개념을 소개하고, Q-학습 알고리즘 구현 방법을 학습 기반 분류 시스템을 구축하기 위한 템플릿과 함께 살펴본다.

12, ‘확장 가능한 프레임워크’에서는 기계 학습에서 규모 확장성이 있는 애플리케이션을 개발하기 위한 아티팩트와 프레임워크를 다룬다. 이를 통해 스칼라 병렬 컬렉션, 아카(Akka), 아파치 스파크(Spark) 프레임워크 등을 살펴볼 것이다.

부록 A, ‘기본 개념’에서는 이 책 전체에 쓰인 스칼라 구문, 선형대수 요소에 대해 다루고, 투자와 트레이딩 전략에 대해서도 간단히 소개한다.

부록 B, ‘참고 문헌’은 각 장에서 참고했던 문헌의 목록을 제공한다.

하루라도 빅데이터에 대해 듣지 않고 그냥 지나가는 날이 없다. 뉴스 미디어, 기술 컨퍼런스, 심지어는 커피숍에서도 말이다. 프로세스 모니터링, 리서치 또는 단순한 인간 행동으로부터 수집되는 데이터양은 계속 증가하고 있지만, 이로부터 지식을 이끌어내야만 가치를 얻을 수 있다. 기계 학습은 데이터로부터 황금(지식)을 캐내는 데 있어 필수적인 도구다.
이 책은 ‘기계 학습이 무엇이고’, ‘왜 스칼라를 선택했으며’, ‘어떻게 활용하는지’에 대해 다룬다.

■ 기계 학습의 목적 및 수학적 기초는 무엇인가?
■ 기계 학습 알고리즘 구현에 스칼라가 왜 이상적인 프로그래밍 언어인가?
■ 실제 문제 해결에 어떻게 기계 학습을 활용할 수 있을까?

이 책 전체에 걸쳐 기계 학습 알고리즘을 다이어그램, 수학 수식, 주석 달린 스칼라 코드 조각을 통해 설명할 것이며, 이를 통해 핵심 개념을 여러분 각자의 방식으로 이해하도록 도울 것이다.

패트릭 니콜라스(Patrick R. Nicolas)

캘리포니아 산타클라라에 있는 델(Dell)의 수석 R&D 엔지니어다. 소프트웨어 공학 분야에서 25년간 활동하며 C++, 자바, 스칼라를 활용한 대규모 애플리케이션을 구축했으며, 프로젝트 관리자 역할을 수행해왔다. 관심 분야는 실시간 분석, 모델링, 최적화 기법이다.

90년대 중반 AI 과목을 대학에서 들을 때만 해도 언제쯤 되야 컴퓨터가 바둑에서 인간을 이길 수 있을지 모르겠다는 이야기를 들었지만, 알파고가 이세돌 사범을 이기면서, 입신의 경지에 이른 기사들이 "알사범"이라고 알파고를 부르는 것을 직접 목도한 것이 불과 몇 개월 전이다. 인간의 모든 인지 사고 능력을 발휘하는 강 인공지능(Strong AI)까지는 아직 거리가 있을지 모르지만, 적어도 특정 분야에서 전문가와 비슷하거나 그 이상의 성능을 발휘하는 약 인공지능(Weak AI) 프로그램은 알파고와 같은 게임이나, 자동 주행 자동차, 각종 이미지 인식, 시리(Siri)와 같은 시스템, 전문가 시스템 등등 우리 삶의 곳곳에서 널리, 깊이 쓰이고 있다.
이런 변화에는 병렬 처리 기술과 딥러닝 등의 발달이 큰 역할을 했다. 또한, 이런 기계 학습 기법과 빅데이터의 방대한 데이터 처리 능력을 결합하면 이전에는 제공하지 못했던 가치있는 정보를 제공할 수 있고, 다양한 범위에서 사람들을 이롭게 할 수 있을 것이다. 이런 변화의 물결에 올라타기 위한 가장 좋은 도구 중 하나가 스칼라다. 스칼라를 활용하면 기존의 방대한 자바 에코시스템을 그대로 활용할 수 있으면서, 최근 빅데이터 처리의 킬러 앱 중 하나인 스파크(Spark)을 통해 큰 데이터를 쉽게 처리할 수 있다. 또한 스파크를 기반으로 요즘 활발하게 개발 중인 여러 기계 학습 알고리즘 라이브러리를 활용할 수도 있다.
이 책은 스칼라를 기계 학습에 활용하고 싶은 독자들에게 좋은 안내서가 될 것이다. 스칼라를 활용한 데이터 처리 기법이나 스파크에 대한 간략한 소개를 통해 기계 학습에 스칼라를 활용할 때 사용할 수 있는 기본적인 도구를 갖출 수 있다. 또한, 데이터 전처리, 비감독 학습, 베이지안 분석, 회귀와 정규화, 은닉 마코프 모델, SVM, 인공 뉴럴 네트워크, 유전자 알고리즘, 강화 학습 등의 수학적인 기초와 스칼라 구현 방법을 소개하며, 그 구현을 활용해 실제 금용 데이터의 트렌드를 어떻게 분석하는지를 보여줌으로써 실제 어떤 식으로 각종 알고리즘을 적용할 수 있고 각각의 장단점은 무엇인지를 배울 수 있다. 아무쪼록 이 책이 스칼라를 기계 학습에 활용하려고 마음먹은 여러 독자들에게 좋은 출발점이 되기를 바란다.

오현석

KAIST에서 전산학 학사와 석사 학위(프로그래밍 언어 연구실)를 취득했다. 삼성메디슨, 비트앤펄스 등에서 UI 개발자와 개발 팀장을 지냈고, 호주에서 프리랜서 C++/풀스택 개발자로 일하고 있다. 웹이나 모바일 등의 분야에서 값 중심의 프로그래밍을 통해 오류 발생 가능성이 더 적으면서 유지보수가 편한 프로그램을 작성하는 방법과 이를 지원하는 여러 도구를 만드는 일에 관심이 많다. 최근에는 스칼라와 파이썬을 사용한 대규모 병렬 처리나 액터를 활용한 분산 처리 등을 공부하는 중이다. 『Programming in Scala (Second Edition) 한국어판』(에이콘, 2014), 『스칼라 동시성 프로그래밍』(에이콘, 2016), 『시스템 성능 분석과 최적화』(위키북스, 2015), 『프로그래밍 스칼라』(한빛미디어, 2016) 등을 번역했다.