머신 러닝은 데이터에 숨겨진 공통된 특징, 즉 패턴을 찾아내고 지속적으로 개선할 수 있도록 컴퓨팅 머신을 학습시키는 과정이라고 할 수 있다. 이 책에서는 이러한 머신 러닝 알고리즘에 테스트 주도형 개발 기법을 어떻게 적용할 수 있는지 단계별로 상세하게 설명한다. 우선 테스트 주도형 개발(TDD) 기법의 기본 개념을 이해하고, 이를 다양한 머신 러닝 기술에 적용한다. 예를 들면, 분석 모델 성능의 정량적 분석, 신경망 기법, 회귀분석을 이용한 예측 분석, 로지스틱 회귀분석을 이용한 회귀분석 기법 구현 등을 다룬다. 후반부에서는 나이브 베이즈 분류분석에 대한 다양한 접근 방법에 대해서도 학습한다. 끝으로, 이 책에서 다룬 다중 회귀분석 예제와 분류분석기를 통합해 마케팅 분야에 활용 가능한 알고리즘을 어떻게 개발하는지도 알아본다.

■ 테스트 주도형 개발(TDD) 방법 소개와 머신 러닝 개념에 TDD 적용 방법

■ 계획대로 동작하는 형태의 신경망 알고리즘 구현과 테스트

■ 분석 모델의 특이한 실행 동작 관련 테스트 케이스

■ 불확실성 속에서 최적의 결정을 이끌어내는 multi-armed bandit 알고리즘

■ 테스트 내에 구현되어 다양한 테스트 케이스 제작이 가능한 데이터 생성 방법

■ 외부 라이브러리 사용 시에도 가능한 분석 모델의 단계적 개발 방법

■ 신속한 반복 시도와 협업을 위한 분석 모델 성능의 정량적 분석

■ 일반적인 머신 러닝 알고리즘에 대한 좀 더 쉬운 접근법

■ 테스트 의도를 명확히 하기 위한 프로그램 실행동작 주도형 개발(BDD)의 원칙과 적용

이 책은 자신이 구현한 알고리즘을 어떻게 개선할 것인지를 독자적으로, 또 자동화된 방식으로 테스트하고 싶어하는 머신 러닝 전문가에게 적합하다. 테스트 주도형 개발을 시작하려는 데이터 사이언티스트에게도 유용할 것이다. 다만 테스트 주도형 개발 기법의 최신 내용을 배우고자 하는 독자에게는 추천하지 않는다. 이 책은 대부분 테스트 주도형 개발에서 매우 간단하게 배울 수 있는 내용들로 구성되었기 때문이다. 폭넓은 독자층에 맞게 상대적으로 쉬운 접근법을 다룬다.

1장, ‘테스트 주도형 머신 러닝의 소개’에서는 테스트 주도형 개발(TDD)이 무엇인지, 실제로 어떻게 생겼는지, 어떻게 수행되는지에 대해 설명한다.

2장, ‘퍼셉트론(Perceptron)의 개념 기반 테스트’에서는 간단한 버전에서 시작해 퍼셉트론을 개발한다. 퍼셉트론이 비결정적(non-deterministic) 형태로 동작하는 특성을 지녔지만, 테스트가 가능하도록 알고리즘 실행동작(behavior)에 대한 정의도 작성한다.

3장, ‘Multi-armed bandit 알고리즘을 이용한 문제 해결’에서는 multi-armed bandit 문제와 여러 가지 알고리즘의 테스트, 반복 수행에 따른 성능의 변화 등을 알아본다.

4장, ‘회귀분석을 이용한 예측’에서는 statsmodels를 사용해 회귀분석을 구현하고, 주요 성능 지표에 대해 알아본다. 분석 모델 튜닝에 대해서도 학습한다.

5장, ‘로지스틱 회귀분석을 이용한 ‘흑과 백’의 판단 결정’에서는 앞 장에 이어 회귀분석에 대해 살펴보고, 여러 가지 타입으로 성능 측정을 정량화하는 방법에 대해 알아본다. 이 장에서도 회귀분석 모델을 개발하기 위해 statmodels를 사용한다.

6장, ‘나이브 베이즈’에서는 테스트 주도형 개발 기법을 이용해 간단한 개념으로부터 가우시안 나이브 베이즈(Gaussian Naive Bayes) 알고리즘을 어떻게 개발하는지 알아본다.

7장, ‘알고리즘 선택을 통한 최적화’에서는 6장에 이어 추가 사항을 계속 알아본다. 그리고 새로운 알고리즘인 랜덤 포레스트(Random Forests)를 적용해 이 결과를 향상시킬 수 있는지 살펴본다.

8장, ‘테스트 주도형 기반 scikit-learn 학습’에서는 스스로 학습하는 방법에 대해 알아본다. 여러분은 이미 이와 관련한 많은 경험이 있을 거라고 본다. 이 장에서는 scikit-learn 문서에 대해 테스트 프레임워크를 사용하는 법을 학습하고 이를 기반으로 구현해본다.

9장, ‘전체 통합 작업’에서는 여러 가지 다양한 알고리즘이 필요한 비즈니스 문제를 다룬다. 간단한 개념에서 출발해 우리가 필요한 모든 것을 개발하고, 외부 라이브러리와 우리가 구현한 코드를 통합한다. 이 모든 작업을 테스트 주도형으로 진행한다.

본문에 쓰인 컬러 이미지는 여기에서 내려 받으세요.

머신 러닝(Machine Learning)의 주요 목표 중 하나는 분석 모델의 성능이 일관성을 가지면서도 성능이 꾸준히 개선되도록 하는 것이다. 여러분은 아주 간단한 아이디어를 생각해낸 후 이를 실제 알고리즘으로 구현까지 해낸 경험이 있을 것이다. 필요한 경우 라이브러리를 쓰기도 하면서 말이다. 새로운 알고리즘을 사용하기 위해서는 관련 옵션도 써야 하고, 성능도 향상시켜야 한다. 이와 동시에, 성능이 저하되지 않도록 하는 방법도 알아야 한다.
확률기반 알고리즘(stochastic algorithm)을 테스트하는 것이 어떻게 보면 불가능한 것처럼 보이므로, 모든 변경사항을 전문가에게 물어보는 것도 한 방법일 수 있다. 하지만 이렇게 하면 말 그대로 너무 느리다는 문제가 있다. 알고리즘을 업데이트했을 때 이전보다 성능이 더 좋아졌는지 자동으로 확인할 수는 없을까? 기존 알고리즘을 다른 라이브러리에 있는 임의의 알고리즘으로 바꾸거나, 여러분이 구현한 것에 대해 더 깊이 있게 연구할 수 있도록 코드를 설계하려면 어떻게 하면 될까? 이것이 이 책을 쓰게 된 이유다.
이 책에서 우리는 테스트 주도형 개발(TDD, Test-Driven Development)이 무엇인지, 머신 러닝에서 이것이 어떤 가치를 지니는지 알아볼 것이다. 테스트 개발을 위해 파이썬 2.7의 nosetests 라이브러리를 사용한다. 머신 러닝 알고리즘을 위해 statsmodels와 scikit-learn 라이브러리를 사용한다. statsmodels는 회귀분석(regression) 구현에 매우 유용하다. scikit-learn 라이브러리는 여러 가지 분류분석(classification) 알고리즘에 사용될 것이다.

저스틴 보조니어(Justin Bozonier)

데이터 사이언티스트로, 시카고에 살고 있다. 현재, 그럽허브(GrubHub)에서 시니어 데이터 사이언티스트로 일하고 있다. 소비자 분석 플랫폼 개발을 리드했으며, 베이지안 통계분석 기법(Bayesian statistics)을 활용하는 실시간 스플릿 테스트(split test) 분석 플랫폼 개발도 이끌었다. 또한 데이터 마이닝과 소프트웨어 제품 고도화 프로토타입을 위한 여러 가지 머신 러닝 분석 모델도 개발했다. 그는 『Parallel Programming with Microsoft(r) .NET』과 『Flow-Based Programming, Second Edition』 책에서 소프트웨어 개발 전문 지식을 습득했다. 또한, 파이데이터(PyData)에서 열린 워크숍을 통해 ‘시뮬레이션을 통해 단순화된 통계학(Simplified Statistics through Simulation)’이라는 주제로 강연하기도 했다.
그동안 밀리만(Milliman, Inc.)에서 보험통계분석 시스템 개발자를, 마이크로소프트에서 소프트웨어 개발 엔지니어 II(SDE II)를, 치즈버거 네트워크(Cheezburger Network)에서 시니어 데이터 분석가와 개발 팀장 등을 역임했다.

아마도 요즘 가장 인기 있는 분야를 꼽는다면 인공 지능, 머신 러닝일 것이다. 인공 지능 분야의 발전은 컴퓨터의 발전과 매우 밀접하다. 예를 들면, 제한된 컴퓨팅 성능을 극복하기 위해 알파-베타 프루닝(Alpha-Beta Pruning)과 같은 알고리즘이 연구되기도 했다. 또, 인공 신경망 기법의 경우 해결이 불가능한 상태였으나 ‘퍼셉트론(Perceptron)’이나 ‘오류역전파(backpropagation)’와 같은 기법이 나오면서 꾸준히 발전해왔다. 이러한 머신 러닝 및 인공 지능은 최근 클라우드 컴퓨팅 기술의 눈부신 발전에 힘입어 거의 무한대에 가까운 컴퓨팅 자원을 사용할 수 있게 되면서, 과거에 어려움을 겪었던 대용량 데이터 분석, 높은 계산 복잡도를 요구하는 문제 해결 등에서 큰 진전을 보이고 있다.
최근 빅데이터 분석에 대한 관심이 높아지면서, 여러 분야에서 앞다투어 데이터 분석 기법, 솔루션들을 도입하거나 자체 개발하려는 시도가 많이 나타나고 있다. 한 가지 기억할 점은 머신 러닝, 데이터 마이닝 분야의 알고리즘 대부분은 학습(learning)을 통해 ‘패턴(pattern)’이라는 분석 모델을 만들어낸다는 점이다. 이는 알고리즘 자체만 봤을 때는 기존의 소프트웨어 개발 방식과 잘 맞지 않을 수 있다. 하지만 대용량 데이터를 처리하고 분석하기 위한 대규모 소프트웨어를 개발할 경우, 정합성의 검증은 필수적으로 요구된다.
이 책은 머신 러닝 기법을 개발하는 데 소프트웨어 개발 기법 중 하나인 테스트 주도형 개발(TDD) 기법을 효과적으로 적용하는 방법에 대해 설명하고 있다. 불확실한 확률 계산 작업을 TDD 기법을 통해 단계별로 테스트를 성공시키면서 개발할 수 있는지에 대한 내용은 기존에는 볼 수 없었던 참신한 시도라고 생각한다. 이 책에서 소개하는 내용을 바탕으로 TDD를 이용해 꾸준히 알고리즘을 개발하면 매우 복잡한 성격의 머신 러닝 알고리즘도 체계적으로 구현해낼 수 있을 것이다.

남궁영환

고려대학교 컴퓨터학과(학사/석사)와 서던캘리포니아 대학(Univ. of Southern California)(석사)을 졸업하고, 플로리다 대학(Univ. of Florida)에서 데이터 마이닝을 주제로 컴퓨터공학 박사 학위를 취득했다. 삼성SDS 연구소에서 클라우드 컴퓨팅, 빅데이터 플랫폼, 데이터 사이언스와 관련된 다양한 최신 기술 연구/개발 과제를 수행했으며, 현재 아마존 웹 서비스(Amazon Web Services)에서 프로페셔널 서비스 빅데이터 컨설턴트(Professional Services Big Data Consultant)로 근무 중이다.