머신러닝의 원론과도 같은 책이다. 저자 케빈 머피는 브리티시컬럼비아대학교(University of British Columbia)에서 교수로 재직한 후 구글 딥마인드에서 팀을 이끌고 있는 저명한 학자로, 그의 머신러닝 관련 저서는 많은 독자에게 널리 사랑받아 왔다. 이 책은 딥러닝 뿐만 아니라 머신러닝 학습을 위한 기초적인 수학적 토대 및 다양한 방법론을 폭넓게 다루고 있으며, 머신러닝 학습에 깊이를 더하고자 하는 독자들에게 최고의 선택이 될 것이다.

“딥러닝 혁명은 지난 수십 년간 머신러닝 분야를 변화시켰다. 이는 뇌가 학습하는 방법을 모방하려는 시도에서 비롯됐지만, 통계학, 정보이론, 결정이론, 최적화의 기본적인 원칙을 기반으로 한다. 이 책은 이러한 원칙을 탁월하게 설명하며, 이를 활용하는 수많은 ‘전통적인’ 머신러닝 방법론을 설명한다. 또한 같은 원칙이 어떻게 수많은 특성 층을 갖는 딥러닝 시스템에도 적용되는지 보여준다. 이는 서로 다른, 오래되거나 새로운 ML 접근법 사이의 관계 및 반대급부를 이해할 수 있게 해주는 일관적인 프레임워크를 제공한다.”

나는 2012년에 1200페이지짜리 책 『Machine Learning: A Probabilistic Perspective』(The MIT Press, 2012)을 펴냈다. 당시에 머신러닝 분야를 확률적 모델링이라는 통일적인 렌즈하에서 꽤 폭넓게 다뤘던 이 책은 2013년에 드 그루트 상(De Groot Prize)을 수상했다.
2012년은 또한 일반적으로 ‘딥러닝 혁명’이 시작된 해로 간주된다. ‘딥러닝’이라는 용어는 많은 층으로 된(따라서 ‘깊은(deep)’이란 용어를 사용함) 신경망을 기반으로 하는 ML의 한 분야를 뜻한다. 이 기본적인 기술은 수년간 존재해 왔지만, 심층 신경망(DNN)을 사용해 ImageNet 이미지 분류 대회에서 큰 차이로 이기면서 폭넓은 커뮤니티로부터 주목을 받은 것은 2012년이었다. 음성 인식 같은 어려운 문제와 관련된 발전이 동시에 나타났다. 이러한 변혁은 하드웨어 기술(특히 비디오 게임의 빠른 그래픽 처리 장치(GPU)의 용도를 ML로 바꾼 것), 데이터 컬렉션 기술(특히 ImageNet과 같은 거대한 라벨링된 데이터셋을 모으기 위해 아마존 메커니컬 터크(Amazon Mechanical Turk) 플랫폼 같은 크라우드 소싱 도구를 사용)은 물론, 다양한 새로운 알고리듬적 아이디어의 발전 덕분에 가능했다. 이들 알고리듬의 일부는 이 책에서 다룬다.
2012년 이후로 딥러닝 분야는 새로운 발전이 더욱 빠르게 나타나며 폭발적으로 커졌다. 기술의 상업적인 성공 및 적용 가능한 응용의 폭에 힘입어 이 분야에 대한 흥미 또한 폭증했다. 따라서 나는 2018년에 책의 두 번째 판을 저술하여 이러한 발전을 요약하기로 결정했다.
2020년 3월까지 두 번째 판의 초고는 1600페이지를 넘겼지만, 다루고자 하는 주제는 여전히 많이 남아 있었다. 그 결과 MIT Press는 책을 두 권으로 나눌 필요가 있다고 말했다. 그 뒤 COVID-19가 덮쳤다. 나는 책 저술에서 빠져나와 구글의 노출도 알림 앱을 위한 위험 점수 알고리듬의 개발을 돕고 다양한 예측 프로젝트를 지원하기로 결정했다. 그러나 2020년 가을에 책 작업으로 돌아가기로 결정했다.
잃어버린 시간을 벌충하기 위해 동료들에게 몇몇 절을 써서 내가 마칠 수 있도록 도움을 부탁했다. 이 모든 것의 결과는 새로운 두 권의 책, 여러분이 현재 읽고 있는 『확률론적 머신러닝: 기본편』, 그리고 이 책의 후속판인 『Probabilistic Machine Learning: Advanced Topics』이다. 이 두 책 모두 2012년에 사용했던 확률적 모델링과 베이즈 결정 이론의 동일한 통합 렌즈를 사용해 2021년경의 ML 분야를 폭넓게 제시하고자 한다.
2012년 책의 내용 대부분이 남아 있지만, 이제 이는 두 권의 새로운 책으로 꽤 비슷하게 나눠져 있다. 추가로, 각각의 새로운 책에는 딥러닝 주제 및 생성 모델, 변분 추론(variational inference)과 강화학습 같은 분야를 다루는 새로운 자료가 많이 담겨 있다.
이번 개론서의 내용이 더 충실하고 학생들에게 유용하도록, 최적화 및 선형대수와 같은 주제에 대한 배경지식을 추가했다. 이들은 2012년 책에서 공간 부족으로 인해 빠져 있었다. 개론 수준의 강좌에서 건너뛸 수 있는 고급 내용은 절이나 장 제목에 별표(*)로 표시했다. 연습문제는 몇몇 장의 끝에서 볼 수 있다. 자격 있는 강사는 MIT Press에 연락하여 별표로 표시한 연습문제의 해답을 얻을 수 있다. 다른 모든 연습문제의 해답은 온라인에서 찾을 수 있다. 추가적인 교육 자료(예: 그림과 슬라이드)는 책 웹사이트 probml.ai를 참고하라.
그 밖의 주요 변경사항으로, 모든 소프트웨어가 매트랩(Matlab) 대신 파이썬(Python)을 사용한다(이후에 줄리아(Julia) 버전의 코드를 만들 수도 있다). 새로운 코드는 넘파이(NumPy), 사이킷런(Scikit-learn), JAX, 파이토치(PyTorch), 텐서플로(TensorFlow), PyMC 같은 표준 파이썬 라이브러리를 포함한다.
그림의 캡션에 ‘iris_plot.ipynb로 생성했다’라고 되어 있다면, 해당 주피터 노트북은 robml.github.io/notebooks#iris_plot.ipynb에서 찾을 수 있다. 노트북 리스트에서 링크를 클릭하면 구글 코랩(Google Colab)에서 이를 열 것이다. 이는 여러분 스스로 그림을 쉽게 다시 만들고, 하부 소스 코드를 수정하여 방법에 대한 더 깊은 이해를 얻게 해줄 것이다(코랩은 무료 GPU에 접근할 수 있게 해주므로, 연산적으로 무거운 몇몇 데모에서 유용하다).

케빈 머피(Kevin P. Murphy)

아일랜드에서 태어났지만 영국에서 자란 케빈 머피는 케임브리지대학교 학사, 펜실베이니아대학교 공학 석사, 버클리대학교 박사를 취득했다. MIT에서의 박사후 과정을 마치고, 2004년부터 2012년까지 캐나다 밴쿠버 브리티시컬럼비아대학교의 컴퓨터과학 및 통계학 부교수로 지냈다. 테뉴어(tenure)를 얻은 뒤, 캘리포니아에 있는 구글에서 안식년을 보냈으며 그곳에서 머물기로 결정했다. 현재 구글 딥마인드에서 생성 모델, 강화학습, 베이즈 추론, 최적화, 로버스트성 및 여러 주제에 대해 연구하고 있는, 26명의 연구자와 엔지니어가 있는 팀을 이끌고 있다. 케빈은 콘퍼런스와 저널에 136개의 논문을 발표했으며, MIT 출판을 통해 2012년, 2022년, 2023년에 머신러닝을 다룬 교재 세 권을 저술했다(2012년 책은 DeGroot 상을 수상하며 통계적 과학 분야에서 가장 우수한 책으로 선정됐다). 또한 2014~2017년 동안 머신러닝연구저널(JMLR)의 (공동) 편집자로 일했다.

머신러닝 학습을 막 시작하신 여러분을 환영합니다. 이 자리를 빌려, 이 책으로 머신러닝을 배우고자 하는 독자분들에게 역자의 입장에서 전해드리고 싶었던 말을 간단히 쓰고자 합니다.

이 책에 대해
저자인 케빈 머피는 머신러닝 분야의 저명한 학자로, 그가 저술한 서적들은 독자들에게 많은 사랑을 받고 있습니다. 특히 이 책의 원서는 『통계학으로 배우는 머신러닝 2/e』(에이콘, 2020), 『패턴 인식과 머신 러닝』(제이펍, 2018)과 함께 머신러닝 이론서로서 널리 읽히고 있습니다.

이 책은 딥러닝만을 위한 책이 아닙니다
이 책도 딥러닝의 주요 알고리듬에 대해 상당한 분량을 할애하여 다루고 있지만, 이와 더불어 방대한 머신러닝 분야에 대한 내용을 폭넓게 다루고 있습니다. 딥러닝을 빠르게 학습하고 싶은 분들이라면 『딥러닝 초보자를 위한 엔비디아 가이드북』(에이콘출판, 2023)과 같은 책을 보시는 것도 좋을 것 같습니다. 하지만 머신러닝 전반에 대한 내공과 이해도를 키우고자 하는 분들이라면 이 책이 탁월한 선택이 될 것이라고 생각합니다.

요구되는 수학적 기반 지식 및 학습 방법
많은 사람이 수학이라는 장벽에 부딪혀 머신러닝 학습을 포기하는 것 같습니다. 저 또한 포기하지 않기 위해 노력하고 있는 한 사람의 학습자로서, 개인적으로 이상적이라고 생각하는 학습 경로에 대해 써보겠습니다.
왜 원서 제목이 ‘확률적인(probabilistic)’ 머신러닝일까요? 결국 머신러닝이란 어떠한 현상의 확률적 모델링을 위한 도구가 아닐까 생각해 봅니다. 그리고 이를 이해하고 잘해내기 위해서는 기본적으로 미적분학, 선형대수학, 확률론, 통계학 등에 대한 어느 정도의 지식이 필요할 것입니다. 학습을 이어가다 보면 이들 간의 경계가 모호해지지만, 일단 구분해 보자면 그렇습니다. 특히 미적분은 다변수 미적분, 선형대수는 행렬 분해 및 행렬미적분, 통계학에서는 기본적 이론 및 베이즈 통계를 미리 학습한 경험이 있다면 많은 도움이 될 수 있습니다.
하지만 이러한 주제를 완벽하게 학습하고 나서 머신러닝에 대해 공부하려 하기보다는, 어느 정도 배경지식을 갖추고 이 책을 읽어보면서 부족한 부분은 유튜브 등 다양한 경로를 통해 꾸준히 학습하는 것도 좋은 방법이 될 수 있습니다. 긴 호흡을 가지고 꾸준히 학습을 이어나가는 마음가짐이 중요하다고 생각합니다.

이판호

성균관대학교 통계학과를 졸업했으며, 한국 및 싱가포르에서 주로 금융업 및 소프트웨어 개발 분야에 종사했다. 머신러닝의 이론적 이해 및 금융 데이터 응용에 관심이 많다. 에이콘출판사에서 펴낸 『스칼라와 머신러닝』(2018), 『통계학으로 배우는 머신러닝』(2021), 『딥러닝 초보자를 위한 엔비디아 가이드북』(2023) 등을 번역했다. 현재는 국내에서 보안 솔루션의 엔지니어로서 많은 영어 화상회의를 하며 일하고 있다.