복잡하지 않게 한 권으로 딥러닝을 배우고 싶은 사람을 위한 딥러닝 입문서다. 엔비디아 딥러닝 연구소(NVIDIA Deep Learning Institute)의 딥러닝 가이드북을 번역한 이 책은 수식의 사용을 최대한 줄이면서, 딥러닝의 핵심 개념을 자세하게 설명하고 있어 딥러닝 입문자에게 적합하다. 또한 풍부하고 잘 짜인 파이썬 예제 코드는 학습의 폭을 넓히는 데 큰 도움이 될 것이다.

"모두가 역사적인 혁명에 참여할 수 있게 하려면, AI 지식과 자원의 민주화가 필요하다. 이 책은 이러한 담대한 목표를 달성하는 데 있어 시의적절하며 유의미하다."
— 아니마 아난드쿠마르 박사(Dr. Anima Anandkumar),
캘리포니아 공과대학교 명예교수,
엔비디아 머신러닝 리서치 디렉터

“에크먼이 우리의 경험에서 성공의 중추로 증명된 학습 기술을 사용한다는 점이 중요하다. 즉, 독자들에게 실제로 DL 기술을 사용하는 것에 대해 생각해보도록 묻는 것이다. 독자가 그들의 이해를 적용해보는 데 도움이 되도록, 단순하지만 강력한 코딩 예제와 연습문제가 책 전체에 걸쳐 제공되어 있다.”
— 크레이그 클로슨 박사(Dr. Craig Clawson),
엔비디아 딥러닝 연구소 디렉터

◆ 퍼셉트론, 기울기 기반 학습, 시그모이드 뉴런, 역전파 같은 핵심 개념을 탐색하고 마스터한다.
◆ DL 프레임워크가 어떻게 더욱 복잡하고 유용한 신경망의 개발을 쉽게 만들어주는지 알아본다.
◆ 합성곱 신경망(CNN)이 이미지 분류 및 분석에 가져온 혁명을 탐색해본다.
◆ 순환신경망(RNN)과 장단기 메모리(LSTM)를 텍스트 및 다른 가변 길이 시퀀스에 적용해본다.
◆ 시퀀스 투 시퀀스 및 트랜스포머 아키텍처로 NLP을 마스터한다.
◆ 자연어 번역 및 이미지 캡셔닝을 위한 애플리케이션을 구축한다.

1장, ‘로젠블랫 퍼셉트론’에서는 신경망의 기본 토대인 퍼셉트론을 소개한다.
2장, ‘기울기 기반 학습’에서는 경사 하강(gradient descent)이라 알려진 최적화 알고리듬 및 퍼셉트론 학습 알고리듬 이면의 이론을 설명한다.
3장, ‘시그모이드 뉴런과 역전파’에서는 DNN에서의 자동학습에 쓰이는 역전파 알고리듬을 수학적 용어 그리고 이진 분류를 위해 쓰인 프로그래밍 예제 모두를 통해 설명한다.
4장, ‘다중클래스 분류에 적용된 완전 연결 네트워크’에서는 데이터셋의 개념과 이들이 어떻게 훈련 집합과 테스트 집합으로 나뉘는지 설명한다.
5장, ‘DL을 향해: 프레임워크 및 네트워크 미조정’에서는 이전 장의 예제를 DL 프레임워크로 구현한다. 이 프레임워크가 코드를 어떻게 엄청나게 단순화하는지 그리고 네트워크의 여러 변형을 모델링하게 해주는지 보여준다.
6장, ‘회귀에 적용된 완전 연결 네트워크’에서는 이전 장에서 공부한 분류 문제 대신 수치를 예측하는 데 네트워크를 사용하는 방법을 공부한다. 7장, ‘이미지 분류에 적용된 합성곱 신경망’에서는 합성곱 신경망 혹은 그냥 합성곱 네트워크라 불리는, 2012년에 DL 붐을 시작시킨 네트워크의 한 가지 형태를 배운다.
8장, ‘더 깊은 CNN 및 사전 훈련된 모델’에서는 GoogLeNet, VGG, ResNet과 같은 더 깊은 CNN을 설명한다. 프로그래밍 예제로 사전 훈련된 ResNet 구현을 다운로드하고 이미지를 분류하는 방법을 배운다.
9장, ‘순환신경망으로 시간 시퀀스 예측하기’에서는 이전 장에서 설명한 네트워크의 한계와 관렪된 과제를 다루는 데 적합한 순환신경망(RNN, Recurrent Neural Network) 아키텍처를 설명한다.
10장, ‘장단기 메모리’에서는 RNN이 장기 의존성을 학습하지 못하게 하는 문제를 논의한다. 긴 시퀀스를 더 잘 다루게 해주는 장단기 메모리(LSTM, Long Short-Term Memory) 기법을 설명한다.
11장, ‘LSTM과 빔 검색으로 하는 텍스트 자동완성’에서는 장기 예측을 위한 LSTM 기반 RNN을 사용하는 방법을 살펴보고, 빔 검색(Beam Search)이라 알려진 개념을 소개한다.
12장, ‘신경 언어 모델과 단어 임베딩’에서는 이전 장의 예제는 단어 대신 개별 글자에 기반하는데, 많은 경우 단어 및 그 의미를 가지고 작업하는 것이 개별 글자로 작업하는 것보다 더욱 강력하다. 12장은 개념 언어 모델과 벡터 공간(임베딩 공간(embedding space)이라고도 함)에서의 단어 임베딩에 대해 소개한다.
13장, ‘word2vec과 GloVe로부터의 단어 임베딩’에서는 단어 임베딩을 만들기 위한 두 가지 인기 있는 기법을 논의한다.
14장, ‘시퀀스 투 시퀀스 네트워크와 자연어 번역’에서는 두 순환신경망의 조합인 시퀀스 투 시퀀스 네트워크(sequence-to-sequence network)라 알려진 네트워크를 소개한다.
15장, ‘어텐션과 트랜스포머’에서는 인코더-디코더 아키텍처의 정확도를 개선할 수 있는 어텐션attention이라 부르는 기법을 설명한다.
16장, ‘이미지 캡셔닝을 위한 일대다 네트워크’에서는 어떻게 일대다 네트워크를 사용해 이미지의 텍스트 설명을 만들고 이러한 네트워크를 어텐션으로 확장하는지 설명한다.
17장, ‘추가적인 주제 메들리’에서는 지금까지 주제가 서로에 기반하여 만들어지도록 구조화했다. 17장에서는 이전 장에 포함시킬 좋은 방법을 찾지 못했던 몇 가지 주제를 소개한다. 이러한 주제의 예제로는 오토인코더, 멀티모달 학습, 멀티태스크 학습, 신경 아키텍처 검색 등이다.
18장, ‘정리 및 다음 단계’에서는 마지막 18장에서는 이전 장에서 논의한 주제를 정리하고 요약해 여러분이 이 책에서 설명한 핵심 개념을 잘 이해하고 있는지 확인할 수 있는 기회를 제공한다.
부록 A, ‘선형 회귀와 선형 분류기’에서는 매우 기본적인 ML 주제를 설명하여 여러분이 제시된 몇몇 DL 개념이 어떻게 더욱 전통적인 ML 기법에 연관되어 있는지 알 수 있게 한다. 부록 A는 논리적으로 3장 다음이다.
부록 B, ‘물체 탐지와 세분화’에서는 한 이미지 내의 여러 물체를 탐지하고 분류하는 기법을 설명한다. 부록 B는 논리적으로 8장 다음이다.
부록 C, ‘word2vec 과GloVe 너머의 단어 임베딩’에서는 단어 임베딩을 위한 더욱 정교한 기법을 설명한다. 부록 C는 논리적으로 13장 다음이다.
부록 D, ‘GPT, BERT, RoBERTa’에서는 트랜스포머로부터 만들어지는 아키텍처를 설명한다. 이 네트워크 아키텍처는 많은 NLP 과제를 상당히 개선했다. 부록 D는 논리적으로 15장 다음이다.
부록 E, ‘뉴턴-랩슨 대 경사 하강’에서는 2장에서는 경사 하강이라 부르는 수학적 개념의 기법을 소개하는데, 부록 E는 뉴턴-랩슨(Newton-Raphson)이라 알려진 다른 방법 및 이것이 경사 하강과 어떻게 연관이 있는지 설명한다.
부록 F, ‘숫자 분류 네트워크의 행렬 구현’에서는 4장에는 파이썬 코드로 신경망을 구현하는 프로그래밍 예제가 포함되는데, 부록 F는 그 프로그래밍 예제의 최적화된 변형 두 가지를 설명한다.
부록 G, ‘합성곱 층을 수학적 합성곱과 연관시키기’에서는 7장에서는 합성곱 신경망을 설명하는데, 이들은 합성곱(convolution)이라 알려진 수학적 연산에 근거하며 이로부터 이름을 얻었다. 부록 G는 이와 같은 연결을 더 자세히 설명한다.
부록 H, ‘게이트 순환 유닛’에서는 10장에서는 장단기 메모리(LSTM)라 알려진 네트워크를 설명하는데, 부록 H에서 이 유닛의 더 단순한 버전인 게이트 순환 유닛(GRU, Gated Recurrent Unit)을 설명한다.
부록 I, ‘개발 환경 설정’에서는 개발 환경을 설정하는 방법에 대한 정보와 함께, 딥러닝 프레임워크를 설치하는 방법과 코드 예제를 어디에서 찾을 수 있는지도 알아본다. 또한 이 책의 코드 예제에 쓰인 두 가지 DL 프레임워크인 텐서플로와 파이토치의 주요 차이점을 간단하게 설명한다.
부록 J, ‘치트 시트’에서는 이 책에 실린 상당 부분의 내용을 요약하는 치트 시트 세트를 포함하고 있다.

딥러닝(DL, Deep Learning)은 빠르게 발전하고 있는 분야이며, 전통적으로 인간만이 수행할 수 있었던 과제를 수행하는 데 엄청난 결과를 보여왔다. 이러한 과제의 예시로는 이미지 분류, 이미지의 자연어 설명 생성, 자연어 번역, 음성-텍스트 변환 및 텍스트-음성 변환이 있다. 이 책은 이러한 주제를 빠르게 잘 알 수 있게 해준다. DL이 어떻게 동작하는지, 무엇을 할 수 있는지 가르쳐주며, 몇몇 실제적인 경험을 제공해 추가적인 학습을 위한 탄탄한 토대를 제공하는 것을 목표로 한다.
여러분은 퍼셉트론 및 다른 인공 신경에 대해 배우게 될 것이다. 이들은 심층신경망의 기본적인 토대로, DL 혁명을 가능케 했다. 그리고 완전 연결된 피드포워드 네트워크와 합성곱 네트워크에 대해 알아본다. 이러한 네트워크를 적용하여, 다수의 변수를 기반으로 하는 주택 가격을 예측하거나 이미지가 어떠한 범주에 속하는지와 같은 실제적인 문제를 푼다. 그림 P-1은 이러한 범주와 이미지의 예를 보여준다.
여러분은 또한 인코딩된 단어의 일부 의미를 포착하는 인코딩을 함께 사용해 자연어로부터 나온 단어를 나타내는 방법을 배울 것이다. 그 뒤 순환신경망으로 이 인코딩을 사용해 신경 기반 자연어 번역기를 만들 것이다. 이 번역기는 그림 P-2에서와 같이 단순한 문장을 영어에서 프랑스어로 아니면 다른 유사한 언어로 자동으로 번역해준다. 마지막으로, 여러분은 이미지와 언어 처리를 묶는 이미지 캡셔닝 네트워크를 어떻게 구축하는지 살펴볼 것이다. 이 네트워크는 이미지를 입력으로 받고 이미지의 자연어 설명을 자동으로 생성한다.
우리가 방금 설명한 것들이 이 책의 주요 내용이다. 이 여정을 통해 여러분은 그 밖의 많은 내용을 자세히 배울 것이다.

매그너스 에크만(Magnus Ekman)

NVIDIA의 아키텍처 디렉터다. 컴퓨터 엔지니어링 학위를 가졌으며 다수의 특허를 보유하고 있다. 1990년대 후반에 모국인 스웨덴에서 인공 신경망으로 처음 알려졌다. 그 뒤 몇몇 혁명적인 연산 분야에 손을 댄 뒤, 컴퓨터 아키텍처에 집중하며 아내 제니퍼, 아이들 세바스찬과 소피아, 애견 바벳과 함께 살고 있는 실리콘밸리로 이주했다. 이전에는 썬 마이크로시스템즈와 삼성 리서치 아메리카의 프로세서 디자인 및 R&D에서 일했으며, 두 회사를 시작하는 데 관여했고 그중 하나인 스카우트(Skout)는 더밋그룹(The Meet Group,Inc)이 인수했다. 현재는 NVIDIA에서 자율주행차부터 인공지능을 위한 데이터 센터에 이르기까지의 시장을 겨냥하는 칩의 CPU 성능과 전력 효율성을 연구하는 엔지니어링 팀을 이끌고 있다.
NVIDIA의 GPU 기술과 CUDA에 힘입어 과거 수년간 딥러닝 분야가 폭발적으로 커짐에 따라, 그는 컴퓨터 그래픽스를 넘어 확장하면서 DL 파워하우스가 되고 있는 회사의 가운데에 있는 자신을 발견했다. 이러한 여정의 일부로, 이 분야에서 가장 최근의 발전을 통해 자신을 최신의 상태로 유지하고자 노력했다. 에크먼은 스스로를 교육자라고 생각하고 있으며, 이 책을 집필하면서 AI에 대한 실제적인 훈련, 가속화된 연산 및 가속화된 데이터 과학을 제공하는 NVIDIA 딥러닝 연구소(DLI, Deep Learning Institute)와 협력했다. 또한 이 책을 자기 진도 온라인 과정의 기존 포트폴리오인 라이브 강사 주도 워크숍, 교육자 프로그램, 교습 도구에 추가하고자 하는 DLI의 계획에 매우 기뻐하고 있다.

딥러닝으로의 첫 여행을 시작하신 분들을 환영합니다. 또한 딥러닝 입문을 위해 이 책을 선택하신 여러분께 찬사를 보내 드립니다. 왜냐하면 여러분은 가장 탁월한 선택을 하셨기 때문입니다. 지금부터 수많은 딥러닝 책 중에서 왜 이 책이 좋은 선택이 될 수 있는지 말씀드리겠습니다.
딥러닝 기술이 발전하고 널리 보급됨으로 인한 장점 중 하나는, 예측 또는 그 비슷한 것을 무언가 부담스러운 과학의 관점에서 기술의 관점으로 바라보기가 더 쉬워졌다는 점이라고 생각합니다. 다르게 말하자면, 배경지식에 너무 신경 쓰지 말고 일단 데이터에서 유의미한 결과를 얻는 데 집중하게 되었다는 것입니다. 저자도 이 점에 대해 6장 마지막에 비슷한 의견을 표명하고는 있습니다. 하지만 초보자의 입장에서 보면, 수학에 대한 부담감은 잠시 내려놓고 자세한 설명으로 이론을 배우며 풍부한 예제 코드로 여러 가지를 시도해보면서 학습하는 것이 딥러닝을 배우는 좋은 방법이 될 수 있다고 생각합니다. 그리고 이 책은 이를 위한 좋은 시작점이라고 말씀드릴 수 있습니다.
이 책은 많은 수학적 지식이 필요하지 않습니다. 미적분에 대한 약간의 지식이 있는 것으로 충분합니다. 행렬대수학에 대해 조금 안다면 더욱 좋겠지만, 너무 걱정할 필요 없습니다. 이 책에서 별도로 잘 설명해주고 있기 때문입니다. 통계학이나 확률론이 익숙하지 않더라도 읽는 데 큰 문제는 없다고 생각합니다. 이 책은 수학 공식에 의존하기보다는, 말과 그림으로 자세히 설명하는 것을 시도합니다. 저도 번역하면서 어떻게 이렇게까지 자세히 설명해줄 수 있을까 하고 놀란 적이 한두 번이 아니었답니다. 이 책은 퍼셉트론에서 시작하여 DNN, CNN, RNN을 거쳐 비교적 최근 아키텍처인 트랜스포머에 이르기까지 주요 모델과 아키텍처를 차근차근 설명해줍니다(요즘 많이 회자되고 있는 ChatGPT는 트랜스포머 아키텍처를 기반으로 하고 있습니다).
이 책에서는 수학적 지식보다는 파이썬 활용이 중요하다고 할 수 있습니다. 물론 책을 읽기만 해도 배경지식을 얻는데 도움이 되겠지만, 이미지 분류 및 자연어 처리에 관해 잘 짜인 예제 코드를 직접 실행하고 실험해본다면 학습의 폭을 더욱 넓힐 수 있을 것입니다. 여러분의 딥러닝으로의 첫걸음에 응원을 보내면서, 이 책이 작게나마 도움이 되길 바랍니다.

이판호

성균관대학교 통계학과를 졸업했으며, 한국과 싱가포르에서 주로 금융 관련 분석 및 개발 업무에 종사했다. 머신러닝의 이론적 이해 및 금융 데이터로의 응용에 관심이 많다. 에이콘출판사에서 펴낸 『스칼라와 머신러닝』(2018), 『통계학으로 배우는 머신러닝』(2021) 등을 번역했다.