딥러닝에 관련된 거의 모든 최신 기술을 설명한다. 회귀부터 시작해, 딥러닝의 기초를 설명하고 컨볼루션 신경망, 순환 신경망, LTSM, 자연어 처리, 이미지 합성 등에 대한 최신 기술 동향을 알 수 있다. 특히 현재 활발히 연구 중인 AutoML 분야의 현황과 구글 클라우드를 이용한 AutoML 실습도 다루고 있다. 풍부한 예제를 통해 케라스가 완전 통합된 텐서플로 2.0의 사용 방법을 다양한 응용분야에 걸쳐 직접 구축해 볼 수 있다. GAN을 통한 필기체 숫자의 생성, RNN과 LTSM이 나오게 된 배경 및 어떤 문제를 해결하고자 했는지에 대한 배경 설명을 듣게 되면, 다양한 각도에서 딥러닝을 이해하게 될 것이다. 마지막 장에서는 최근 주목받고 있는 구글의 TPU가 기존 GPU 대비 얼마나 성능이 우수한지에 대한 설명도 볼 수 있다.

■ 텐서플로 2와 케라스 API를 사용해 머신러닝과 딥러닝 시스템 구축
■ 머신러닝에서 가장 보편적인 기법인 회귀분석
■ 컨볼루션 신경망의 이해와 이미지 분류에 딥러닝 시스템 적용
■ GAN을 사용해 기존 패턴에 적합한 새로운 데이터 생성
■ 시퀀스 일부가 다른 시퀀스를 해석해 입력 시퀀스를 처리할 수 있는 RNN
■ 자연어와 자연어 번역에 딥러닝을 적용해 적절한 반응 생성
■ 클라우드에서 모델을 훈련하고 실제 환경에 TF 적용
■ 구글 툴이 단순한 ML 워크플로우를 복잡한 모델링 없이도 자동화 하는 것을 탐색

머신러닝에 경험이 있는 데이터 과학자이거나 신경망을 알고 있는 AI 프로그래머라면 이 책이 텐서플로 2.0을 사용해 딥러닝을 다루는 유용한 진입점이 될 것이다. 딥러닝 쓰나미에 대한 관심을 키워가는 소프트웨어 엔지니어에게 지식을 넓힐 수 있는 기반이 될 것이다. 이 책을 읽으려면 파이썬 기본 지식이 필요하다.

이 책의 목적은 텐서플로 2.0의 특징과 라이브러리를 설명하고, 지도 및 비지도 머신러닝 모델의 개요를 제공하며, 딥러닝과 머신러닝 모델에 대한 포괄적인 분석을 제공하는 것이다. 클라우드, 모바일, 대규모 운영 환경에 대한 실사례가 책 전반에 걸쳐 제공된다.

1장, ‘텐서플로 2.0으로 신경망 구성’에서는 신경망을 단계별로 소개한다. 텐서플로 2의 tf.keras 계층을 사용해 간단한 신경망 모델을 만드는 방법을 배운다. 퍼셉트론, 다층 퍼셉트론, 활성화 함수와 밀집 신경망을 설명하고 마지막으로 역전파의 직관을 소개한다.
2장, ‘텐서플로 1.x와 2.x’에서는 텐서플로 1.x와 텐서플로 2.0 프로그래밍 모델을 비교한다. 텐서플로 1.x 하위레벨 계산 그래프 API를 사용하는 방법과 tf.keras 고급 API를 사용하는 방법을 학습한다. 즉시 계산(eager computation), 오토그래프(Autograph), tf.Datasets와 같은 새로운 기능과 분산 훈련을 설명한다. tf.keras와 추정기 사이의 간략한 비교와 함께 tf.keras와 케라스를 비교 설명한다.
3장, ‘회귀’에서는 가장 인기 있는 ML 기술인 회귀에 초점을 맞춘다. 텐서플로 2.0 추정기를 사용해 단순 및 다중 회귀 모형을 작성하는 방법을 배운다.
4장, ‘컨볼루션 신경망’에서는 컨볼루션 신경망(CNN, Convolutional Neural Networks) 및 이미지 처리의 응용을 소개한다. 텐서플로 2.0을 사용해 MNIST 데이터셋에서 필기체 문자를 인식하는 간단한 CNN을 작성하는 방법과 CIFAR 이미지를 분류하는 방법을 알아본다. 또한 VG6과 인셉션(Inception) 같은 사전 훈련된 신경망을 사용하는 방법을 살펴본다.
5장, ‘고급 컨볼루션 신경망’에서는 CNN을 이미지, 비디오, 오디오, 텍스트 처리에 적용하는 고급 응용 기법을 알아본다. 이미지 처리(전이학습(Transfer Learning), DeepDream), 음성 처리(WaveNet)와 텍스트 처리(감정 분석, 질문&답변(Q&A))을 예로 자세히 설명한다.
6장, ‘생성적 적대 신경망’에서는 최근에 발견된 생성적 적대 신경망(GAN, Generative Adversarial Networks)에 중점을 둔다. 먼저 최초로 제안된 GAN 모델을 살펴보고 MNIST 숫자를 만드는 데 사용한다. 심층 컨볼루션 GAN을 사용해 연예인 이미지를 만든다. 또한 SRGAN, InfoGAN, CycleGAN과 같은 다양한 GAN 아키텍처를 설명하고 GAN의 여러 응용 방법을 설명한다. 마지막으로 겨울-여름 이미지를 변환하고자 텐서플로 2.0에 구현된 CycleGAN을 사용하는 방법을 알아본다.
7장, ‘단어 임베딩’에서는 Word2vec과 GloVe라는 널리 알려진 두 가지 임베딩으로 워드 임베딩을 설명한다. 두 가지 임베딩의 핵심 아이디어와 이를 자신의 말뭉치(corpus)에서 생성하는 방법, 자연어 처리(NLP, Natural Language Processing)를 응용하고자 자신의 신경망에서 사용하는 방법을 다룬다. 그런 다음 단어 대신 문자 트라이그램(trigram)(fastText) 사용, 정적 임베딩을 신경망으로 대체해 단어 내용 유지(ELMO, Google Universal Sentence Encoder), 문장 임베딩(InferSent, SkipThoughts), 임베딩에 사전 훈련된 언어 모델 사용(ULMFit, BERT)과 같은 기본 임베딩 방법의 다양한 확장을 다룬다.
8장, ‘순환 신경망’에서는 순환 신경망(RNN, Recurrent Neural Networks)의 기본 아키텍처와 NLP 등에 있는 시퀀스 학습 작업에 어떻게 적합하게 사용되는지 설명한다. 여기에는 다양한 유형의 RNN, LSTM, 게이트 순환 신경망(GRU, Gated Recurrent Unit), GRU 핍홀(Peephole) LSTM과 양방향 LSTM 등이 있다. RNN을 언어 모델로 사용하는 방법은 좀 더 자세히 설명한다. 그런 다음 컴퓨터 변환에 처음 사용된 RNN 기반의 인코더-디코더 아키텍처의 일종인 seq2seq 모델을 다룬다. 그 후 어텐션(attention) 기법을 통해 seq2seq 아키텍처의 성능을 강화시키는 방법을 설명하고, 마지막으로 <주의력이>라는 논문에 기반을 둔 변환기(Transformer) 아키텍처(BERT, GPT-2)를 설명한다.
9장, ‘오토인코더’에서는 입력을 목표로 재생성하려는 신경망 부류인 오토인코더를 설명한다. 희소(sparse) 오토인코더, 컨볼루션 오토인코더, 노이즈 제거 오토인코더와 같은 다양한 종류의 오토인코더를 다룬다. 노이즈 제거 오토인코더를 훈련시켜 입력 이미지에서 노이즈를 제거한다. 오토인코더를 사용해 MNIST 숫자를 만드는 방법도 보여준다. 마지막으로 문장 벡터를 생성하고자 LSTM 오토인코더를 구축하는 단계도 다룬다.
10장, ‘비지도학습’에서는 비지도학습 모델을 알아본다. PCA, k-평균과 자체 구성(self-organized) 맵과 같은 군집화와 차원 축소에 필요한 기술을 소개한다. 텐서플로를 사용해 볼츠만 머신(Boltzmann Machines)의 세부 사항과 구현을 알아본다. 여기서 설명한 개념은 제한된 볼츠만 머신(RBM, Restricted Boltzmann Machine)을 구축하고자 확장된다.
11장, ‘강화학습’에서는 강화학습에 초점을 맞춘다. 먼저 Q 러닝 알고리즘으로 시작한다. 벨만포드(Bellman Ford) 방정식으로 시작해 할인 보상, 탐색과 개발, 할인 요인과 같은 개념을 설명한다. 또한 정책 기반과 모델 기반의 강화학습을 설명한다. 마지막으로 아타리(Atari) 게임에서 심층 Q 러닝(Q-learning) 신경망(DQN, Deep Q-learning Network)을 구축한다.
12장, ‘텐서플로와 클라우드’에서는 클라우드 환경과 이를 활용해 모델을 교육하고 배포하는 방법을 설명한다. 딥러닝용 AWS(Amazon Web Services)를 설정하는 데 필요한 단계도 알아본다. 또한 딥러닝 애플리케이션용 구글 클라우드 플랫폼을 설정하는 데 필요한 단계를 다루고, 딥러닝 애플리케이션을 위해 마이크로소프트 애저(Azure)를 설정하는 방법도 설명한다. 클라우드에서 주피터 노트북(Jupyter Notebook)을 직접 실행할 수 있는 다양한 클라우드 서비스도 설명한다. 마지막으로 텐서플로 익스텐디드(Extended)를 소개하며 마무리한다.
13장, ‘모바일, IoT, 텐서플로.js용 텐서플로’에서는 모바일 장비와 IoT에서 텐서플로 라이트(Lite)를 사용하는 방법과 안드로이드 장비에서 실제로 애플리케이션을 배치하는 방법을 다룬다. 또한 수천 개의 모바일 장비에서 분산 학습하는 연합학습(federated learning)도 알아본다.
14장, ‘AutoML’에서는 흥미로운 AutoML 분야를 소개한다. 자동 데이터 준비, 자동 특징 엔지니어링, 자동 모델 생성을 설명한다. 또한 테이블, 비전, 텍스트, 번역, 비디오 처리용 다양한 솔루션을 갖춘 AutoKeras와 구글 클라우드 플랫폼 AutoML을 소개한다.
15장, ‘딥러닝 배경 수학’에서는 딥러닝의 기초 수학을 설명한다. 딥러닝을 수행할 때 내부에서는 어떤 일이 벌어지고 있는지 살펴본다. 먼저 딥러닝 프로그래밍과 역전파의 기원에 관한 간략한 역사로 시작한다. 다음으로 개념 이해에 도움이 될 수학적 도구와 미분을 소개한다. 나머지 부분은 역전파와 CNN, RNN 내의 일부 애플리케이션을 자세히 설명한다.
16장, TPU에서는 신경망 수학 연산의 초고속 실행을 위해 구글에서 개발한 특수 칩인 TPU(Tensor Processing Unit)를 소개한다. CPU와 GPU를 3세대 TPU와 에지(Edge) TPU와 비교한다. 또한 TPU 사용에 대한 코드 예를 보여준다.

이 책은 지난 6년간 학습 기술의 진화에 대한 아주 상세한 파노라마를 보여준다. 케라스와 유사한(Keras-like) API 기반 모듈형 네트워크 라이브러리인 텐서플로 2.0을 사용해 파이썬으로 코딩된 수십 개의 심층 신경망을 제공한다.
단순 회귀, 전통적 다층 퍼셉트론과 같은 지도학습을 단계별로 알아보고, 좀 더 정교한 심층 컨볼루션(deep Convolution) 신경망, 생성적 적대 신경망(generative adversarial networks)도 소개한다. 또한 오토인코더(autoencoder), 생성적 신경망 등의 비지도학습도 다룬다. 순환 신경망과 LTSM(Long Short-Term Memory) 신경망도 자세히 설명한다. 심층 강화학습도 종합적으로 소개하는데, 딥러닝 가속기(GPU와 TPU), 클라우드 개발, 데스크톱, 클라우드, 모바일/IoT 기기, 브라우저 등에서 다중 환경을 설정하는 방법도 설명한다.
실제 응용으로는 정해진 범주로 텍스트 분류하기, 구문 분석, 감정 분석, 텍스트 합성, 품사(POS, Parts-Of-Speech) 태깅을 다룬다. 이미지 처리도 알아보는데, 필기체 숫자 이미지, 이미지를 다른 범주로 분류하기, 연관 이미지 주석달기를 사용한 고급 객체 인식 등을 다룬다.
음성 분석으로는 다중 화자로부터의 이산 음성 인식을 알아본다. 오토인코더와 GAN을 통한 이미지 생성도 다룬다. 강화학습을 사용해 비지도학습이 가능한 Q 학습 신경망을 구축해본다. 실습은 이 책의 핵심이다. 각 신경망은 각 입력 매개변수, 신경망의 형태, 손실 함수, 최적화 알고리즘을 변경함에 따라 학습 성능을 점진적으로 개선하는 다변량을 통해 강화된다. CPU, GPU, TPU 학습에 대한 몇 가지 비교도 다룬다. 딥러닝 모델을 효율적으로 자동으로 구축하는 방법에 딥러닝 모델을 사용하는 AutoML이라는 새로운 분야도 소개한다. 머신러닝의 배경이 되는 수학 공식을 설명하는 데 별도로 한 장을 할애했다.

안토니오 걸리(Antonio Gulli)

혁신과 실행에 있어 전체적 기술과 관리를 구축하는 데 열정이 있다. 전문 분야는 클라우드 컴퓨팅, 딥러닝, 검색 엔진이다. 현재 구글 CTO 사무소에서 엔지니어링 이사로 재직 중이다. 이전에 구글 바르샤바(Warsaw) 사이트에서 리더로 근무하며 엔지니어링 사이트를 두 배로 늘렸다.
지금까지 운 좋게 유럽 4개국에서 전문적인 경험을 쌓을 수 있었고, EMEA의 6개국과 미국에서 팀을 관리했다. 암스테르담의 주요 과학 출판사인 엘스비어(Elsevier)에서는 부사장으로 과학 출판을 이끌었고, 런던에서는 마이크로소프트 Ask.com의 CTO로 Bing 검색 작업을 수행하는 엔지니어링 사이트 책임자로 일했다. 또한 유럽 최초의 웹 검색 회사 중 하나를 비롯한 여러 공동 펀드 스타트업에서 일했다.
검색, 스마트 에너지, 환경, AI 분야에서 수많은 기술을 공동 발명했고, 20개가 넘는 특허를 출원/등록했으며, 코딩과 머신러닝에 관한 다수의 책을 저술했고 그 책들은 일본어와 중국어로도 번역됐다. 스페인어, 영어, 이탈리아어를 할 수 있으며 현재 폴란드어와 프랑스어를 배우고 있다. 두 아들 로렌조(Lorenzo)와 레오나르도(Leonardo) 그리고 어린 공주 오로라(Aurora)의 아버지이기도 하다.

아미타 카푸어(Amita Kapoor)

델리대학교 SRCASW 전자과 부교수이며 지난 20년간 신경망과 인공지능을 적극적으로 가르치고 있다. 코딩과 교육에 열정을 갖고 있으며 도전적인 문제를 해결하는 것을 즐긴다. DAAD 샌드위치 펠로우십(Sandwich fellowship) 2008의 수상자이며 포토닉스(Photonics) 국제 콘퍼런스에서 최우수 발표상을 수상했다. 열렬한 독자이자 학습자다. 딥러닝에 관한 책을 공동 저술했으며 국제 저널 및 콘퍼런스에 50개 이상의 논문을 게재했다. 현재 연구 분야는 머신러닝, 심층 강화학습, 양자 컴퓨터, 로봇 공학이다.

수짓 팔(Sujit Pal)

리드-엘스비어(Reed-Elsevier) 그룹의 고급 기술 그룹인 엘스비어 랩(Elsevier Labs)의 기술 연구 이사다. 관심 분야는 문맥 검색, 자연어 처리, 머신러닝, 딥러닝이다. 엘스비어에서 여러 머신러닝 이니셔티브(initiatives)를 수행했는데, 대규모 이미지와 텍스트 말뭉치, 추천 시스템과 지식 그래프 개발 등의 다른 이니셔티브도 수행했다. 이전에 안토니오 걸리와 함께 딥러닝에 대한 또 다른 책을 공동 저술했으며 블로그 Salmon Run에서 기술 관련 글을 쓰고 있다.

딥러닝의 기초부터 최신 기술 동향까지 한눈에 쉽게 파악할 수 있도록 구성돼 있다. 특히 케라스를 완전 통합한 텐서플로 2.0의 풍부한 예제와 함께 현재 활발히 연구가 진행중인 AutoML까지 다룬다. 딥러닝을 처음 시작하는 사람도 어렵지 않을 정도로 친절히 안내하면서도 딥러닝의 핵심인 역전파의 이면에서 벌어지고 있는 수학적 의미에 대한 해부에 한 장을 할애할 정도로 전문적인 설명도 빠트리지 않는다.
책의 후반부에는 최신 트렌드인 에지에서의 연합학습을 포함해 분산 훈련에 관한 자세한 설명과 함께 TPU를 사용해 수행 속도를 향상시킬 수 있는 방법을 예제와 함께 제공한다.
편안한 마음으로 책을 따라가다 보면 어느새 최신 기조인 텐서플로 2.0의 전문가가 돼 있을 것이다.

(주) 크라스랩

머신러닝을 기반으로 다양한 연구를 수행하고 있으며, 특히 머신러닝 기반의 금융 분석과 핀테크에 중점을 두고 있다. KAIST 전산학과 계산이론 연구실 출신의 이병욱 대표가 이끌고 있으며, 저서로는 『비트코인과 블록체인, 탐욕이 삼켜버린 기술』(에이콘, 2018), 『블록체인 해설서』(에이콘, 2019)가 있다. 특히 『블록체인 해설서』는 대한민국학술원이 선정한 2019 교육부 우수학술도서이기도 하다.