딥러닝을 포함한 머신러닝의 역사, 딥러닝과 통계 기반 머신러닝이 적용되는 영역, 딥러닝 디자인, 디자인 한계점과 해결 방법, 향후 연구 과제 등 코드 이면에 담겨있는 이야기를 전달하고자 여러 전문가가 참여했다. 문자 데이터의 컴퓨터 인식과 학습, 결과물 제시를 통해 만들 수 있는 자연어 처리 애플리케이션에 관심이 있다면 깊이 있는 지식과 혜안을 얻을 뿐만 아니라, 실무에 필요한 솔루션에 대해서도 아이디어를 얻을 수 있을 것이다.

"자연어 처리와 딥러닝 분야에서 국제적으로 인정받고 있는 리 덩 박사와 그가 이끄는 이 분야에서 가장 적극적인 연구 팀이 저술했다. 해당 분야 기술을 포괄적으로 안내하고 최신 연구를 소개하고 함께 자연어 처리 근본 문제를 해결할 수 있는 딥러닝 적용 방법을 설명한다. 자연어 처리를 위한 딥러닝 애플리케이션의 엄청난 진전에 발맞춰 교과서와 참고 자료를 필요로 하는 사람들이 급격히 늘고 있는 지금 이번 책의 출간은 매우 시의적절하다. 자연어 처리 기술이 필수적이자 원동력이면서 핵심 차별화 요소가 되는 인공지능을 개발하는 신생기업 실무자들에게 보기 드문 참고서 역할을 할 것이다."
- 홍지앙 장(Hongjiang Zhang)/ 소스 코드 캐피탈 창업자, 전 킹소프트(KingSoft) CEO

"자연어 처리에 적용되는 딥러닝 기술의 최근 성장을 폭넓게 소개한다. 풍부한 경험을 갖춘 딥러닝과 자연어 처리 연구원들이 준비한 구어체 언어 이해, 대화 시스템, 어휘 분석, 구문 분석, 지식 그래프, 기계번역, 질의응답, 정서 분석, 소셜 컴퓨팅 등 광범위한 자연어 처리 애플리케이션을 다룬다. 주요 연구 동향에서부터 최신 딥러닝 방법, 그 방법의 한계와 유망한 연구에 이르기까지 다양한 주제를 다룬다. 독창적인 내용, 정교한 알고리즘, 자세한 활용 사례를 제시하기 때문에 딥러닝과 자연어 처리를 배우려는 모든 독자에게 유용한 길잡이가 될 것이다."
- 하이펑 왕(Haifeng Wang)/ 바이두 부사장 및 수석연구원, 전 ACL 사장

"대부분의 음성인식 애플리케이션에서 컴퓨터가 사람에 비해 적게는 다섯 배에서 열 배의 오류를 발생시켰던 학습이 시작되던 2011년경, 나는 미래 방향으로 지식공학의 중요성을 강조했다. 그로부터 불과 몇 년 만에 딥러닝은 인간과 컴퓨터 간의 대화 음성인식 능력의 차이가 거의 없도록 줄였다. 딥러닝을 통한 음성인식 혁명의 선구자인 리 덩 박사가 편집하고 저술한 이 책은 자연어 처리의 중요한 세부 분야로써 음성인식의 매력적인 점을 멋들어지게 설명한다. 역사적 관점을 음성인식에서부터 자연어 처리 일반 영역으로 확대해 향후 자연어 처리 개발에 가치 있는 가이드를 제공한다.
이 책에서 중요한 것은 딥러닝이 겉으로는 단순히 많은 데이터, 뛰어난 컴퓨팅 능력, 복잡한 모델을 이용하는 것처럼 보일지라도 현재의 딥러닝 추세는 이전의 데이터 중심의 얕은 머신러닝 시대에서 나온 혁명이라고 주장한다. 사실 자연어 처리 애플리케이션을 위해 개발된 최신 딥러닝 기술은 개별 태스크를 성공적으로 해결했음에도 풍부한 지식이나 인간의 인지 능력을 충분히 활용하지 못했다. 따라서 편집자와 저자의 견해와 마찬가지로 지식공학을 완벽하게 통합하는 고도화된 딥러닝이 자연어 처리 혁명의 길을 열어줄 것이라는 주장을 지지한다.
음성 및 자연어 처리 연구자, 엔지니어, 학생들이 자연어 처리와 딥러닝 최첨단 기술을 학습하고 미래에 대한 중요한 통찰력을 얻을 수 있도록 이 책을 읽을 것을 권한다."
- 사다오키 후루이(Sadaoki Furui)/ 시카고 토요타 기술 연구소 사장

“음성, 시각, 언어 분야에서 딥러닝의 급부상으로 흥분감이 높다. 이 책을 읽으면 그 흥분감이 어디에서 왔는지 충분히 이해할 수 있을 것이다.“
- 켄 처치(Ken Church)/ IBM 연구소, 전 ACL 사장

주요 목표는 자연어 처리에 적용된 최근 딥러닝의 발전에 관한 포괄적인 조사 내용을 제공하는 데 있다. 자연어 처리 중심인 딥러닝 연구의 최신 기술이 적용되는 음성언어 이해, 대화 시스템, 어휘 분석, 구문 분석, 지식 그래프, 기계번역, 질의응답, 감정 분석, 소셜 컴퓨팅 및 (이미지에서) 자연어 생성 등을 다룬다. 대학원생, 박사후 연구원, 교육자, 산업계 연구원 및 자연어 처리와 관련된 최신 기법 익히기에 관심이 있는 독자를 대상으로 하며, 컴퓨팅에 대한 기술적 배경을 가진 이에게 적합할 것이다.

이 책은 11개의 장으로 구성된다.
1장: 자연어 처리와 딥러닝 소개(Li Deng과 Yang Liu)
2장: 대화 이해에 적용되는 딥러닝(Gokhan Tur, Asli Celikyilmaz, Xiaodong He, Dilek Hakkani-Tür, Li Deng)
3장: 음성 및 텍스트 기반 대화 시스템의 딥러닝(Asli Celikyilmaz, Li Deng, Dilek Hakkani-Tür)
4장: 어휘 분석 및 문법 분석에서 딥러닝(Wanxiang Che와 Yue Zhang) 5장: 지식 그래프의 딥러닝(Zhiyuan Liu와 Xianpei Han)
6장: 기계번역의 딥러닝(Yang Liu와 Jiajun Zhang)
7장: 질의응답의 딥러닝(Kang Liu와 Yansong Feng)
8장: 감성 분석의 딥러닝(Duyu Tang과 Meishan Zhang)
9장: 소셜 컴퓨팅의 딥러닝(Xin Zhao와 Chenliang Li)
10장: 이미지로부터 자연어 생성에서 딥러닝(Xiaodong He와 Li Deng)
11장: 에필로그(Li Deng과 Yang Liu)

1장에서는 자연어 처리와 딥러닝 전체 소개와 이후에 다룰 주요 내용을 리뷰한 다음 역사적인 발전을 세 가지 물결로 연계하고 향후 방향을 살펴본다. 2장에서 10장까지는 자연어 처리에 적용된 최근 학습 방법의 개별 애플리케이션을 다루는 장으로 구성된다. 각 장은 주요 연구자가 각 분야에서 적극적으로 실행했던 연구를 기반으로 한다.

컴퓨터가 인간의 언어를 지능적으로 처리하는 자연어 처리는 인공지능, 컴퓨터 과학, 인지 과학, 정보 처리 및 언어학과 다양하게 결합되는 중요한 학제 간 영역이다. 음성인식, 대화 시스템, 정보 검색, 질의응답, 기계번역 등 컴퓨터와 인간 언어의 상호작용을 통해 생성된 자연어 처리 애플리케이션은 사람들이 정보를 얻고 사용하는 생활 방식을 바꿔놓기 시작했다.
자연어 처리의 발전은 이성주의, 실증주의, 딥러닝 등 세 가지 주요 물결로 설명된다. 첫 번째 물결인 이성주의 접근법은 언어에 대한 지식을 물려받아 그 지식과 규칙이 사전에 고정돼 있다는 가정하에 자연어 처리 시스템에 지식을 통합하기 위해 사람 손으로 만든 규칙 설계를 옹호했다. 두 번째 물결인 실증주의 접근법은 자연어의 상세한 구조를 학습하는 데 감각기관에서 나온 풍부한 투입값과 관찰 가능한 언어 데이터가 필요충분조건임을 가정한다. 결과적으로 대규모 말뭉치에서 언어의 규칙성을 발견할 수 있는 확률 모델이 개발된다. 세 번째 물결에서는 딥러닝이 인간 인지능력을 시뮬레이션하는 방식으로 언어 데이터에서 내재적 표상(representation)을 학습하기 위해 생물학적 신경계에서 영감을 받은 비선형 계층모델을 활용한다.
딥러닝과 자연어 처리의 교차는 업무에 놀라운 성공을 가져왔다. 음성인식은 딥러닝이 큰 영향을 미친 최초의 산업용 자연어 처리 애플리케이션이다. 대규모 학습 데이터를 사용할 수 있게 되면서 심층신경망(Deep Neural Network) 방식은 전통적 실증 방식에 비해 인식 오류를 현저히 낮췄다. 자연어 처리에서 딥러닝을 성공적으로 적용한 또 다른 방법은 기계번역이다. 신경망을 사용해 언어 간 매핑을 모델링하는 엔드 투 엔드(end-to-end) 신경망 기계번역은 번역 품질을 크게 향상시켰다. 신경망 기계번역은 구글, 마이크로소프트, 페이스북, 바이두 등 대형 기술 회사가 제공하는 주요 상용 온라인 번역 서비스에서 사실상의 표준 기술이 됐다. 딥러닝을 활용하는 자연어 처리 제3의 물결에 올라타 언어 이해와 대화, 어휘 분석 및 구문 분석, 지식 그래프, 정보검색, 텍스트 형식의 질의 답변, 소셜 컴퓨팅, 언어 생성 및 텍스트 감정 분석 등 많은 분야에서 큰 진전을 이루고 있다. 현시점에서 딥러닝은 사실상 모든 자연어 처리 작업에 적용되는 지배적 방법이다.

리 덩(Li Deng)

2017년 5월부터 시타델연구소에서 최고 인공지능 관리자로 일하고 있다. 딥러닝 기술센터 창업자이자 AI 최고 연구원이었으며, 마이크로소프트 파트너 연구 관리자를 역임했다. 캐나다 온타리오의 워털루대학교 정교수를 역임했으며 MIT, 일본 교토의 ATR, 홍콩 HKUST에서 연구와 강의를 병행했다. 현재 IEEE, 전미음성학회, ISCA의 회원이다. 2000년 이후부터 워싱턴대학교에서 겸임교수로 활동하고 있다. IEEE 음성신호처리학회 이사회 회원으로 선출됐으며, 「IEEE Signal Processing(IEEE 음성신호)」 매거진과 「IEEE/ACM Transactions on Audio, Speech, and Language Processing(IEEE/ACM 소리, 음성, 언어 처리 트랜잭션)」 편집장(2008-2014)을 지냈고 IEEE SPS 공로상을 수상했다. 대규모 딥러닝을 사용해 혁신적인 음성인식 초기 연구를 세운 업적을 인정받아 2015년 딥러닝과 자동음성인식에 관한 IEEE SPS 기술 업적상을 받았다. 또한 인공지능, 머신러닝, 자연어 처리, 정보 획득, 멀티미디어 신호 처리, 음성인식에 대한 업적으로 무수한 최고 논문상과 특허를 받았다. 현재 6권의 기술서 저자이자 공동 저자다.

양 리우(Yang Liu)

칭화대학교 컴퓨터공학과 부교수를 역임하고 있다. 2007년 전산 기술 중국과학원에서 박사학위를 취득했다. 자연어 처리와 머신러닝에 관심을 두고 있다. Computational Linguistics, ACL, AAAI, EMNLP, COLING 등 자연어와 인공지능 분야 최고 저널 및 학회에서 50편 이상의 논문을 발표했다. 2006년 COLING/ACL 아시아 자연어 처리 논문상과 국가 과학기술 발전 2등상을 수상했으며 「ACM TALLIP」 부편집장, ACL 2014 지도 공동위원장, ACL 2015 지역 공동위원장, IJCAI 2016 시니어 PC, ACL 2017 지역 공동위원장, EMNLP 2016 지역 공동위원장, SIGHAN 정보 관리자, 중국정보처리학회 전산 언어 기술 위원회 의장을 역임했다.

나는 IT업계에 종사하고 있는 딥러닝 전문가는 아니다. 대학에서 경영전략을 가르치고 연구하는 경영학자이지만, 마케팅과 경영전략을 위한 데이터 분석(Data Analysis for Marketing & Business Strategy)을 강의하고 있어서 데이터 과학의 변화에 정신줄을 놓지 않으려고 꾸준히 노력하고 있다. 전략경영을 주제로 연구하면서 자연스럽게 이르게 되는 종착지점은 “조직 의사결정자”들의 생각과 관심이었다. 그들이 생각하는 방향과 관심은 기업의 전략 변화와 행동에 영향을 미치기 때문에 학자에게는 좋은 연구 주제다. 또한 투자자에게는 경영자 위험(executive risks)을 줄일 수 있는 예측 모델의 정확성을 높일 수 있도록 하고 다양한 이해 관계자에게는 사회에 영향을 미칠 수 있는 기업 행동의 가능성을 판단하는 데 중요한 신호가 된다.
조직 의사 결정자뿐만 아니라 사회생활을 영위해 가고 있는 개인도 급성장해온 소셜미디어 덕분에 다양한 방식으로 소통하고 인터넷상에 엄청난 양의 글을 남기고 있다. 이처럼 글로 된 자료는 많아져도, 행과 열에 맞게 쉽게 정리할 수 있었던 숫자 데이터와 달리, 글은 다양한 문자 조합을 통해 개인마다 쓰는 스타일이 다르고, 같은 말을 해도 뜻이 다르다. 심지어 같은 의미지만 말하는 순서도 다른 문자 데이터를 컴퓨터에게 알려주고 이해시켜 결과를 받아낸다는 아이디어 자체가 어렵기 때문에 자연어로 된 문자 데이터 분석에 진입장벽이 있다. 이번 책을 번역하기 전에는 문자 데이터 분석에 대한 인류의 노력이 얼마나 오랫동안 진행돼 왔는지 몰랐다. 다만 문서를 활용해 진행해왔던 나의 연구 방법 변화는 저자들이 1장에서 소개한 딥러닝 기반 자연어 처리에 이르는 역사적 과정과 매우 유사해 놀랐고, 사람들이 생각하는 흐름이 비슷하단 깨달음에 반갑기도 했다. 박사과정에서 글을 분석할 때 처음 사용했던 방법은 분석 대상 문서의 내용을 인식할 수 있는 단어와 구가 들어간 ‘사전(dictionary)’을 개발하는 작업이었다. 이 부분은 책의 저자들이 말하는 룰(rule) 기반 학습에 해당한다. 미리 준비한 사전에 충분한 어휘들이 있고 분석해야 할 표적 문서에 있는 단어들을 커버할 수 있다면 효율적인 방식이지만, 단어 의미와 사용법이 시간과 장소가 변하면서 달라지기도 하고 새로운 용어들이 등장하기 때문에 적용 범위가 매우 협소하다는 치명적인 문제점이 있다.
협소한 적용 범위의 일반화 한계점을 극복하기 위해 여러 방법을 찾던 중 머신러닝을 알게 됐는데, 저자들이 말하는 통계 기반 학습과 일치한다. 혼자서 머신러닝을 배우기 시작했을 때, 머신러닝이 소위 ‘낮은 학습(shallow learning)’과 ‘깊은 학습(deep learning, 딥러닝)’으로 나뉘는지 몰랐다. 낮은 학습은 수집한 문서를 컴퓨터가 인식하고, 조건부 확률 방식으로 내용을 분류하는 모델을 학습하기 때문에 특정 ‘사전’에 의존하는 원칙 기반 방식에 비해 적용 범위가 넓어졌다. 하지만 컴퓨터가 의미를 이해하고 분류한 것이냐는 원천적인 질문에 대한 답변은 룰 기반과 마찬가지로 오로지 구조로만 판단하는 문제점 때문에 사람이 분류된 내용을 직접 읽어서 검증해야 한다는 한계점에 부딪치게 됐다.
결국 인류에게 한계점 극복에 대한 욕망의 끝은 없는 것 같다. 번역자인 나는 기계에게 말의 구조뿐만 아니라 의미까지 학습시켜서 진정으로 문서를 분석했다고 말하고 싶기 때문에 해결책의 방향은 자연스럽게 딥러닝으로 향한다. 개인적으로는 딥러닝 방법론을 사용해 경영학 저널에 논문을 출판해 보겠다는 목표가 있으며, 번역을 통해 구체적으로 적용 방법에 관한 큰 그림을 그릴 수 있어 즐거웠다. 이 책은 코드를 보고 따라 하면서 결과물을 실행할 수 있는 공구 상자를 제공하지 않는다. 대신 딥러닝을 포함한 머신러닝의 역사, 딥러닝과 통계 기반 머신러닝이 적용되는 영역, 딥러닝 디자인, 디자인 한계점과 해결 방법, 향후 연구 과제 등 코드 이면에 담겨 있는 이야기를 여러 전문가의 참여로 제작했다.
나처럼 숫자 데이터를 넘어 문자 데이터의 컴퓨터 인식과 학습, 결과물 제시를 통해 만들 수 있는 자연어 처리 애플리케이션에 관심이 있다면 좋은 지식과 혜안, 아이디어를 줄 수 있는 책이라 생각한다. 실제로 R과 파이썬으로 자연어 처리 작업을 진행하면서 어떤 솔루션을 적용해야 할지에 대한 아이디어가 깊어진다고 느끼는 것은 이 책에서 얻을 수 있었던 또 다른 즐거움이었다.

김재민

미국 미시건주 오클랜드대학교 비즈니스스쿨 경영학과 조교수로 재직 중이다. 학부생과 MBA 학생들을 대상으로 경영전략을 강의하고 있으며 경영전략과 데이터 분석의 교집합을 다루는 마케팅과 비즈니스 전략을 위한 데이터 분석도 강의하고 있다. 경영전략 및 기업의 사회적 책임과 관련된 연구로 「Journal of Business Research」, 「Entrepreneurship Theory & Practice」, 「Journal of Business Ethics」, 「Organization & Environment」 등에 다수의 논문을 실었다. 최근 연구에 자연어 처리를 위한 머신러닝을 분석 방법으로 활용하고 있으며, 10년 이상 개인 블로그(https//blog.naver.com/ibuyworld)에서 연구와 영어 강의에 관한 생각을 공유하고 있다.