증강 현실의 기본 원칙과 실천 측면을 꼼꼼히 다뤘다. 학술 연구자와 실무자, 특히 증강 현실 응용에 관심이 있는 엔지니어에게 흥미롭고 유용하도록 구성돼, 교과서로나 참고 자료 양쪽으로 다 활용할 수 있다. 컴퓨터 과학과 컴퓨터 그래픽 및 컴퓨터 비전에 대한 지식이나 흥미가 있다면 이 책을 최대한 활용할 수 있을 것이다. 기존 문헌에서 배경을 찾아볼 수 있도록 적극적으로 참고 문헌을 소개하고, 증강 현실의 개념에 대해 기본적인 지식 이상의 내용을 분명히 이해할 수 있게끔 상세히 설명했다.

■ 디스플레이: 헤드마운트, 핸드헬드, 프로젝터, 청각, 햅틱
■ 트래킹/센싱: 물리 원칙, 센서 퓨전, 실시간 컴퓨터 비전
■ 캘리브레이션/등록: 반복적이고 정확하며 일관된 방식
■ 실제와 가상 객체의 매끄러운 연결
■ 직관적으로 이해하기 쉬운 시각화
■ 상호작용: 상황형 브라우징부터 완전한 3D 상호작용까지
■ 새로운 지오메트리 콘텐츠 모델링
■ AR 프레젠테이션과 데이터베이스 모델링 저작
■ 실시간, 멀티미디어, 분산형 요소를 활용한 AR 시스템 구성

이 가이드북은 개발자, 엔지니어, 학생, 교사, 연구원 등 AR에 관심이 있는 누구에게나 도움이 될 것이다.

1장. '증강 현실의 개요'에서는 증강 현실의 현재 개념을 정의하고 이 분야의 역사를 간략하게 알아본 다음, 강력한 실제 세계의 사용자 인터페이스 기술로서 다양한 응용 사례를 독자들에게 안내한다. 마지막으로 관련 기술과 연구 분야의 다양한 맥락을 살펴본다.
2장. '디스플레이'에서는 증강 현실을 가능하게 해주는 근본적인 기술인 디스플레이를 다룬다. 시각적 인식의 기초를 토대로 증강 현실에 적합한 다양한 디스플레이 기술, 특히 헤드마운트 디스플레이, 핸드헬드 디스플레이, 투영 디스플레이를 살펴본다. 청각 및 촉각 장치와 같은 비시각적 디스플레이에 대해서도 설명한다.
3장. '트래킹'에서는 증강 현실의 핵심 기술 중 하나인 트래킹을 소개한다. 먼저 트래킹과 일 반적인 측정 시스템이 어떻게 작동하는지 이해하는 데 필요한 특성을 알아본다. 그런 다음 기존의 고정형 트래킹 시스템을 알아보고, 이를 모바일 센서와 비교한다. 가장 눈에 띄는 트래킹 기술인 광학 트래킹은 광범위하게 활용된다. 센서 퓨전의 원리를 간략히 살펴보며 맺는다.
4장. '증강 현실을 위한 컴퓨터 비전'에서는 3장에서 다룬 광학 트래킹의 문제를 알아보고 실시간 포즈 추정, 즉 관찰된 이미지에서 카메라의 관찰 위치와 방향을 결정하는 컴퓨터 비전 알고리즘을 자세히 설명한다. 이 주제에 좀 더 편하게 다가가고 다양한 독자의 수준에 맞추기 위해 사례 연구 위주로 구성했다. 모든 사례 연구는 그 자체에 필요한 지식만 소개하므로, 컴퓨터 비전에 대한 깊은 지식이 없어도 괜찮다. 또한 OpenCV와 같은 소프트웨어 라이브러리를 참조하므로, 고급 수학 관련 주제를 반드시 이해하지 못하더라도 내용을 쉽게 따라갈 수 있다.
5장. '캘리브레이션과 등록'에서는 증강 현실에 사용되는 장치의 캘리브레이션과 등록 방법을 다룬다. 3장에서 설명한 광학 트래킹에 사용되는 디지털 카메라의 캘리브레이션은 증강 현실 애플리케이션에서 반복 가능하고 정확한 동작을 제공하는 데 필요한 전제 조건이다. 등록은 증강 현실 체험의 물리적 부분과 가상 부분의 지오메트리를 정렬해 일관된 혼합 환경을 만들어내는 과정이다. 6장. '시각적 일관성'에서는 실제 및 가상 객체의 완벽한 혼합 보기를 함께 생성하는 컴퓨터 그래픽 기술 제품군에 중점을 둔다. 가상 객체와 실제 객체 사이의 올바른 오클루전이나 가상 객체와 실제 객체 간의 정확한 음영 처리 같은 현상도 알아본다. 또한 감소 현실이라고도 불리는 장면에서 실제 물체를 제거하는 접근법을 알아보고 실제 카메라의 시물레이션을 살펴본다.
7장. '상황 시각화'에서는 시각화 기술을 집중적으로 살펴본다. 시각화는 정보를 이해하기 쉽게 만들어주는 것이다. 증강 현실의 맥락에서 이는 물리적 장면의 물체에 지오메트리가 등록된 컴퓨터로 생성한 정보가 사용자가 쉽게 이해할 수 있는 방식으로 배치되고 스타일화돼야 한다는 것을 의미한다. 우리는 2D 증강(예: 텍스트 레이블)과 3D 증강(예: 객체 내부가 합성된 뷰, 즉 ‘고스팅’)이라는 두 가지를 다룬다.
8장. '상호작용'에서는 증강 현실의 응용과 관련된 다양한 상호작용 기술 및 상호작용 스타일을 살펴본다. 간단한 위치 정보 검색부터 완전한 3D 상호작용에 이르기까지 다양한 내용을 다룬다. 특히 프롭, 위젯 및 수작업 기반의 상호작용과 증강 현실을 다양한 유형의 사용자 인터페이스에 연결하는 방법을 구체적으로 논의한다. 또한 증강 현실을 위한 멀티모드 및 에이전트 기반 인터페이스를 살펴본다.
9장. '모델링과 주석'에서는 대화형 모델링, 즉 증강 현실을 통한 새로운 지오메트리 콘텐츠의 생성과 관련된 주제를 다룬다. 3D 환경에 내장된 사용자 인터페이스는 환경의 디지털 버전을 재구성하는 강력한 접근 방식이 될 수 있다. 이 가능성은 비주얼 컴퓨팅을 다루는 모든 애플리케이션에 아주 중요하다.
10장. '저작'에서는 증강 현실 저작의 접근법을 논의한다. 증강 현실 프레젠테이션 및 정보 데이터베이스의 콘텐츠는 오늘날 웹 콘텐츠가 제작되는 것과 같은 방식으로 설계되고 작성돼야 한다. 증강 현실 콘텐츠는 기존 도구 또는 증강 현실 자체로 저작할 수 있다. 저작은 지오메트리 및 시각적 속성(특히 애플리케이션의 의미 및 동작 설정)을 넘어서, 애플리케이션의 의미와 행동 양식을 결정 짓는다. 저작은 되도록 내용에만 신경 쓸 수 있어야 하며 전통적 프로그래밍 작업은 최소한, 혹은 아예 필요 없어야 한 다. 이러한 요건을 충족할 수 있는 다양한 접근법을 알아보고, 증강 현실 저작과 최신 웹 표준 공개를 결합하는 최근의 연구를 알아본다.
11장. '내비게이션'에서는 특히 증강 현실의 사용자 인터페이스로서의 내비게이션을 살펴본다. 모바일 정보 시스템에서는 낯선 환경에서 방향을 찾는 것이 애플리케이션이 풀어야 할 중요한 과제다. 증강 현실을 사용해 구현된 내비게이션 가이드 기술의 개요를 제시하고, 디지털 맵과 비교해본다.
12장. '협업'에서는 공동 작업을 살펴본다. 증강 현실은 개인 간의 의사 소통에 사용될 수 있는 매체로서 잠재력이 크다. 여기에는 공유 증강 현실 시스템에서 제공하는 추가 단 서로 강화된 같은 공간에서의 협업과 증강 현실 기술로 큰 도움을 받을 수 있는 원격 협업이 포함되며, 그 과정에서 새로운 형태의 원격 회의도 가능하다.
13장. '소프트웨어 아키텍처'에서는 증강 현실 시스템의 기본 아키텍처를 분석한다. 증강 현실은 실시간 시스템, 멀티미디어 시스템, 분산 시스템의 측면을 결합해야 할 때가 많으므로 복잡한 요구 사항이 있다. 애플리케이션 프로그래머가 이해할 수 있는 유연한 방식으로 이런 요구 사항을 결합하는 것은 어려운 일이다. 분산 객체, 데이터플로우 시스템, 씬 그래프 같은 다양한 아키텍처 패턴을 논하고, 여러 사례 연구를 알아본다.
14장. '미래'에서는 증강 현실이 프로토타입 애플리케이션에서 입증된 유용성을 통해 연구 분야로부터 보편적인 소비 제품으로 변화해가면서 어떻게 자리잡을지 검토한다. 장애물과 아직 해결되지 않은 문제를 해결할 방법도 살펴본다. 또한 이 책에서 소개한 자료의 추세와 시사점을 요약하고, 향후 연구될 주제들도 설명한다.

지난 20여년 동안 정보 기술은 딱딱한 사무실 공간에 있는 커다란 데스크톱으로부터 웹을 거쳐 소셜 미디어로, 그리고 모바일 컴퓨팅으로 바뀌었다. 노트북 컴퓨터를 데 스크톱 카테고리에 포함한다 해도 스마트폰과 태블릿 컴퓨터의 판매량이 기존 데스 크톱 PC의 판매량을 훌쩍 앞지른 지 이미 몇 년째다.
오늘날 주로 쓰는 사용자 인터페이스 스타일은 1990년대의 데스크톱 컴퓨팅(또는 1981년 제록스 스타Xerox Star)에서 크게 달라지지 않았지만, 젊은 세대가 받아들이는 컴 퓨터의 개념은 확실히 변화했다. 앱과 클라우드 컴퓨팅이 데스크톱 컴퓨터의 자리를 차지하고 있는 경우는 셀 수도 없다. 그와 함께 컴퓨팅 역시 사무실이나 홈오피스에 서 이뤄지는 언제 어디서나 하는 활동으로 바뀌었다.
여러 중첩된 연구 분야가 증강 현실의 발전에 기여하고 있으며, 관련 지식 체계도 빠 르게 성장하고 있다. 우리는 1990년대부터 이 분야의 연구자로서 기여해왔다. 하지 만 이 책은 내가 근무하는 그라즈 기술 대학Graz University of Technology과 산타 바버라 캘리 포니아 대학University of California, Santa Barbara에서 증강 현실 강의의 교재로 쓰기 위해 만 들어졌다. 이런 강의를 준비하는 과정에서, 빠르게 발전하는 이 분야를 깊이 있게 모 두 다루는 교과서가 없었기 때문이다. 몇 가지 노트는 시그래프SIGGRAPH 2001부터 시 작해 우리가 참여한 여러 컨퍼런스의 튜토리얼에서 가져왔다. 이후 많은 연구가 이뤄 졌기에 체계적으로 새로운 개념과 실용적인 정보에 주목하며 이런 지식을 담고자 했 다. 그렇게 이 책은 탄생했다.
제목 그대로, 이 책은 원칙과 실천의 타협을 추구한다. 학술 연구자와 실무자, 특히 증강 현실 응용에 관심이 있는 엔지니어에게 흥미롭고 유용하도록 구성하는 것이 우 리의 목표였다. 그래서 이 책은 교과서나 참고 자료 모두로 충분히 활용할 수 있다. 컴퓨터 과학에 대한 기본적인 지식이 있고 컴퓨터 그래픽 및 컴퓨터 비전에 대한 지 식이나 흥미가 있다면, 이 책을 최대한 활용할 수 있을 것이다.

디터 슈말스타이그(Dieter Schmalstieg)

오스트리아의 그라즈 기술 대학(TUG) 컴퓨터 그래픽과 비전 학회장이자 전임 교수다. 현재 관심 연구 분야는 증강 현실, 가상 현실, 실시간 그래픽, 사용자 인터페이스, 시각화다. 비엔나 기술 대학에서 학사와 공학 박사, 교수 자격을 취득했다. 300편 이상의 논문을 저술(공동 저술 포함)하고 심사했다. 또한 IEEE 시각화 및 컴퓨터 그래픽 협회지의 공동 편집장, 스프링거의 가상 현실 저널 컴퓨터와 그래픽 편집 자문 위원, IEEE 국제 혼합 및 증강 현실 심포지엄 운영 위원, 가상 환경 유로그래픽스 실무 원장 비엔나 가상 현실 및 시각화 K-플러스 컴피턴스 센터의 핵심 연구원, 그라즈 노우 센터(Know-Center) 핵심 연구원 등의 직책을 맡았다. 2002년에는 오스트리아 과학 기금에서 수여하는 START Career 상을 수상했고, 2012년에는 증강 현실 분야에 크게 기여한 공로로 IEEE 가상 현실 기술 업적상을 수상했다. IEEE 선임 회원, 오스트리아 과학 학회, 아카데미아 유로피아의 회원으 로 선출됐다. 2008년 이래로는 핸드헬드 증강 현실을 위한 크리스찬 도플러 실험실 감독으로 일하고 있다.

토비아스 휄레러(Tobias Hollerer)

산타 바버라 캘리포니아 컴퓨터 과학 대학의 교수로, 이미징(Imaging), 상호작용(Interaction), 혁신적 인터페이스(Innovative Interface)의 첫 글자인 네 개의 I를 의미하는 포 아이 연구실(Four Eyes Laboratory)의 공동 감독을 맡고 있다. 베를린 공학 대학에서 정보학 학위를, 콜럼비아 대학에서 컴퓨터 과학 석사, 철학 석사 및 박사 학위를 받았다. 모바일 컴퓨터 사용자가 어딜 가든 3D 공간에 주석을 넣을 수 있게 해주는 ‘Anywhere Augmentation’으로 미국 국립 과학 재단의 CAREER 상을 수상했다. IEEE 선임 회원이며, 2013년에는 ACM의 뛰어난 과학자로 뽑힌 바 있다. 증강과 가상 현실, 정보 시각화, 3D 디스플레이와 상호작용, 모바일과 웨어러블 컴퓨팅, 소셜 컴퓨팅 분야에 대한 150편 이상의 저널과 컨퍼런스 발표 자료를 저작(공동 저작 포함)하고 심사했다. 이 저작물 중 다수는 IEEE 국제 혼합 및 증강 현실 심포지엄(ISMAR), IEEE 가상 현실(VR), ACM 가상 현실 소프트웨어와 기술, ACM 모바일 HCI, IEEE 소셜컴, IEEE CogSIMA 같은 행사에서 최우수 및 우수 논문으로 선정됐다. 현재 IEEE 시각화와 컴퓨터 그래픽 협회지의 공동 편집자다. 여러 과학 학회 조직 위원으로 활동하고 있으며, IEEE VR 2015, ICAT 2013, IEEE ISMAR 2009 및 2010 프로그램의 의장과 IEEE ISMAR 2006 의장을 맡았고 IEEE ISMAR의 운영 위원이기도 하다.

'포켓몬 고' 신드롬을 기억할 것이다. 스마트폰으로 ‘포켓몬’을 잡아 수집하는 이 게임은 한국에서만 지도 자료 공개 문제로 인해 정식 서비스가 이뤄지지 않아, 국내에서 유일하게 잡을 수 있었던 속초에 얼리어답터들이 몰렸다는 소식이 뉴스로 전해지기도 했다. 몇 개월 후 정식 서비스를 시작해 전국을 강타했던 이 증강 현실 게임은 희귀 포켓몬이 나오는 길 모퉁이마다 ‘운전 중 포켓몬 고 금지’, ‘주위 교통에 주의해 이용 바람’ 등의 내용을 담은 현수막이 나붙는 진풍경을 연출하기도 했다. 그런데 이 신드롬은 그야말로 ‘신드롬’이었다. 이후 불과 몇 달 만에 그 열기가 과연 언제 있었던가 싶게 급속히 식어버렸다. 증강 현실에는 가능성이 큰 만큼 한계도 엄연히 있다는 사실을 증명하듯이 말이다.
아무튼 이 게임으로 인해 증강 현실에 대한 대중의 관심이 커진 것은 사실이다. 그렇다면 증강 현실은 게임으로만 유효한 것일까? 게임 분야에 적용하기에는 몰입도가 훨씬 높은 가상 현실이 더 적합하리라 생각한다. 더불어 증강 현실은 그 쓰임새가 훨씬 많고, 일상에 적용할 수 있는 범위가 훨씬 넓다. 실제 증강 현실의 초기적 구현은 우리가 전시회나 박물관에 갔을 때 적당한 간격으로 작품에 대한 소개를 들려주는 전시 설명 앱, 전자제품의 QR 코드 등을 인식시키면 사용 설명서로 연동되는 앱, 모임 장소를 찾아가기 위해 활용하는 지도 앱 등으로 생활 곳곳에 벌써 들어와 있다. "이 모든 것이 다 증강 현실이라고?" 다소 의아할 수 있겠지만 어떤 도구든 활용해 우리의 생활 현장에 대한 추가 정보를 제공하는 것이 바로 증강 현실이다. 게다가 우리의 주머니에는 이미 남녀노소 할 것 없이 스마트폰이라는 성능 좋은 휴대용 컴퓨터가 들어있지 않은가. 구글 글래스나 마이크로소프트의 홀로렌즈에 대한 기대가 높았던 이유는 이런 증강 현실을 공상 과학 영화처럼 좀 더 편리한 UI로 직접 활용하게 된다는 상상 때문이었을 것이다. 그리고 스마트폰만으로 혹은 스마트폰과 함께 활용해 이렇게 증강 현실을 눈앞에서 펼쳐줄 새로운 기기를 만드는 것도 개발자에게는 이루고 싶은 꿈일 것이다.
프라이버시 문제와 괴짜처럼 보일 것 같은 두려움을 극복하는 기술이 나오기만 하면, 증강 현실은 지금껏 나온 어떤 기술보다 소비자에게 깊숙이 침투할 수 있을 것이다. 증강 현실이 무엇인지, 어떤 가능성이 있는지, 어디에 활용할 수 있을지 궁금하다면 기초적 내용을 꼼꼼히 살펴주는 이 책으로 공부를 시작해보고 그에 관한 힌트를 얻길 바란다.

고은혜

동국대학교에서 영어영문학을 전공했다. 졸업 후, 12년간 서구권 TV 애니메이션 제작사에서 통•번역을 담당하면서 미디어 콘텐츠 분야의 경력을 쌓았다. 이후 게임 개발/퍼블리셔 웹젠(Webzen)에서 영미권 개발 스튜디오의 게임 개발 자료 번역부터 시작해 로컬라이제이션으로 영역을 넓혔다. 미국의 게임 개발사 라이엇 게임즈(Riot Games)에서 로컬라이제이션 팀장으로 일하면서 4년여간 인기 온라인 게임 <리그>의 한국 런칭부터 제반 게임 콘텐츠의 한글화를 총괄했다.
현재는 프리랜서 번역가로 일상의 여유를 즐기면서 게임 분야를 비롯한 IT 서적을 번역하고 있다. 독립 IT 기술자의 저술 강연 상호부조 네트워크 GoDev의 일원이다.