증강 현실(AR)과 가상 현실(VR) 시스템과 웨어러블 컴퓨터 분야의 기술, 애플리케이션, 그리고 인적 요인을 포괄적으로 다룬 최신 가이드북이다. 초보자나 전공생 모두, 첨단 디스플레이, 센서, 기타 실행 기술을 중심으로 이론과 실제를 함께 배울 수 있다. 감각과 운동의 생리적 제약, 단안과 양안의 심도 신호, 시각적으로 유발되는 멀미, 그리고 이접 운동과 초점 조절 같이 그에 영향을 주는 요소 같은 인적 요인도 살펴본다. 또한 AR과 VR, 웨어러블의 신기술과 앞으로 부상할 기술의 법적, 사회적 의미를 따져보고, 차세대 시스템까지 알아본다.

“가상의 여행을 떠날 모든 이가 서재에 꼭 둬야 할 새 책이다.” - 랩 스콧 박사(Dr. Rab Scott) / 누클리어 AMRC VR 대표

“고급 시각화 기술을 잘 소개한 안내서로, 독자에게 급속히 변하는 하이테크 산업에 대한 정보를 개괄해 제공한다.”
- 크리스 프리먼(Chris Freeman) / 쉐필드 AMRC 대학 증강 현실 기술 연구원

“유경험자나 초심자 양쪽 모두에게 도움이 될 빼어나고 상상력 넘치는 정보로 가득하다. 이 책은 데이터와 연구 사례도 풍부하게 담고 있을 뿐 아니라, 우리 앞에 놓여 있는 기회와 시장에 대한 통찰력도 제시한다. 이 흥미로운 신기술에 관심이 있다면 반드시 보유해야 하는 자료이자, 신세계에 대한 즐거운 탐구가 될 것이다.”
- 로이 테일러(Roy Taylor) / AMD 본사 콘텐츠 및 기술 부문 부사장

“스티븐 옥스타칼니스는 계속 변화하는 가상 현실과 증강 현실의 최전방에 서 있다. 그는 이 산업의 역사에서 쌓은 경험을 통해 우리가 일하고 노는 방식을 바꿔놓을 이 기술과 제품, 아이디어를 분명히 이해할 수 있도록 설명해준다. 이 책에서 그가 나눈 지식을 통해 독자들이 환상적인 새 미래를 만들어나가길 바란다!”
- 브렌트 바이어(Brent Baier) / 페레그린 글러브(Peregrine Glove) 창업자

“혼합 현실(MR)과 증강 현실은 컴퓨터만이 아니라, 사람이 세상과 서로를 경험하는 방식에도 엄청나게 새로운 영역이다. 이 책은 아직 잡히지 않은 틀을 잡는다. 새로운 세상을 이해하려면 읽어보자.”
- 재런 러니어(Jaron Lanier) / 『미래는 누구의 것인가』(열린책들, 2016)와 『디지털 휴머니즘』(에이콘, 2011)의 저자

몇 달에 걸쳐 전기, 기계, 무중력, 수중, 네트워크 인증을 진행한 후, 마침내 우리는 국제 우주 정거장(ISS)에 마이크로소프트 홀로렌즈 혼합 현실 기기 두 대를 런칭할 수 있었다. 2016년 2월 20일 아침, NASA 존슨 스페이스 센터의 미션 컨트롤에 상주하는 우리 팀은 첫 홀로그램 통화를 우주로 발신하는 데 성공했다. 우주 비행사 스캇 켈리는 이 통화를 수신하고서 지난 한 해 동안 머물렀던 자기 집을 안내했다. 그리고는 쿠폴라(관측 모듈)로 안내해, 천천히 태양광 차벽을 낮추면서 지구의 곡면을 보여줬다. 이것으로 충분하지 않은 듯, 스캇은 이어서 다양한 ISS 모듈 위에 주석을 그리고, 과학의 발견에 국제 우주 정거장이 지니는 중요성과 승무원의 생명 유지 장치도 설명했다. 이 잊을 수 없는 순간, 나는 가상 가상과 증강 현실의 미래를 확신하게 됐다.
한편 지구에서의 우리는 NASA에서 비슷한 기술을 이용해 과학자들을 화성으로 데려가, 우주선 엔지니어에게 CAD 수준의 디자인 시각화를 제공하고 로봇 조종자의 능력을 강화시킨다. 원거리 환경에 대한 더 나은 맥락적 인식을 제공해 조종사와 이들이 조종할 로봇 간의 물리적 장벽을 희석시키는 것이다. 디자인 과정에서 조기에 이슈를 해결해 우주선 건조 비용을 절감할 수 있는데, 그래서 결과적으로 우주선을 더 많이 건조할 수 있다. 이 산업에 우리가 매료된 것은 수년 전 다양한 하드웨어와 소프트웨어 플랫폼을 조사하면서였다. 우리는 이 책에서 논의된 기술 중 상당수를 사용해봤고, 앞으로 나올 기술에도 큰 관심이 있다. 이 플랫폼을 위한 개발은 독특해서, 종종 예기치 못한 도전에 직면하게 된다. 곧 TV나 인터넷처럼 도처에 존재하게 될 광범위한 가상 현실과 증강 현실 분야를 이해하기 위해 이 책을 지침서로 삼자. 선입견을 내려놓고 열린 마음으로 읽으면, 신규 사용자들이 하는 흔한 오해를 피할 수 있을 것이다.
NASA에서 우주선을 건조할 때, 마치 VR과 AR 세계의 애플리케이션 구축처럼 적절한 소재와 자원이 필요하다. 개발자라면 이 책을 도구함의 장비 목록처럼 활용해, 적절한 과제에 적절한 도구를 선택하는 데 도움을 받을 수 있을 것이다. 그 결론이 VR이나 AR을 전혀 사용하지 않는 쪽으로 나더라도 말이다.
우리가 건조하는 우주선은 모두 다양한 과학 장비가 설치된다. 과학적 혜택을 극대화하고 위험을 줄이기 위해, 우리는 어떤 것을 넣을지 매우 선별적으로 결정해야 한다. 콘텐츠 제작자라면 이 책의 일화를 참고해 타깃 청중에 적절한 경험을 선택하는 데 도움을 얻길 바란다.
NASA의 핵심 미션 중 하나는 다음 세대의 탐험가들에게 인류를 소행성, 화성, 그 너머로 데려다줄 우주 비행사가 되도록 영감을 주는 것이다. 지구의 첫 대표가 화성에 발을 디딜 때, 우리 모두가 가상으로 함께할 것이다. 그들의 도착을 환영하며 함께 탐험할 것이다. 함께 우리의 현실을 영원히 바꿀 발견을 할 것이다.
- 빅터 루오(Victor Luo) / 소프트웨어 시스템 엔지니어링 시니어 기술 리드, NASA 제트 추진 연구소

■ 컴퓨터로 생성한 세계, 가상 공간: 기능 및 애플리케이션
■ 사람의 생리와 인지를 반영하는 AR/VR 시스템
■ 동영상과 오디오 디스플레이: 기능, 디자인, 애플리케이션
■ 현실적인 내비게이션과 상호 작용 전달
■ 센서 기술: 관성, 광학, 전자기, 음향
■ 촉각, 운동감 단서 통합
■ 멀티플레이어 일인칭 게임, 위치 기반 엔터테인먼트, 시네마틱 VR
■ 디자인 시각화, 커뮤니케이션, 프로젝트 관리의 복잡한 문제 해결
■ 공학적 AR/VR: 항공 우주, 해양, 자동차, 원자력
■ 새로운 의료 애플리케이션: 의사 훈련부터 PTSD 치료까지
■ 교육, 훈련: 현장 기술, 추상적 개념 교육
■ 방대한 데이터셋의 시각화, 질의를 위한 빅데이터 솔루션
■ 반자율 로봇의 원격 운영을 위한 AR/VR 사용
■ 시각적으로 유발되는 멀미, 기타 ‘인적 요인’의 과제
■ 부상될 법적, 사회적, 윤리적 고려 사항

이 책은 표준 컴퓨터 시각화 기술과 AR, VR 시스템을 사용하는 컴퓨터 과학, 엔지니어링, 건축, 기타 분야의 학부, 석사 과정을 위한 보조 자료로 저술됐다.
경영, 공학, 과학계에 있는 사람이라면, 이 책에서 상세히 설명하는 이 기술이 설계 품질, 비용 통제, 더 효율적인 협업과 제조 워크플로우, 데이터의 이해에 강한 영향을 주는 여러 애플리케이션을 참고하면 도움될 것이다.
게이머나 일반 AR/VR 팬이라면 인지 구조와 그 뒤에 숨은 동력이 되는 헤드마운트 디스플레이 기술, 공간 음향 솔루션, 센서, 광범위한 촉각 및 포스 피드백 기기를 탄탄하게 이해할 수 있을 것이다.
이 책의 내용을 이해하는 데 특별한 전제 조건은 없지만 기본적인 컴퓨터의 원칙과 생물학을 알고 있다고 가정하겠다

이 책은 증강 현실과 가상 현실 시스템을 기본에서부터 응용까지 설명하는 방식으로 구성됐다. 다양한 실행 기술을 바로 짚어보는 대신 일단 시각, 청각, 촉각의 구조를 알아본다. 그리고 각각 웨어러블 디스플레이, 3D 오디오 시스템, 촉각/포스 피드백 기기의 개별 설명으로 이어진다. 이는 우리의 특별한 인지 구조가 직접 관련 실행 기술을 활용해서 달성하려는 능력 범위의 설계와 애플리케이션에 어떤 지시를 내리는지 잘 이해하도록 돕기 위해서다.

1부, ‘증강 현실과 가상 현실 소개’는 1장과 2장으로 구성된다.
1장. '컴퓨터로 만든 세계'에서는 광학과 비디오 투과형 증강을 비롯한 몰입형 디스플레이 시스템을 개괄적으로 소개하며, 각각의 역사를 알아본다.
2장. '가상 공간의 이해'에서는 가상 공간의 기본 개념을 개괄하며, 물리적 공간과의 유사성과 차이점, 공간을 정의하고 특징을 지으며 구성하는 데 사용하는 규약, 그리고 내비게이션을 위한 접근법을 살펴본다.

2부, ‘사람의 감각과 입출력 기기의 관계 이해’는 3장에서 12장까지다.
3장. '시각의 구조'에서는 사람의 시각이 실제 세계와 가상 세계를 인지하는 물리적 과정을 알아보고, 시각 경로, 공간 시각, 단안 및 입체 심도의 신호 검토를 살펴본다.
4장. '헤드마운트 디스플레이의 컴포넌트 기술'에서는 오큘래러티(ocularity), 디스플레이 유형, 이미징, 디스플레이 기술, 광학적 아키텍처를 검토한다.
5장. '증강 디스플레이'에서는 핵심 기능 및 디자인 차별성과 초기에 의도한 용도를 중심으로 현재 시중에서 구할 수 있는 수많은 단안과 쌍안 증강 디스플레이를 알아본다.
6장. '완전 몰입형 디스플레이'에서는 상용으로 출시된 완전 몰입형 헤드마운트 디스플레이 중 최신 세대의 세부 사항을 제시하는데, PC와 콘솔 기반 기기부터 현대적인 스마트폰 기반의 저사양 시스템까지 여러 등급에 걸친다.
7장. '청각의 구조'에서는 우리의 귀가 평균 밀도의 공기 분자의 급속한 변화를 우리가 인지하는 음향으로 어떻게 변환하는지, 두뇌가 음원을 어떻게 지역화하고 구분하는지, 음향 신호가 가상 환경에서 전반적 몰입감에 어떤 기여를 하는지 설명한다.
8장. '오디오 디스플레이'에서는 증강 현실과 가상 현실 시스템에서 사용하는 다양한 오디오 디스플레이, 공간 음향 솔루션을 상세히 설명한다. 이 과정에서 그들이 기능적으로 어떻게 다르고 각각 가장 유용한 애플리케이션 설정은 무엇인지 검토한다.
9장. '감각의 구조'에서는 촉각을 가능하게 해주는 원리를 알아보고 피부 해부학, 다양한 기계적 감각 수용기, 고유 감각 수용기의 기능성, 성능 범위, 촉각, 운동 감각 신호의 시각과 오디오 디스플레이 보완 방식을 살펴본다.
10장. '촉각과 포스 피드백 기기'에서는 촉각과 운동 감각 단서에 활용하는 수많은 기술과 제품 솔루션, 그리고 촉각을 활용할 때의 과제도 검토한다.
11장. '위치, 방향, 동작 추적용 센서'에서는 사용자, 헤드마운트 디스플레이, 입력 기기의 위치, 방향, 동작을 추적하는 데 사용하는 다양한 핵심 센서 기술을 다룬다.
12장. '내비게이션과 상호작용 구동 기기'에서는 가상 환경 및 그 안에 있는 개체의 내비게이션과 상호작용을 가능하게 하는 수많은 현재 기술과 출현 중인 기술을 다룬다.

3부, ‘증강 현실과 가상 현실의 응용’은 13장부터 20장까지다.
13장. '게임과 엔터테인먼트'에서는 예술 및 엔터테인먼트 영역의 증강과 몰입형 시스템 애플리케이션의 일부에 대해 알아보는데, MFPG(다중 사용자 일인칭 게임), 위치 기반 엔터테인먼트, 영화의 가상 현실 등이 포함된다. 이런 응용 영역에서 신기술을 갖출 때 제기되는 강점과 함께 해결해야 할 과제도 강조한다.
14장. '건축과 건설'에서는 증강과 몰입형 디스플레이로 디자인 시각화, 커뮤니케이션, 프로젝트 관리 과제를 해결하는 폭넓고 다양한 방식을 묘사하는 사례 연구를 다룬다.
15장. '과학과 공학'에서는 우주 시스템, 군함 건조, 자동차, 해양, 원자 공학 등 폭넓고 다양한 영역에서 이 기술의 지속적인 실제 응용을 탐구한다.
16장. '의료와 제약'에서는 전통적으로 활용하는 방법에 비해 신기술 솔루션이 가진 강점과 혜택을 위주로 의사의 수련, 외상 후 스트레스 장애(PTSD)와 공포증 치료, 혈관 이미징, 의료용 인포매틱 같은 영역에서 증강과 몰입형 디스플레이가 어떻게 응용되는지 살펴본다.
17장. '항공우주와 방위'에서는 증강과 몰입 디스플레이, 공간 음향, 촉각, 포스 피드백 시스템을 이용해 우주 비행사를 훈련시키는 제트기처럼 복잡한 기기를 제어할 때 사람의 인지 체계의 강점을 활용하고, 전장에서 병사의 능력과 상황 인지를 증강시켜주는 사례 연구를 담았다.
18장. '교육'에서는 손을 이용하는 기술 훈련에서 증강과 몰입형 시스템이 큰 영향을 미치는 기존 애플리케이션을 알아보고, 건축처럼 복잡한 분야와 아동용 경험 학습에서 추상적 개념의 학습을 돕는 방식을 살펴본다.
19장. '정보 제어와 빅데이터 시각화'에서는 여러 과학적 연구와 사업 운영에서 나오는 대량의 데이터셋을 시각화, 조작, 조회하는 몰입형 디스플레이 애플리케이션을 살펴본다.
20장. '원격 로봇공학과 텔레프레전스'에서는 반자동 로봇 시스템을 원거리에서 운영하는 상황에서의 고급 시각화 및 제어 기술 애플리케이션의 여러 사례를 탐구한다.

4부, ‘인적 요인과 사회적 고려 사항’은 21장부터 23장까지다.
21장. '인적 요인의 고려 사항'에서는 이런 고급 시각화 도구를 사용할 때 생기는 문제와 물리적 부작용을 살펴보는데, 시각적으로 유발되는 멀미와 이접 운동 및 초점 조절의 충돌에서 생기는 문제 등이다. 이런 영향을 최소화하기 위해 취하는 조치도 강조한다.
22장. '법적, 사회적 고려 사항'에서는 상용 증강, 몰입형 디스플레이 기술에서 비롯되는 근본적인 법적, 사회적, 윤리적 이슈를 검토하는데, 제품 안전, 잠재적인 법정 애플리케이션, 증거 제시, 일인칭 게임의 폭력과 현실성 증가 등이다.
23장. '미래'에서는 장단기 전망, 변화가 가져올 혜택을 중심으로 핵심 실행 컴포넌트에서 발전할 방향을 살펴본다.

한국 독자들에게 에디터가 한국에서 이 책이 번역되고 있다고 알려왔을 때, 나는 무척 기뻤다. 한국 기업들은 이 분야에서 쭉 선두 주자였으며, 지금까지 이 업계에서 일어난 중요한 발전에도 기여한 바 있기 때문이다. 내가 컨설팅했던 삼성뿐 아니라, 기어 VR과 그 밖의 수많은 개별 컴포넌트 기술과 같은 제품 시장의 글로벌 선도 기업군에는 크고 작은 십여 개의 한국 기업이 포진해 훌륭한 하드웨어와 소프트웨어 솔루션의 출시 경쟁을 펼치고 있다. 게다가 한국 정부가 규제 완화와 재정 지원을 통해 이 분야의 발전을 돕고 있으므로, 향후 몇 년간 이 영역에서 한국이 선전할 것으로 기대된다.
나는 25년 전 시애틀의 워싱턴 대학교에서 연구진으로 일하면서 가상 현실과 증강 현실을 연구하기 시작했다. 1990년대 초, 스테레오 헤드마운트 디스플레이를 써보고는 사람이 컴퓨터나 기타 복잡한 정보 시스템과 상호작용하는 데 이 기술이 적용돼 근본적으로 게임의 판도를 바꿔놓을 것을 느꼈다.
사람은 공간 정보 프로세서라고 볼 수 있다. 우리는 주변을 3차원적으로 보고, 듣고, 만지며 이동한다. 우리의 인지 체계는 이런 형태의 정보를 처리하는 데 생리적으로 최적화된 놀라운 장치들로 이뤄져 있다. 이 책에서는 우리를 둘러싼 실제 세계를 인식하고 상호작용하는 데 활용하는 메커니즘을 이해하고, 활용한 연구원과 개발자, 기업들이 아니고서는 불가능했을 이 분야의 핵심 실행 기술의 놀라운 발전을 하나하나 살펴본다. 가상 현실과 증강 현실 기술이 제품 설계에 미친 영향을 잘 보여주는 예 중 하나가 10장에서 다루는 '촉각과 포스 피드백 기기'다. 손가락과 손바닥을 이용해 다른 감각을 자극하는 힘을 기계적으로 만드는 방법을 찾는 대신, 기업들은 피부의 기계적 자극 수용기에서 미세한 전기 자극을 측정하고 분류하고 전달해 중앙 신경계에서 해당 감각을 일으키는 방법을 개발하고 있다.
이 책에서는 현재와 향후 이 분야에서 첨단으로 떠오를 실행 기술의 방향에 대한 탄탄한 기반 지식을 전달하고, 우리가 실제와 가상 세계를 인식하는 메커니즘에 대한 통찰을 제공하며, 그러기 위해 알아야 할 관련 인적 요인도 알아본다. 이 책에서 인용한 400권 이상의 참고 문헌은 대부분 중요한 연구를 다룬 것으로, 특정 주제에 관심이 있는 독자가 더욱 심화된 학습을 할 수 있도록 출처를 밝혀뒀다.
이 분야에 대한 단순한 호기심이 있는 독자든, 올바른 참고 자료를 찾고 있는 소프트웨어나 하드웨어 개발자든, 새로운 매체에 대해 공부해야 하는 관계 부처 직원이든, 이 기술을 사업에 활용할 아이디어를 찾고 있는 회사원이나 기업이라면 이 책은 여러분을 위한 책이다.

대중은 증강 현실(AR)과 가상 현실(VR)에 매력을 느끼지만, 이 시스템이 실제로 어떻게 기능하는지 이해하는 사람은 거의 없다. AR과 VR은 게임과 엔터테인먼트를 더 잘 경험할 수 있는 멋진 기술로 인식되지만, 그 두 분야 이외에는 대중들의 이해도가 높지 않다. 1990년대 초에 처음 관심을 끌었다. 그 후, 20년 만에 이 기술에 관심과 매력을 느끼고 신기술에 익숙한 신세대와 대학생, 전문가들이 출현했다. 하지만 실행 기술을 분명히 설명하고, 사람의 인지 체계가 갖고 있는 강점을 어떻게 활용할 수 있는지, 게임 외에 기존 문제를 해결하는 애플리케이션과 같은 다양한 사례로 보여주는 자료는 상대적으로 적다. 이 책은 바로 그 빈 자리를 채우려 한다.
이 분야의 핵심에 있는 최신 세대 제품을 매우 재능 있는 사람들이 만들고 있지만, 증강 현실과 가상 현실의 진정한 선구자들은 1980년대와 1990년대의 과학적 저술, 기술 개요, 콘퍼런스 발표 자료, 특허 문서에서 찾을 수 있다. 톰 퍼니스, 마크 볼라스, 스티븐 R. 엘리스, 스캇 피셔, 워런 로비넷, 나다니엘 덜라크, 이언 맥도월, 프레드 북스, 헨리 푹스, 엘리자베스 웬젤, 스캇 포스터, 재런 레이니어, 톰 드판티는 연구실에서 묵묵히 작업하며 큰 문제를 해결하고, 혁신적 하드웨어와 소프트웨어 솔루션을 개발하며, 이 기술과 관련한 사람의 인지 능력 문제를 탐구하고, 현재 다시 부상 중인 이 분야의 토대를 닦았다. 나도 이들의 연구를 바탕으로 연구했다.

스티븐 옥스타칼니스(Steven Aukstakalnis)

국립 과학 재단 공학 조사 센터(National Science Foundation Engineering Research Center)에서 컴퓨터 기반 필드 시뮬레이션의 가상 환경 및 쌍방향 시스템 프로그램 디렉터였다. 워싱턴대학교와 미시시피 주립대학교의 학부 전문 연구원으로 재직했다. 이 책을 쓰기 전에 가상 현실과 쌍방향 시스템을 주제로 두 권을 썼다. 그중, 『Silicon Mirage』(Peachpit Pr, 1992)는 여섯 개 언어로 출간돼, 전 세계에서 교재로 채택됐다. 여러 대학, 기업, 정부 기관으로 초청받는 강연자이자 연구원이다. 사우스 플로리다에 살고 있으며 카약과 항해의 실력자이기도 하다.

고은혜

동국대학교에서 영어영문학을 전공했다. 졸업 후 12년간 서구권 TV 애니메이션 제작사에서 통번역을 담당하면서 미디어 콘텐츠 분야의 경력을 쌓았다. 이후 게임 개발/퍼블리셔 웹젠(Webzen)에서 영미권 개발 스튜디오의 게임 개발 자료(design documents) 번역부터 시작해 게임 로컬라이제이션으로 영역을 넓혔다. 미국의 게임 개발사 라이엇 게임즈(Riot Games)에서 로컬라이제이션 팀장으로 일하면서 4년여간 인기 온라인 게임 '리그 오브 레전드(League of Legends)'의 한국 런칭부터 제반 게임 콘텐츠의 한글화를 총괄했다. 현재 프리랜서 번역가로 게임 분야를 비롯한 IT 서적을 번역하고 있으며, 『Augmented Reality』(에이콘, 2017), 『게임, 디자인, 플레이』(정보문화사, 2017) 등을 번역했다. 독립 IT 기술자의 저술 강연 상호부조 네트워크 GoDev의 일원이다.

최윤석

엠파스, SK커뮤니케이션즈, 링크나우, 야후, KT 하이텔, 네오위즈 인터넷 등 여러 인터넷 기업에서 검색, 소셜 네트워크, 미디어, 게임, 음악, 결제 분야의 분석, 기획, 전략, 마케팅 업무를 담당했다. 현재는 신세계 I&C를 거쳐, 이마트에서 소매, 전자상거래 분야의 연구 개발 업무를 맡고 있다. 서울대 불어불문학과를 졸업한 후 동 대학원을 수료했다.