어반 컴퓨팅은 현재 대도시가 직면한 주요 문제(대기 오염, 에너지 소비, 교통 혼잡)들을 해결하기 위해 도시에서 생성되는 다양한 종류의 데이터를 수집, 통합, 분석하는 프로세스다. 이 책에서는 어반 컴퓨팅 프레임워크를 활용해서 도시와 삶의 특성을 이해하고, 더 나아가 미래의 삶을 예측해볼 것이다.
또한 궁극적으로 사람과 환경, 도시 운영 시스템 간의 상생, 즉 3 윈(win-win-win)을 추구한다. 이 책에서 설명하는 어반 컴퓨팅 범용 프레임워크를 통해 어반 컴퓨팅의 개요와 총론에 가까워질 수 있을 것이다.

“종합적이고, 시의적절하며, 자세하고 세심한 내용을 다루는 훌륭한 책이다.”
- 오리 울프슨(Ouri Wolfson)/ 시카고 일리노이 대학교 컴퓨터 과학 Richard & Loan Hill 교수

“전 세계적으로 도시화가 진행되면서 점점 더 많은 사람이 도시, 대도시, 도시 지역에 살고 있으며, 도시는 더욱더 세계적인 주제로 변화되고 있다. 이러한 도시의 개발과 정보 기술의 발전은 사회 프로세스의 완전한 디지털화를 이끌었다. 이와 같은 상황에서 정(Zheng)의 시의적절한 책은 도시 사람들이 직면하고 있는 다양한 환경, 이동성, 구조적 문제를 해결하는 데 중요한 역할을 하는 어반 컴퓨팅의 핵심을 다루고 있다.”
- 크리스찬 젠슨(Christian S. Jensen)/ 올보르그 대학교 컴퓨터 과학 Obel 교수

“도시 센싱, 데이터 수집, 데이터 관리, 데이터 분석, 머신러닝 및 지식 융합과 같은 도시 데이터 과학에 대한 뛰어난 커버리지를 갖춘 최초의 어반 컴퓨팅 종합 교과서다. 이 책을 강력히 추천하고 학생들과 공유할 수 있기를 기대한다.”
- 지아웨이 한(Jiawei Han)/ 어바나-샴페인 일리노이 대학교 컴퓨터 과학 Abel Bliss 교수

고학년 학부생, 대학원생, 연구원, 전문가를 대상으로 하며 해당 분야를 구성하는 주요 기본 사항과 고급 주제를 다룬다. 연구원과 애플리케이션 개발자에게는 도시 감지, 도시 데이터 관리, 도시 데이터 분석, 제공된 서비스의 일반적인 개념과 기술, 애플리케이션에 대한 포괄적인 개요를 소개한다. 흥미로운 분야를 탐색해 더 친환경적이고 스마트한 도시를 만들 수 있는 새로운 방법을 배우고 애플리케이션을 개발할 수 있도록 도와준다. 또한 학생뿐만 아니라, 관심 있는 독자에게 각광 받는 연구 분야의 최근 발전에 대한 총론을 소개한다.

어반 컴퓨팅의 프레임워크를 기반으로 설명하며 크게 개념 및 프레임워크, 어반 센싱, 데이터 수집, 도시 데이터 관리, 도시 데이터 분석으로 구성된다.

1부인 1장과 2장에서 어반 컴퓨팅의 개요를 다룬다.
1장, ‘개요’에서는 어반 컴퓨팅의 핵심 개념과 프레임워크를 소개하고, 컴퓨터 과학의 관점으로 프레임워크 각 계층의 주요 과제를 논한다. 도시의 데이터를 수집해 데이터 구조와 시공간 속성과 관련된 6가지 범주로 분류한다. 일부 공개 도시 데이터 집합도 다룬다.
2장, ‘어반 컴퓨팅 애플리케이션’에서는 교통, 도시 계획, 환경 보호, 에너지, 경제, 공공 보안과 사회 및 엔터테인먼트로 구성된 다양한 영역에서 어반 컴퓨팅의 일반적인 애플리케이션을 다룬다. 이러한 애플리케이션은 해당 분야에 시야를 넓혀 주고 새로운 연구 주제를 제안하며 신규 아이디어를 만든다.

2부에 해당하는 3장에서는 데이터의 출처와 수집을 다룬다.
3장, ‘어반 센싱’에서는 정적 센싱(static sensing), 모바일 센싱(mobile sensing), 수동 크라우드 센싱(passive crowd sensing), 능동 크라우드 센싱(active crowd sensing)으로 구성된 4가지 어반 센싱 패러다임(paradigms of urban sensing)을 소개한다. 처음 2개의 패러다임은 센서-기반 센싱(sensor-centric sensing) 범주에 속하며, 나머지는 사용자-기반 센싱(human-centric sensing)과 관련 있다. 센서-기반 센싱 패러다임에 대해서는 4가지의 센서 배치 모델을 다룬다. 사용자-기반 센싱 패러다임은 참가자 모집 및 작업 설계 기술을 다룬다.
마지막으로 지오 센싱된 데이터의 결측값을 채우고자 공간 모델, 시간 모델 그리고 시공간 모델로 구성된 3가지 범주의 모델을 제시한다.

3부는 4장, 5장, 6장으로, 공간 및 시공간 데이터 관리를 다룬다. 기본 인덱싱 및 검색 알고리즘에서 시작하고 클라우드 컴퓨팅 플랫폼을 사용해 공간 및 시공간 데이터를 관리하는 기술을 논의한다.
4장, ‘시공간 데이터 관리’에서는 먼저 그리드(grid)-기반 인덱스, 쿼드트리(quadtree)-기반 인덱스, K-d 트리, R-트리로 구성된 인덱싱 구조를 다룬다. 해당 인덱싱 구조는 인덱싱 생성, 시공간 범위 쿼리 제공, 최근접 이웃 쿼리 제공, 인덱스 업데이트로 구성된 시공간 데이터를 사용한다. 그다음 이동하는 객체(moving-object) 데이터베이스 및 이동 경로 데이터 관리로 구성된 시공간 데이터 관리 기법을 다룬다. 이동하는 객체는 특정 시간대(일반적으로 최근)의 특정 지역을 이동하는 객체와 관련된다. 이동 경로 데이터는 이동하는 객체가 특정 시간대에서 통과한 연속적인 이동(예: 경로)에 관한 것이다. 이동하는 객체 데이터베이스와 관련해서 3가지 유형의 쿼리와 2가지의 인덱싱 접근법을 소개한다. 첫 번째 인덱싱 접근법은 각 타임스탬프에 공간 인덱스를 생성하고 연속적인 시간대 동안 인덱스의 변경되지 않은 하부 구조를 재사용한다. 다른 인덱싱 접근법은 공간 인덱싱 구조를 2차원 공간 데이터 관리에서 3차원 시공간 데이터로 확장해 시간을 3차원으로 취급한다. 이동 경로 데이터 관리와 관련해 이동 경로 데이터에 대해 설계된 다른 거리 메트릭(metric)뿐만 아니라 범위 쿼리(range queries), k-최근접 이웃 쿼리(k-nearest neighbor queries) 및 경로 쿼리(path queries)로 구성된 3가지 유형의 쿼리가 제공된다. 마지막으로 다양한 데이터 집합을 처리하는 데 필요한 하이브리드 인덱싱 구조를 다룬다.
5장, ‘클라우드 컴퓨팅 소개’에서는 스토리지, 컴퓨팅, 애플리케이션 인터페이스 관점에서 클라우드 컴퓨팅 플랫폼의 주요 요소를 다룬다. 각 구성 요소의 프레임워크와 이를 사용하기 위한 일반적인 절차는 마이크로소프트 애저를 대표적인 플랫폼으로 사용해 설명한다. 애저의 스토리지는 추가로 SQL Server, Azure Storage, Redis로 구성된다. 애저 컴퓨팅 리소스는 Virtual Machine, Cloud Services, HDInsight로 구성된다. HDInsight는 하둡, 스파크, 스톰을 포함하는 대규모 데이터 전처리, 데이터 관리 그리고 마이닝을 수행하는 애저의 분산 컴퓨팅 컴포넌트다. 애저의 애플리케이션 인터페이스는 Web Apps, Mobiles Apps, API Apps로 구성된다. 해당 컴포넌트를 통해 어반 컴퓨팅 애플리케이션을 원활하고 안정적으로 구현할 수 있다.
6장, ‘클라우드에서 시공간 데이터 관리’에서는 시공간 데이터의 6가지 유형에 맞게 각각 설계돼 현재 사용 중인 클라우드 컴퓨팅 플랫폼을 효과적으로 활용해 대규모의 동적 시공간 데이터를 관리할 수 있는 데이터 관리 체계를 소개한다. 각 데이터 유형은 공간적 또는 시공간적 인덱스의 사용 여부, 분산형 시스템 활용 여부에 따라 4가지 종류의 데이터 관리 체계를 나타낸다. 가장 진보된 데이터 관리 체계(4가지 체계 중)는 공간 및 시공간 인덱스(예: 그리드 기반 인덱스, R-트리 및 3D R-트리)를 HDInsight의 스파크 및 스톰과 같은 분산 컴퓨팅 시스템에 통합한다. 해당 체계는 양쪽의 장점을 결합해 더 적은 컴퓨팅 자원을 사용하는 동시에 더 큰 규모의 시공간 데이터를 더 효율적으로 처리할 수 있게 해준다.

7장, 8장, 9장, 10장으로 구성된 4부는 도시 빅데이터의 마이닝 지식에 대한 기본 기술과 고급 주제를 소개한다. 기초적인 데이터 마이닝 알고리즘에서부터 시공간 데이터를 위해 설계된 고급 머신러닝 기법과 크로스 도메인 지식 융합 방법을 적용한다. 관련 데이터 집합 선택(selecting relevant datasets), 경로 데이터 마이닝(trajectory data mining), 데이터베이스 기술과 머신러닝 모델의 결합(combining database techniques with machine-learning models), 인터랙티브 시각 데이터 분석과 같은 일부 고급 주제도 어반 컴퓨팅에 활용된다.
7장, ‘어반 데이터를 위한 기본적인 데이터 마이닝 기술’에서는 데이터 전처리 및 데이터 분석으로 구성된 데이터 마이닝의 범용 프레임워크를 소개한다. 데이터 전처리는 데이터 정제, 데이터 전환, 데이터 통합으로 추가 구성된다. 데이터 분석은 다양한 데이터 마이닝 모델, 결과 표현 및 평가로 추가 구성된다. 모델의 동작 방식을 기반으로 데이터 마이닝 모델은 빈번한 패턴 마이닝(frequent pattern mining), 클러스터링, 분류, 회귀 분석, 이상치 탐지의 5가지 주요 범주로 나눌 수 있다. 각 모델 범주와 관련해서 공간 및 시공간 데이터에서 지식을 마이닝하는 맥락 안에서 모델의 일반적인 개념과 구체적인 예시를 보여준다.
8장, ‘시공간 데이터를 위한 고급 머신러닝 기술’에서는 이미지 및 텍스트 데이터와 비교해 시공간 데이터의 고유한 속성을 먼저 설명한다. 공간 속성은 공간 거리(spatial distance)와 공간 계층(spatial hierarchy)으로 이뤄진다. 시간적 특성은 시간적 근접성(temporal closeness), 기간 및 추세(trend)로 구성된다. 이러한 고유 속성은 시공간 데이터를 위해 특별히 설계된 고급 머신러닝 알고리즘이 필요하다. 그다음 시공간 데이터의 맥락에서 협업 필터링(collaborative filtering), 행렬 분해(matrix factorization), 텐서 분해, 확률론적 그래픽 모델(probabilistic graphical models), 딥러닝, 강화학습으로 구성된 6가지 범주의 머신러닝 알고리즘 원리를 소개한다. 머신러닝 알고리즘이 어떻게 시공간 데이터를 처리하도록 조정돼야 하는지를 보여주는 다양한 예시를 제공한다. 예를 들어, 결합 행렬 분해(coupled matrix factorization)는 위치 추천(location recommendations)과 교통 상황 추정(traffic condition estimations)에 활용된다. 베이지안 네트워크는 교통량 추정, 맵 매칭 수행, 지역의 잠재 기능(latent function)을 발견하기 위해 각각 사용된다. 일부 마르코프 랜덤 필드(Markov random fields)는 사용자의 이동 방법(transportation modes) 및 지역의 대기질을 예측하기 위해 설계된다. 도시 전체의 모든 지역에서 군중의 흐름을 예측하려고 설계된 특정 딥러닝 모델 또한 사용된다.
기존의 데이터 마이닝은 일반적으로 단일 도메인의 데이터를 처리했다. 빅데이터 분야에서는 서로 다른 도메인의 다양한 소스에서 여러 데이터 집합을 사용한다. 데이터 집합은 다양한 양식으로 구성되며, 각 양식은 서로 다른 표현, 분포, 스케일 및 밀도를 갖는다. 여러 데이터 집합의 결합을 통해 결측값 보완(missing values), 미래 예측(predicting the future), 인과 관계 추론(inferring causality), 객체 프로파일링(profiling objects), 순위 지정(ranking) 및 이상 탐지(detecting anomalies)를 수행한다. 빅데이터 연구에서 기존의 데이터 마이닝 작업과 빅데이터를 구분하는 핵심적인 요소는 다양한 (그러나 잠재적으로 연결된) 데이터 집합에서 인사이트를 얻는 것이 가장 중요하다. 이러한 작업은 다양한 데이터 집합의 지식을 머신러닝 및 데이터 마이닝 작업 유기적으로 융합할 수 있는 고급 기법이 필요하다.
9장, ‘크로스 도메인 지식 융합’에서는 스테이지 기반, 특징 레벨 기반(feature level-based), 시맨틱 의미 기반(semantic meaning-based) 기법으로 구성된 지식 융합 방법의 3가지 범주를 소개한다. 융합 기법의 마지막 범주는 추가로 멀티-뷰 학습 기반, 유사성 기반, 확률적 의존성(probabilistic dependency) 기반 및 전이학습 기반 방법의 4가지 그룹으로 나뉜다. 이러한 방법들은 스키마 매핑과 데이터 통합보다는 지식 융합에 초점을 맞추며, 데이터베이스 커뮤니티에서 연구된 기존 데이터 융합 방식과 매우 다르다. 여기에서는 각 범주의 고수준 기법뿐만 아니라 실제 빅데이터 문제를 해결하는 데 사용되는 중요 예시를 소개한다.
또한 10장, ‘어반 데이터 분석의 고급 주제’에서는 프레임워크에 기존 작업을 포함해 다양한 지식 융합 기법 사이의 관계와 차이점을 살펴본다. 우선 어반 컴퓨팅 문제를 고려할 때 일반적으로 주어진 문제를 해결하고자 어떤 데이터 집합을 선택할 것인지 결정해야 한다. 적절한 데이터 집합을 선택하면 효율적이고 효과적으로 문제를 해결할 수 있다. 두 번째, 이동 경로 데이터는 복잡한 데이터 모델을 가지며 이동하는 객체에 대한 자세한 정보를 포함한다. 해당 객체는 특정 데이터 마이닝 기법을 사용해야 한다. 세 번째, 대규모 데이터 집합에서 지식을 추출하려면 효율적인 데이터 관리 기술과 효과적인 머신러닝 모델이 모두 필요하다. 어반 컴퓨팅 과제를 완성하기 위해서는 해당 기술의 유기적 통합이 필수적이다. 결과적으로 어반 컴퓨팅 문제를 해결하는 데 데이터 과학과 도메인 지식이 모두 필요하다. 인간 지능을 어떻게 기계 지능에 접목시킬 것인가 하는 것은 토론할 가치가 있는 중요한 주제다. 인터랙티브 시각 데이터 분석을 통해 해당 주제를 다룰 것이다.
이 책이 새롭게 발전하고 있는 어반 컴퓨팅 분야의 유용한 개요와 실용적인 자습서가 되기를 바란다.

유 정(Yu Zheng)

중국 징둥 파이낸스(JD Finance)의 부사장 겸 수석 데이터 과학자이며, 어반 컴퓨팅 비즈니스 유닛(Urban Computing Business Unit)의 사장이다. 또한 어반 컴퓨팅 랩(Urban Computing Lab)의 책임자다. 상하이 자오통 대학(Shanghai Jiao Tong University)의 석좌 교수이며, 홍콩 과학기술대학(Hong Kong University of Science and Technology)의 겸임 교수도 역임하고 있다. 현재 ACM의 의 책임 편집자이며, 『Computing with Spatial Trajectories』(Springer, 2011)의 공동 편집자다.

현대는 모든 것이 연결되고 통합되는 시대다. 그로 인해 빅데이터와 AI가 각광을 받고 있다. 이제 빅데이터와 AI는 우리 삶의 실제적인 부분까지도 영향을 주고 있는데, 그중에서도 어반 컴퓨팅은 도시와 삶의 빅데이터를 연구하는 분야다.
어반 컴퓨팅은 이 책의 저자 유 정(Yu Zheng) 박사가 이끈 마이크로소프트 연구 프로젝트이기도 하다. 저자는 빅데이터를 활용해 도시의 문제점을 해결하고자 많은 연구를 진행해 왔다. 어반 컴퓨팅도 그 노력의 결과 중 하나다. 어쩌면 어반 컴퓨팅 분야의 창시자가 직접 쓴 책이라고도 할 수 있다. 그만큼 자세한 설명과 풍부한 자료가 포함돼 있다.
어반 컴퓨팅은 어쩌면 아직은 낯설지만 흥미로운 분야다. 어반 컴퓨팅은 도시에서 수집되는 다양한 빅데이터를 활용해 대도시의 문제를 해결해 나가는 과정을 상세히 설명한다. 이를 통해 도시의 현재를 조명하고 미래를 예측하는 것이 어반 컴퓨팅의 목표다. 예를 들어, 사람들의 모바일 데이터를 활용해 도시 계획을 개선하고 지하철역의 이동 데이터를 수집해서 출퇴근 패턴을 확인한다. 또한 대기질과 도로의 교통량을 예측한다. 이미 뉴욕과 시카고 같은 몇몇 대도시는 도시의 데이터셋을 공개해서 언제든지 도시 데이터에 접근할 수 있다. 이 책을 통해 어반 컴퓨팅에 대한 흥미와 새로운 분야를 탐색할 수 있는 기회를 갖게 되길 희망해 본다.

최만균

한국과 뉴질랜드에서 12년 동안 IT 관련 일을 하고 있다. 한국에서는 네트워크 및 보안 분야 엔지니어로 근무하며, 다수의 국내외 대기업 및 정부 프로젝트에 참여했다. 뉴질랜드에서는 기업의 소프트웨어 테스팅, 자동화 테스팅 및 웹 보안 업무를 수행하고 있다. 또한 빅데이터 분석, AI 활용, 클라우드 보안에 관심이 많다.
매일같이 오라일리(Oreilly)와 미디엄(Medium) 사이트를 누비며 다양한 원서와 영문 아티클을 통해 끊임없이 공부하며 연구하고 있다. 기술 관련 도서 번역을 제2의 직업으로 생각하며, 『사이버 보안』(에이콘, 2019)을 번역했고, 앞으로도 다양한 원서를 번역하고자 하는 목표가 있다.