저자가 작성했던 블로그 글인 “스트리밍 101”에서 시작해 스트리밍 데이터 처리 시스템을 구축하고 사용하는 데 필요한 주요 개념을 “무엇”, “어디서”, “언제”, “어떻게”라는 네 가지 질문 위에 차근히 쌓아간다. 특정 시스템이나 문맥 안에서 부정확하게 쓰이는 개념을 분리해 명확히 전달하고 실제 사례에 어떻게 적용하는지 보여준다. 스트리밍 데이터 처리를 위해 어떤 시스템을 선택하든 개념을 확고하게 이해하는 것은 시스템을 이해하는 데 단단한 지반이 돼 줄 것이다.

“스트리밍과 배치 처리의 정확성에 관심이 있다면 반드시 읽어봐야 한다. 지금까지 봐온 책 중 해당 주제에 대해 가장 명확한 사고와 논리적 토론을 보여주며, 설명도 훌륭하다.”

■ 스트리밍 및 배치 데이터 처리 패턴 차이
■ 강력한 비순서 데이터 처리(out-of-order data processing) 개념과 핵심 원칙
■ 워터마크를 통해 무한 데이터셋(infinite dataset)의 진행 정도와 완결 추적 방법
■ 정확히 한 번 처리(exactly-once processing) 기법의 정확성 보장 방법
■ 스트림과 테이블의 개념이 배치 및 스트리밍 데이터 처리의 토대를 이루는 방법
■ 실제 사례로 알아보는 강력한 영구적 저장 상태(persistent state)의 실질적인 목적
■ 시간 변이 관계를 통해 스트림 처리를 친숙한 SQL 및 관계 대수와 연결 짓는 방법

이론적이고 플랫폼에 구애받지 않고도 스트리밍 데이터를 처리하는 방법을 배우고 싶은 데이터 엔지니어와 데이터 과학자, 개발자에게 적합하다.

크게 두 부분으로 나뉜다. 각 부는 4개의 장으로 구성돼 있고, 각 장은 상대적으로 독립된 장이 하나씩 따라오는 구조다.

1부는 빔 모델 (1~4장)을 다룬다. 이 모델은 높은 수준의 배치 및 스트리밍 데이터 처리 모델에 중점을 두고 있으며, 현재 업계 대부분의 시스템에서 전체 또는 부분적인 모습으로 이 모델을 만날 수 있다. 빔 모델은 다음 4개의 장으로 구성돼 있다.
1장, ‘스트리밍 101’에서는 스트림 처리의 기본을 다루고, 몇 가지 용어를 정의한다. 스트리밍 시스템이 갖춘 능력을 설명하고, 중요한 두 시간 영역(처리 시간(processing time)과 이벤트 시간(event time))을 구분하고, 몇 가지 일반적인 데이터 처리 패턴을 살펴본다.
2장, ‘데이터 처리의 무엇을, 어디에, 언제, 어떻게’에서는 비순서 데이터(out-of-order data)에 대한 강력한 스트림 처리의 핵심 개념을 상세히 다룬다.
3장, ‘워터마크(슬라바 집필)’에서는 워터마크를 생성하는 방법, 워터마크가 파이프라인으로 전파되는 과정을 상세히 다루고, 실제 워터마크 구현체 둘을 자세히 설명한다.
4장, ‘고급 윈도우’에서는 2장에서 중단했던 부분부터 시작해 처리 시간 윈도, 세션(session), 트리거(trigger) 같은 고급 윈도 및 트리거 개념을 자세히 알아본다.
5장, ‘”정확히 한 번” 보장과 부작용’에서는 종단간 “정확히 한 번” 또는 “실질적으로 한 번(effectively-once)” 처리를 제공하는 데 겪는 어려움을 설명하고, “정확히 한 번” 처리에 접근하는 세 가지 다른 방법을 아파치 플링크(Apache Flink), 아파치 스파크(Apache Spark), 구글 클라우드 데이터플로우 구현을 통해 소개한다.

2부, 스트림 및 테이블(6~9장)에서는 개념적으로 깊게 들어가 스트림 처리의 내부를 ‘스트림과 테이블’을 통해 바라보는 방법을 다룬다.
6장, ‘스트림과 테이블’에서는 스트림과 테이블의 기본적인 아이디어를 전달하고, 스트림과 테이블이라는 렌즈로 기존 맵리듀스 동작을 분석한다. 또한 이를 빔 모델 전반을 넘어서는 범위에 적용할 수 있도록 충분히 일반화한 스트림/테이블 이론을 구성해본다.
7장, ‘영구적인 저장 상태의 실용성’에서는 스트리밍 파이프라인에서 영구적인 저장 상태(persistent state)가 필요한 이유를 살펴본다. 그리고 흔히 만날 수 있는 암묵적인 상태 둘과, 일반화된 상태 관리 방법이 갖춰야 하는 특성을 알 수 있게 해주는 실질적인 사용 사례(광고 어트리뷰션)를 분석해본다.
8장, ‘스트리밍 SQL’에서는 관계대수(relational algebra)와 SQL의 문맥에서 스트리밍이 갖는 의미를 살펴본다. 이후 빔 모델과 고전적인 SQL 내에 존재하는 고유의 스트림 및 테이블 편향을 비교해 보고, SQL에 강력한 스트리밍 처리를 통합하기 위한 일련의 방법을 제안한다.
9장, ‘스트리밍 조인’에서는 다양한 조인(join) 유형을 설명하고, 스트리밍이라는 문맥 안에서 그 행동을 분석해본다. 또한 시간 유효성 윈도우(temporal validity window)라는 유용하지만 현재로서는 잘 지원되지 않는 사례를 상세히 살펴볼 것이다.
10장, ‘대용량 데이터 처리의 진화’에서는, 데이터 처리 시스템의 역사를 맵리듀스 계열 시스템에 집중해 다루고, 스트리밍 시스템이 오늘날의 모습으로 진화하는 데 기여한 중요한 내용을 살펴본다.

오늘날 빅데이터 분야에서 스트리밍 데이터 처리(streaming data processing)가 주목을 받고 있다. 점점 더 많은 기업이 세계적인 규모의 대규모 무한 데이터셋(unbounded data set)을 다루고 싶어하며, 스트리밍 시스템은 주류로 채택될 만큼 충분히 성숙한 단계에 이르렀다. 이 책이 제공하는 실용적인 가이드를 통해 데이터 엔지니어는 물론 데이터 과학자와 개발자는 개념적이고 플랫폼에 구애받지 않는 방법으로 스트리밍 데이터를 처리하는 방법을 배울 수 있다.

타일러 아키다우(Tyler Akidau)

구글(Google)의 선임 소프트웨어 엔지니어다. 데이터 처리 언어 및 시스템 그룹의 기술 책임자로서 구글 내 아파치 빔(Apache Beam), 구글 클라우드 데이터플로우(Google Cloud Dataflow), 구글 플럼(Google Flume), 맵리듀스(MapReduce), 밀휠(MillWheel)과 같은 내부 데이터 처리 도구 개발을 담당하고 있다. 그는 아파치 빔 PMC 창립 멤버이기도 하다. 스트림 처리의 능력과 중요성에 대해 열정을 갖고 목소리를 높이지만 배치와 스트리밍은 동전의 양면과 같다고 굳게 믿으며, 데이터 처리 시스템의 최종 모습은 둘 사이의 매끄러운 결합이라고 생각한다. 오라일리(O'Reilly) 웹사이트에 있는 "Dataflow Model(http://bit.ly/2sXgVJ3)”, "Streaming 101(http://oreil.ly/1p1AKux)”, "Streaming 102(http://oreil.ly/1TV7YGU)”의 저자이기도 하다. 카고 자전거로 두 딸을 태우고 달리는 것을 즐긴다.

슬라바 체르냑(Slava Chernyak)

구글 시애틀 지사의 선임 소프트웨어 엔지니어이다. 구글의 내부 대규모 스트리밍 데이터 처리 시스템을 위해 6년 이상의 시간을 보냈으며, 구글 클라우드 데이터플로우의 차세대 스트리밍 백엔드인 윈드밀(Windmill)을 처음부터 설계하고 구축하는 데 참여했다. 대규모 스트림 처리가 더 많이 유용하게 쓰이도록 하는 일에 열정을 다하고 있다. 스트리밍 시스템과 관련된 작업을 하지 않을 때는 태평양 북서부의 자연의 아름다움을 즐기고 있다.

루벤 락스(Reuven Lax)

구글 시애틀 지사의 선임 소프트웨어 엔지니어이며, 지난 10년간 구글의 데이터 처리 및 분석 전략을 수립하는 데 도움을 줬다. 예전에는 밀휠 팀의 오랜 멤버이자 리더로서, 최근에는 윈드밀 팀을 설립하고 이끌면서, 구글의 짧은 지연 시간을 갖는 스트리밍 데이터 처리 활동에 집중해왔다. 빔 PMC 멤버이기도 하다. 구글의 데이터 처리 경험을 더 큰 세계에 알리게 돼 매우 기쁘게 생각하며, 2013년 「MillWheel」 논문(http://bit.ly/2yab5ZH)과 2015년 「Dataflow Model」 논문(http://bit.ly/ 2sXgVJ3)을 발표하는데 기여했다. 직장에 있지 않을 때는 스윙 댄스, 암벽 등반, 탐험을 즐긴다.

현재 엄청난 대규모 데이터가 생성되고 이러한 빅데이터를 처리하고 분석하기 위한 요구가 점점 늘어가고 있다. 기존 빅데이터를 축적해 배치로 처리하는 방식에서 실시간으로 빅데이터를 처리하기 위해 스트리밍 시스템에 대한 관심과 요구가 증가하고 있다. 이 책은 스트리밍 시스템과 스트리밍 데이터 처리를 위한 개념과 원리를 잘 설명하고 있으며, 이를 활용하고 사용하는 방법에 대한 실무적인 내용을 포함하고 있다. 책을 다 읽고 나면 스트리밍 시스템과 스트리밍 데이터 처리에 대한 한 차원 높은 지식을 갖게 될 것이다.

이덕기

LG전자, KAIST 스마트 IT 융합시스템 연구단을 거쳐 현재는 연암공과대학교 스마트소프트웨어학과 교수로 재직하며 IoT/빅데이터 관련 강의와 연구를 하고 있다.

전웅

삼성전자, 네이버, LG전자를 거쳐 현재는 스타트업에서 여러 서비스 개발에 몰두하고 있다. 새로운 것 배우기를 즐기며, 특히 실제의 다양성을 아우르는 이론적 개념에 관심이 많다.