스트림 처리를 원하는 모든 개발자를 위한 책이다. 카프카 스트림즈 API로 스트림 처리 프로그램을 빠르고 쉽게 만드는 것부터 시작해서 프로세서 API로 저수준 제어가 가능한 스트림 처리 프로그램도 만들어 본다. 카프카 커넥트를 사용해 기존 데이터소스를 얼마나 쉽게 스트림에 연결할 수 있는지도 살펴본다. 스트림 처리 상태를 저장하는 KTable API를 살펴보고 모니터링, 디버깅 같은 프로덕션 적용 시 고려해야 하는 실질적인 문제도 살펴본다. 마지막으로 프로그래밍 코드를 이해하지 못하는 분석가도 KSQL을 이용해서 실시간 분석을 할 수 있는 방법을 소개한다.

█ KStream API 사용하기
█ 데이터 필터링, 변환 및 분할
█ 프로세서 API로 작업
█ 외부 시스템 통합

스트림 처리를 원하는 모든 개발자를 대상으로 하는 책이다. 분산 프로그래밍 지식과 카프카에 대한 지식은 필수는 아니지만 유용할 것이다. 숙련된 카프카 개발자뿐만 아니라 새 카프카 개발자도 카프카 스트림즈를 사용해 매력적인 스트림 처리 애플리케이션을 개발하는 방법을 배우게 될 것이다.

이 책은 9개의 장에 걸쳐 4개의 부로 나뉘어 있다. 1부에서는 카프카 스트림즈의 정신 모델을 소개해 어떻게 작동하는지 전체적으로 보여준다. 또한 카프카가 필요하거나 리뷰를 원하는 사람들을 위해 카프카의 기초를 제공한다.
■ 1장 ‘카프카 스트림즈 시작하기’에서는 실시간 데이터를 대규모로 처리하기 위해 스트림 처리가 필요한 이유와 방법론의 일부 이력을 제공한다. 또한 카프카 스트림즈의 정신 모델을 제시한다. 어떤 코드도 다루지 않고 카프카 스트림즈의 작동 방식을 설명한다.
■ 2장 ‘빠르게 살펴보는 카프카’ 이 책은 카프카를 처음 접하는 개발자를 위한 입문서다. 카프카에 대한 경험이 많은 사람은 이 장을 건너뛰고 카프카 스트림즈로 들어갈 수 있다.

2부는 카프카 스트림즈로 이동해서 API의 기초부터 시작해 더 복잡한 기능으로 계속 진행한다.
■ 3장 ‘카프카 스트림즈 개발’에서는 Hello World 애플리케이션을 제시하고 좀 더 현실적인 예제인 고급 기능을 포함하는 가상 소매 업체를 위한 애플리케이션 개발을 제시한다.
■ 4장 ’스트림과 상태’에서는 상태에 대해 설명하고 스트리밍 애플리케이션에 필요한 상황을 설명한다. 카프카 스트림즈에서 상태 저장소 구현 및 조인을 수행하는 방법에 대해 배울 것이다.
■ 5장 ‘KTable API’에서는 테이블과 스트림의 이중성을 살펴보고 새로운 개념인 KTable을 소개한다. KStream이 이벤트 스트림인 반면, KTable은 관련된 이벤트 스트림 또는 업데이트 스트림이다.
■ 6장 ‘프로세서 API’에서는 저수준의 프로세서 API에 관해 살펴본다. 지금까지 고수준 DSL로 작업해왔지만 여기서는 애플리케이션의 사용자 정의 부분을 작성해야 할 때 프로세서 API를 사용하는 방법을 배우게 될 것이다.

3부는 카프카 애플리케이션 개발에서 카프카 스트림 관리까지 이동한다.
■ 7장 ‘모니터링과 성능’에서는 카프카 스트림즈 애플리케이션을 테스트하는 방법을 설명한다. 전체 토폴로지를 테스트하고, 단일 프로세서를 유닛을 테스트하며, 통합 테스트에 내장된 카프카 브로커를 사용하는 방법을 배우게 될 것이다.
■ 8장 ‘카프카 스트림즈 애플리케이션 테스트’에서는 레코드를 처리하는 데 걸리는 시간을 확인하고 잠재적인 처리 병목 지점을 찾는 방법을 살펴보면서 카프카 스트림즈 애플리케이션을 모니터링하는 방법을 다룬다.

4부는 카프카 스트림즈의 고급 애플리케이션 개발을 탐구하는 책의 핵심이다.
■ 9장 ‘카프카 스트림즈 고급 애플리케이션’에서는 카프카 커넥트를 사용해 기존 데이터 소스를 카프카 스트림에 통합하는 방법을 다룬다. 스트리밍 애플리케이션에 데이터베이스 테이블을 포함하는 방법을 배울 것이다. 그런 다음, 대화식 쿼리를 사용해 관계형 데이터베이스 없이 카프카 스트림즈를 통해 데이터가 흐르는 동안 시각화 및 대시보드 애플리케이션을 제공하는 방법을 살펴볼 것이다. 9장에서는 또한 KSQL를 소개한다. KSQL은 SQL을 사용해 코드를 작성하지 않고 카프카를 통해 연속 쿼리를 실행할 수 있다.

소프트웨어 개발자로서 일하는 동안 흥미로운 프로젝트에서 현재 소프트웨어로 작업할 수 있었던 것은 행운이었다. 처음에는 클라이언트와 백엔드 작업을 함께 시작했다. 하지만 내가 백엔드 작업을 전적으로 좋아한다는 사실을 깨달은 다음에는 백엔드를 내 홈으로 만들었다. 그리고 시간이 지날수록 하둡(pre-1.0 릴리스)에서 시작해 분산 시스템 작업으로 전환했다. 새로운 프로젝트로 넘어가자 카프카를 사용할 기회가 있었다. 카프카에 대한 첫 인상은 매우 간단하게 작업할 수 있고, 굉장한 파워와 유연성을 갖고 있다는 점이었다. 나는 프로젝트 데이터를 전달하기 위해 카프카를 통합하는 방법을 점점 더 많이 찾아냈다. 프로듀서와 컨슈머 작성은 간단했고, 카프카는 시스템의 품질을 향상했다.
그런 다음 카프카 스트림즈에 대해 배웠다. 카프카에서 데이터를 읽기 위해 다른 처리 클러스터가 필요한 이유는 무엇일까? API를 살펴봤을 때 스트림 처리에 필요한 모든 항목(조인, 값 매핑, 리듀스 및 group-by)을 발견했다. 더 중요한 것은 상태를 추가하는 접근법이 내가 그 시점까지 작업한 모든 것보다 우월하다는 점이다.
나는 사람들에게 개념을 간단하고 이해하기 쉬운 방식으로 설명하는 데 열정이 있다. 카프카 스트림즈에 관해 글을 쓸 기회가 왔을 때, 힘들기는 해도 가치 있는 일이라는 사실을 알았다. 카프카 스트림즈가 스트림 처리를 수행하는 간단하지만 우하하고 강력한 방법임을 보여주기 위해 열심히 노력했다.

빌 베젝(Bill Bejeck)

카프카 컨트리뷰터이며, 컨플루언트(Confluent)의 카프카 스트림즈 팀에서 근무한다. 소프트웨어 개발 분야에서 15년 이상 근무했으며, 8년간 백엔드, 특히 다운스트림 고객의 데이터 흐름을 향상하기 위해 카프카를 사용하는 데이터 처리 ingestion 팀에서 대용량 데이터 처리에 초점을 맞춰왔다. 『Getting Started with Google Guava』(Packt, 2013)의 저자이며, ‘Random Thoughts on Coding’(http://codingjunkie.net)의 블로거다.

불과 몇 년 전만 하더라도 주변에 카프카를 쓰는 곳은 많지 않았다. 분석할 데이터는 하둡 파일시스템에 넣고 맵리듀스 작업으로 배치 처리했다. 대용량의 데이터를 서버에 나눠 저장하고 더 빠른 처리가 필요하다면 서버를 더 늘리면 됐고 그것으로 충분할 것 같았다. 그러나 급속히 증가하는 데이터와 저장 및 처리에 드는 시간을 줄이려는 요구 때문에 실시간 또는 준 실시간 처리가 필요해졌다.
링크드인의 카프카 개발자도 하둡과 같은 대용량 데이터의 저장과 처리에 실시간성을 부여해야 했고 그 결과물이 카프카다. 발행/구독 메시지 큐를 제공하는 플랫폼으로서 카프카가 나온 이후 스트림 처리 플랫폼에 있어서 필수 요소로 자리 잡게 됐고, 카프카 사용 사례도 많아졌다. 카프카 스트림즈가 세상에 나오면서 이제는 실시간 스트림 처리가 별도의 스트림 플랫폼 없이도 가능해졌다.
이 책은 카프카 스트림즈로 실시간 애플리케이션을 만들 수 있도록 가상의 프로젝트 목표를 설정하고 단계별로 개선하는 방식으로 쓰여 있다. 운영 시, 겪게 될 다양한 이슈와 해결 방법 및 모니터링 방법도 포함하고 있어, 카프카 스트림즈를 시작하는 독자뿐만 아니라 이미 운영하는 독자에게도 도움이 될 것이다.

최중연

네이버에서 모니터링 서비스를 개발하고 있으며, 메트릭을 저장하고 처리하기 위해 카프카를 사용하고 있다. 실시간 분석과 이상 탐지에 대한 관심으로 카프카 스트림즈를 접했고 번역하게 됐다. 최근에는 쿠버네티스(Kubernetes) 환경에서 카프카 클러스터 서비스를 준비하고 있다.

이재익

네이버에서 사내 로그 시스템과 일래스틱서치 클러스터 서비스를 개발 및 운영하고 있다. 최근에는 분산 시스템 디버깅과 머신 러닝을 데브옵스(DevOps) 시스템에 활용하는 방법에 관심이 많다. 여가에는 가족들과 캠핑을 하거나 독서를 즐긴다. 공역서로는 에이콘출판사에서 펴낸 『ElasticSearch in Action』(2016), 『일래스틱서치 모니터링』(2017), 『키바나 5.0 배우기』(2017), 『일래스틱서치 쿡북 3/e』(2019)이 있다.