디지털 트랜스포메이션을 추구하는 기업이 빅데이터 가치 실현에 필요한 기업 내 단일 저장소인 '데이터 레이크'를 구축할 수 있도록 안내하는 실전서이다. 데이터에 대한 이해부터 아키텍처 구축에 필요한 코드까지 모든 과정을 망라해, 데이터 레이크 구축에 어려움을 겪는 기업에게 이정표가 될 것이다.

지난 40~50년 동안 기업은 발전하면서 조직 관리 전반에 IT/소프트웨어 시스템을 도입해 느리지만 꾸준히 발전시켜왔다. 오늘날 <포춘(Fortune)> 선정 200대 기업은 각각 250개 이상의 애플리케이션을 운영하고 있을 정도다. 그러나 이런 수많은 애플리케이션은 성숙 단계를 넘어 또 다른 단계로 진화하는 과정에서 새로운 문제를 일으키고 있다. 시스템을 조직 간에 유기적으로 통합하지 못하는 문제를 그 예로 들 수 있다.
기업은 로컬 최적화에서 엔터프라이즈 최적화로 전환함에 따라 빅데이터 시스템과 같은 신기술을 활용해 서로 다른 IT 시스템의 데이터를 결합하고 있으며, 이는 효율과 효과성을 높여 장기적으로 기업의 비용 절감에 도움이 된다.
다양한 기능 및 기술 영역에서 풍부한 경험을 가진 톰시(Tomcy)와 판카이(Pankaj)는 조직 내 여러 정보를 융합할 수 있는 더 나은 방법을 찾으려 노력해 왔으며, 기술적인 면이나 문화적인 면에서 혁신을 가져오는 도전적인 여정을 걸어왔다.
이 책은 소프트웨어 엔지니어, 설계자, 관리자의 관점을 모두 아우르고 있다. 그리고 저자는 다양한 엔터프라이즈급 규모의 구현 경험이 있어 매우 실용적인 내용을 담을 수 있었다. 데이터 레이크와 같은 미래를 대비하는 최신 기술 개념을 사용하면 앞날을 대비할 수 있을 뿐만 아니라, 더 나아가 조직 간 장벽에 갇혀 있던 데이터를 살펴봄으로써 사각지대에 있어 놓쳤던 데이터의 통찰력을 다시 한 번 살펴볼 수 있을 것이다.
/토마스 밴자민(Thomas Benjamin), GE 디지털 항공(Aviation Digital) CTO

■ 적절한 빅데이터 기술을 사용해 엔터프라이즈급 데이터 레이크 구축
■ 람다 아키텍처의 핵심과 엔터프라이즈 환경에 적용하는 방법 이해
■ 아파치 스쿱(Sqoop)과 그 기능에 대한 기술적 세부 사항
■ 카프카(Kafka)와 하둡 구성요소를 통합해 엔터프라이즈 데이터 획득
■ 스트림 기반 처리를 위한 스트리밍 기술과 플룸 사용 방법 학습
■ 아파치 플링크(Flink)의 스트림 기반 처리에 대한 이해
■ 하둡 구성 요소 통합 방법과 엔터프라이즈 환경의 데이터 레이크에 제공할 수 있는 장점
■ 일래스틱 스택(Elastic Stack)을 사용해 고성능 스트리밍 애플리케이션을 빠르게 구축
■ 설정으로 다양한 유형의 데이터 포맷을 데이터 획득 과정에서 일관되게 처리하는 방법

■ 기업에서 엔터프라이즈급 데이터 레이크를 구현하고자 하는 자바 개발자나 설계자
■ 람다 아키텍처와 빅데이터 기술에 대한 실제 경험을 얻으려는 자바 개발자
■ 빅데이터의 세계를 발견하고 해당 기술을 사용해 실용적인 솔루션을 구현하고자 하는 자바 개발자

1부 ‘개요’에서는 데이터, 데이터 레이크, 그리고 주요 컴포넌트와 관련된 다양한 개념을 소개한다. 1부는 다음과 같은 4개의 장으로 구성돼 있다.
1장, ‘데이터에 대한 소개’에서는 책 전반에 대해 소개하고 데이터가 무엇인지, 그리고 기업에서 데이터가 갖는 의미를 살펴본다. 또한 현대에서 데이터는 왜 중요하며 어떻게 사용할 수 있는지 설명한다. 실제 사례를 통해 데이터의 중요성을 살펴보고, 데이터가 오늘날 비즈니스를 어떻게 변화시키는지 알아본다. 실제 사례를 통해 데이터를 이용해 기업에 변화를 줄 방법에 대해 생각해볼 수 있는 계기가 될 것이다.
2장, ‘데이터 레이크의 개념’에서는 데이터 레이크의 개념을 좀 더 자세히 알아보고, 기업이 직면한 문제를 해결하기 위해 데이터 레이크를 어떻게 활용할 수 있을지 설명한다. 또한 람다 아키텍처와 데이터 레이크를 활용하는 방법에 대해 간략하게 미리 보기도 제공한다. 이에 따라 데이터 레이크의 개념과 조직에서 데이터 레이크를 구축할 때 선택할 수 있는 다양한 접근법을 소개한다.
3장, ‘람다 아키텍처 패턴’에서는 람다 아키텍처와 다양한 컴포넌트, 그리고 데이터 레이크와 람다 아키텍처 패턴 간의 연결과 관련된 세부 사항을 설명한다. 람다 아키텍처가 탄생하게 된 배경과 람다 아키텍처를 이용해 해결할 수 있는 문제점을 통해 람다 아키텍처에 대한 상세한 정보를 얻을 수 있다. 또한 람다 아키텍처의 핵심 개념을 이해하고 기업에서 이를 적용할 수 있는 방법을 설명한다. 그리고 배치와 실시간 처리 영역에 람다 아키텍처를 정의하기 위해 활용할 수 있는 다양한 패턴과 컴포넌트도 설명한다. 여기까지 읽으면 데이터와 데이터 레이크, 람다 아키텍처에 대한 충분한 배경 지식을 보유할 수 있으며, 기업용 데이터 레이크 구현을 위한 다음 단계로 나아갈 수 있다.
4장, ‘데이터 레이크에 적용된 람다 아키텍처’에서는 람다 아키텍처의 각 계층(컴포넌트)에 사용할 수 있는 기술을 설명하며, 이를 통해 현재 시장을 선도하는 기술을 선택할 수 있게 돕는다. 현재 빅데이터 시장에 존재하는 다양한 하둡 배포판을 설명하고, 기업용 데이터 레이크에서 람다 아키텍처를 적용하는 데 어떻게 활용 가능한지 설명한다. 그리고 기업용 데이터 레이크에서 배치, 속도, 제공 계층의 세부 사항 및 아키텍처의 인과 관계를 기술적인 관점에서 설명한다.
2부, ‘데이터 레이크의 기술적 구축 단위’에서는 각 장에서 데이터 레이크 구현 일부가 될 다양한 기술을 설명한다. 각 장에 필요한 기술을 설명하고, 점진적으로 데이터 레이크와 단일 고객 뷰(SCV, Single Customer View)를 구축해 나간다. 각 장에서 다룬 기술의 주요 상세 내용은 이 책의 범위를 벗어나지 않는 수준으로 다룬다. 2부는 다음과 같은 6개의 장으로 구성돼 있다.
5장, ‘아파치 스쿱을 사용한 배치 데이터 획득’에서는 아파치 스쿱에 대해 깊이 있게 설명한다. 스쿱을 선택한 이유를 설명하고 이 영역에서 선택할 수 있는 다른 기술적 대안을 제시한다. 또한 데이터 레이크와 람다 아키텍처를 연결하는 자세한 예제를 제공한다. 이를 통해 기업의 원천 데이터 소스에서 데이터 레이크로 데이터를 가져오는 스쿱 프레임워크와 이와 유사한 방식에 대해 이해하게 될 것이다. 또한 스쿱의 기술적 세부 사항 및 구조적으로 해결해야 할 문제점을 설명하며, 스쿱의 동작 방식 및 하둡 기술과 연계할 수 있는 다양한 방법을 예제로 알아본다.
6장, ‘아파치 플룸을 사용한 스트림 데이터로부터 데이터 획득’에서는 데이터 레이크와 람다 아키텍처의 연결을 담당하는 아파치 플룸에 대해 깊이 있게 설명한다. 프레임워크로서의 플룸을 살펴보고 데이터 레이크에서 플룸을 어떻게 사용할 수 있는지 설명한다. 또한 플룸 고유의 능력인 트랜잭션 제어와 데이터 재사용 동작 예제를 통해 플룸 아키텍처와 데이터를 획득하고 소비하는 역할로 플룸을 사용하는 방법 및 기술적 세부 사항을 설명한다. 그리고 스트림 기반 처리에 사용하는 스트리밍 기술에 플룸을 사용하는 방법도 설명한다.
7장, ‘아파치 카프카를 사용한 메시지 전달 계층’에서는 아파치 카프카를 깊이 있게 설명한다. 7장부터는 해당 기술을 선택한 이유 및 다른 기술적 대안도 함께 설명한다. 카프카를 메시지 기반의 미들웨어로 사용하는 방법을 설명하며, 다른 메시지 전달 엔진과 어떠한 차이점을 보이는지도 설명한다. 그리고 카프카와 그 기능 및 클라이언트(게시자), 중개자와 소비자(구독자)의 관점에서 수평적 확장 기능을 구축하는 데 활용하는 방법을 자세히 알아본다. 또한 카프카를 하둡 컴포넌트와 통합해 기업 데이터를 획득하는 방법과 이를 통해 데이터 레이크에 제공되는 기능에 대해서도 알아본다.
8장, ‘아파치 플링크를 사용한 데이터 처리’에서는 스트리밍 기반의 처리와 스트리밍 그리고 아파치 플링크의 개념을 설명한다. 데이터 레이크의 관점에서 플링크에 대해 자세히 알아보고, 동작 예제를 통해 근 실시간 데이터 처리를 위한 빅데이터 기술 영역에서 플링크를 어떻게 사용하는지 설명한다. 또한 스트리밍 기능이 아키텍처의 다양한 계층에 어떠한 영향을 미치는지 알아보고, 계층이 스트리밍 처리에 어떠한 영향을 주는지 알아본다.
9장, ‘아파치 하둡을 사용한 데이터 저장소’에서는 아파치 하둡에 대해 깊이 있게 설명한다. 하둡 영역 내의 다양한 하둡 컴포넌트와 기능, 그리고 이러한 컴포넌트를 사용해 기업용 데이터 레이크에 제공할 수 있는 방법을 자세히 설명한다. 데이터 레이크 관점에서 하둡을 구현 레벨에서 설명하고, 파일 저장소, 파일 형식과 데이터 레이크의 바탕이 되는 맵리듀스와 관련된 하둡 프레임워크 기능을 알아보며, 이를 근 실시간 처리를 위해 스택에 적용할 수 있는 특정 패턴을 구성하는 방법을 알아본다.
10장, ‘일래스틱서치 색인 데이터 저장소’에서는 일래스틱서치에 대해 깊이 있게 설명한다. 데이터 색인 프레임워크로서 일래스틱서치를 설명하고, 효율적인 검색을 위해 프레임워크에서 제공하는 다양한 데이터 분석기(analyzer)를 소개한다. 데이터 레이크에 일래스틱서치를 어떻게 활용할지 설명하고, 일정한 성능을 보장하기 위한 효율적인 데이터 샤딩 및 분산 메커니즘 및 데이터 레이크와 규모 있는 데이터에 일래스틱서치를 활용하는 방법을 설명한다. 또한 동작 예제를 통해 고속 스트리밍과 고성능 애플리케이션에 일래스틱서치를 어떻게 사용할 수 있는지 알아본다.
3부, ‘모두 통합’에서는 1부와 2부의 모든 기술 컴포넌트를 모아 데이터 레이크 구성의 큰 그림을 제시한다. 기업의 요구 사항에 따라 필요한 부분을 더욱 자세히 탐구해 볼 수 있게 추가적인 개념이나 기술들을 설명한다. 3부에서 다루는 모든 기술에 대한 상세 내용은 이 책의 범위를 벗어나지 않는 수준으로 다룬다. 그러나 추가로 논의되는 기술을 알아야 할 필요가 있으며, 필요에 따라 데이터 레이크 구현에 어떻게 적용할 수 있는지 방법을 알고 있어야 한다. 3부는 다음과 같이 2개의 장으로 구성돼 있다.
11장, ‘데이터 레이크 컴포넌트 연동’에서는 데이터 레이크, 람다 아키텍처와 다양한 기술을 소개한 후 모두 가져와 퍼즐 조각을 맞추듯 하나의 그림으로 완성한다. 이 단계에서 성취감을 느낄 수 있으며, 예제로 사용한 코드 베이스를 그대로 조직에 가져와 동작시킬 수도 있다. 완전한 기능을 갖춘 데이터 레이크를 구현하기 위해 데이터 레이크의 다양한 부분을 통합하는 방법을 알아본다. 또한 앞에서 배운 모든 것을 결합해 실제 동작하는 데이터 레이크 예제를 완성한다.
12장, ‘데이터 레이크 활용 방법 제안’에서는 책 전반에 걸쳐 ‘단일 고객 뷰(SCV)’ 예제를 다뤘지만, 데이터 레이크 도입 시 기업마다 고려해야 할 부분이 존재하는 만큼 여러 사례를 통해 좀 더 다양한 경우를 살펴본다. 다양한 사용 사례는 데이터 레이크에서 큰 이익을 얻을 수 있으며 소유, 운영, 반응성(reactiveness)과 관련된 비용을 최소화하고, 데이터로부터 의미 있는 정보를 이끌어 낼 수 있게 도움을 준다. 또한 기업용 데이터 레이크 구축에 도움이 될 것이다.

데이터는 많은 기업에서 매우 중요해지고 있으며, 이제는 다양한 측면에서 중추적인 역할을 담당하고 있다. 사실 기업들은 데이터를 활용해 스스로를 변화시키고 있다. 이 책은 데이터에 대한 소개와 기업 및 데이터의 관련성, 그리고 디지털 방식으로 변화할 때 데이터를 사용하는 방법을 소개하면서 시작된다. 데이터를 활용하려는 기업은 우선 데이터 저장소가 필요하며, 현대에는 이를 데이터 웨어하우스가 아닌 데이터 레이크라 부른다.
최근에는 빅데이터 기술을 활용한 사례를 많이 목격할 수 있다. 데이터 레이크라는 개념은 꽤 오래됐지만, 최근 들어 기업 환경에서 더 주목 받고 있다. 이 책에서는 빅데이터와 데이터 레이크 두 가지 모두를 융합해 잘 정립한 아키텍처 패턴에 따라 최신 빅데이터 기술을 사용해 직접 데이터 레이크를 구축해본다.
이 책은 데이터 레이크와 람다 아키텍처를 하나로 결합해 독자가 기업에서 실제로 데이터 레이크를 운영할 수 있게 안내할 것이다. 여러 가지 빅데이터 기술을 상위 수준으로 소개할 것이며, 기술별로 다루는 내용은 별도의 책으로 나올 정도로 방대하기 때문에 이 책을 매뉴얼 대용으로 사용할 수는 없을 것이다. 이 책은 선택된 기술을 사용한 패턴 설명과 구현 방법 위주로 다룬다.
여기에 소개된 기술은 미래에 조직의 관련 표준에 따라 좀 더 적합한 기술로 대체될 수 있으며, 이를 염두에 두고 작성됐기 때문에 지금뿐만 아니라 오랜 시간 동안 유의미한 책이 될 수 있을 것이다. 특정 버전을 기준으로 소프트웨어 기술을 서술하지 않았기 때문에 이 책이 갖는 유효 기간은 같은 주제를 다루는 다른 책과 비교할 때 상당히 길 것이다. 이 책은 직관적이고 흥미로운 구조를 통해 당신을 환상적인 데이터 레이크의 세계로 안내할 것이다.

톰시 존(Tomcy John)

인도의 케랄라 출신으로 아랍에미리트의 두바이에 거주하고 있는 엔지니어링 분야 전문가(BTech)이자 다양한 산업 분야에서 14년 이상의 경력을 쌓은 엔터프라이즈 자바(Java) 전문가다. 오라클 주식회사(Oracle Corporation)와 언스트&영(Ernst&Young)에서 근무했고, 현재 에미레이트 IT 그룹(Emirates Group IT)에서 코어 아키텍처 팀의 수석 아키텍터다. 엔터프라이즈급 애플리케이션 개발을 전문으로 하며, 조직이 기업 표준으로써 신기술을 통합할 수 있도록 최고 멘토 및 전도사로 활동 중이다. 기술 전도사로서 주니어 개발자와 엔지니어의 멘토로 가까이서 협력하고, 웹과 미들웨어부터 다양한 영구 저장소에 이르기까지 여러 주제에 대한 기술 전도사로서 다양한 포럼에서 강연한다.

판카이 미스라(Pankaj Misra)

공학을 전공했으며, 여러 비즈니스 영역 및 기술 분야에서 16년 이상의 경력을 가진 기술 분야의 전도사다. 여러 조직에서 근무했던 경력이 있고, 2015년부터 에미레이트 IT 그룹에서 근무했다. 멀티스택 솔루션 설계와 구축을 전문으로 한다. 인도의 기술 포럼에서 강연을 해왔고, 대용량, 근 실시간 데이터 처리 및 분석을 하는 확장형 아키텍처 제품을 만들어왔다.

데이터를 다루는 일을 하면서 주로 오픈소스 소프트웨어로 데이터 처리 문제를 해결했다. 문제 해결에 도움이 되는 책을 찾다 보면 개별 소프트웨어를 다룬 서적은 많지만 이를 모두 엮어 기업 환경의 문제를 실제로 해결하는 가이드가 되어주는 책은 거의 없어 아쉬웠다. 그러던 차에 이 책을 만나 번역까지 하게 되는 행운을 잡았다.
개별 오픈소스 소프트웨어를 조합해 유기적으로 통합된 엔터프라이즈급의 데이터 아키텍처를 설계하려면 개별 소프트웨어에 대한 깊이 있는 지식과 시행착오, 그리고 고민이 필요하다. 이 책은 빠르게 해답에 도달하도록 충분한 지식 전달과 구체적인 안내를 해줄 것이다. /양원국

데이터 레이크, 처음에는 생소하지만 멋진 단어라고 느꼈다. 이 책은 골짜기 어디선가 만들어진 물줄기들이 산을 타고 흘러내려와 잔잔히 고여 있는 호수가 되는 것처럼 기업 내에 흩어져 있는 데이터를 하나로 담을 수 있는 데이터 호수를 만드는 방법에 대해 이야기하는 책이다.
디지털 트랜스포메이션 시대에 맞춰 데이터 레이크를 구축하고 싶지만, 너무나 광범위한 해당 영역의 벽에 부딪혀 망설이거나, 막연하다는 생각을 갖고 있는 기업 및 독자에게 많은 도움이 될 수 있도록 빅데이터의 개념부터 아키텍처 구성 방법, 그리고 기술에 이르기까지 빅데이터 구축에 필요한 전체 과정을 담아냈다.
이 책은 각 계층에서 사용하는 다양한 기술들의 역사 및 특징, 그리고 장단점 등의 설명을 통해 기술에 대한 이해의 폭을 좀 더 넓힐 수 있도록 도움을 주며, 실무 환경에 따라 고려할 수 있게 각 계층의 대안이 될 만한 기술들을 함께 소개한다. 이 책에서 제시하는 예제를 따라 하다 보면 본인도 모르는 사이 데이터 레이크를 구축하게 되는 기쁨을 맛보게 될 것이다. / 우성한

처음 빅데이터라는 기술을 접했을 때, 그리고 살아있는 빅데이터 시스템을 목격했을 때의 떨림이 아직도 생생하다. 누군가에게 지나가는 비즈니스 용어였을 그 기술은 참 신기하고 알고 싶은 존재였다. 단위 기술을 설명하는 좋은 책이 많지만 전체 빅데이터 파이프라인을 어떤 구조와 기술로 실체화할 수 있는지 알려주는 책을 찾기는 매우 어렵다. 이 책은 다음과 같은 순서로 데이터 레이크를 구축하는 데 필요한 지식을 전달한다.
첫째, 엔터프라이즈 데이터를 이해하는 데 필요한 기초 이론을 설명한다.
둘째, 데이터 레이크를 구성하는 각 계층의 역할과 조건을 알려준다. 람다 아키텍처를 핵심 축으로 데이터 레이크는 외부 시스템에 최신의 데이터를 제공하는 구조를 설명한다.
셋째, 각 계층을 구성하는 데 사용된 오픈소스에 대한 설명을 실전 코드와 함께 설명한다. 각 계층에 적합한 오픈소스 소프트웨어에 대한 개념과 사용법을 설명한다.
마지막으로 빅데이터 거버넌스와 전체 아키텍처를 통합하는 방법을 설명해 독자가 데이터 레이크를 구축하면서 놓치면 안 되는 내용을 설명한다. 데이터 중심의 경영을 실현하기 위해 데이터 레이크라는 강력한 전략 무기를 얻고자 하는 경영자나 실무자에게 이 책이 도움이 됐으면 한다. / 이영호

양원국

빅데이터 솔루션 전문업체인 KT NexR에서 데이터 플랫폼을 개발했고, 현재 SK 테크엑스 플랫폼 개발 본부의 데이터 엔지니어다. 머신 러닝 기반 추천 서비스 외 사내 하둡 Eco 관련 업무를 담당하고 있다.

우성한

현재 빅데이터 솔루션 전문업체인 KT NexR의 책임 연구원으로 재직 중이다. 다수의 기업에서 모바일 게임, SNS 서비스, 결제 시스템 등 다양한 S/W 분야의 개발 경험이 있으며, 2011년 빅데이터의 매력에 빠져 빅데이터 분야의 오픈소스들을 다루기 시작했다.
KT NexR의 대표적인 빅데이터 분석 솔루션 NDAP 개발에 참여했으며, 지금은 아키텍처 설계부터 프론트엔드/백엔드 개발까지 수행하는 풀 스택 엔지니어로서 실시간 빅데이터 처리 및 분석 솔루션인 Lean Stream 개발에 참여하고 있다.

이영호

현재 KT NexR에서 R&D 2팀장을 맡고 있다. 시스템 통합과 빅데이터 솔루션 개발을 수행하던 멤브로스 대표를 역임했으며, KT NexR에 빅데이터 엔지니어로 입사한 후 살아있는 빅데이터를 다루기 시작했다. 다수의 빅데이터 프로젝트에 참여했으며, 아파치 스파크 기반의 실시간 처리 솔루션인 Lean Stream의 기획과 개발에 참여하고 있다.
빅데이터에 관심 있는 사람들과 이야기 나누는 것을 좋아하며, 빅데이터의 개념이나 관련 기술을 쉽게 전달하고자 노력한다. 회사 내부에서는 공장장으로 불리기도 한다.