구글의 BigQuery(빅쿼리) 기술을 바탕으로 리포팅과 대시보드 기능을 지원하는 데이터 웨어하우스를 구축하는 방법을 설명한다. BigQuery를 사용해 설계, 빌드, 로드, 검색, 유지하는 방법을 단계별로 진행하면서 데이터 웨어하우스를 구축할 수 있다. 유용하면서도 확장 가능하며 유지보수가 쉬운 모던 데이터 분석 시스템을 어떻게 만드는지에 대한 궁금증을 해결해준다. 그리고 BigQuery 머신러닝 기능을 사용해 데이터를 예측하고 조직의 데이터 문제를 해결하는 방법을 설명한다.

◆ 프로젝트와 조직을 위한 데이터 웨어하우스 설계
◆ 다양한 외부 및 내부 소스에서의 데이터 로드
◆ 복잡한 워크플로를 위한 구글 클라우드 플랫폼 서비스 통합
◆ 조직 성장에 대응하는 데이터 웨어하우스 유지 및 확장
◆ 웨어하우스 데이터 분석, 리포팅 및 대시보드 생성

1부, ‘웨어하우스 구축’에서는 백지상태에서 데이터 저장소에 대한 요구 사항을 정하고 구성하는 방법을 설명한다. 몇 가지 예제로 데이터 웨어하우스나 SQL 저장소 없이 BigQuery에서 바로 데이터에 접근하는 방법을 알려준다. 이미 사용하는 데이터 저장소가 있다면 어떤 전략을 채용할지 설명한다. 마지막으로 비용 측면에서 예산과 데이터의 가용성 사이의 절충안을 논의한다.
2부, ‘웨어하우스 채우기’에서는 기존 데이터 소스에서 데이터 웨어하우스로 옮기는 방법인 로딩(loading), 스트리밍(Streaming) 그리고 데이터플로우(Dataflow)를 설명한다. BigQuery에서 바로 로딩과 스트리밍을 관리할 수 있다. 데이터플로우에 한 장을 할애해 확장 가능한 커스텀 데이터 파이프라인을 구성하는 기술을 설명한다.
3부, ‘웨어하우스 사용’에서는 데이터 웨어하우스를 구축한 후 가능한 작업을 기술한다. 8장에서는 처음 BigQuery를 실행한 후 데이터를 다루는 방법에 있어 기초를 세우는 방법을 설명하고 9장에서는 BigQuery에서 SQL을 어떻게 사용하는지를 알려준다.
4부, ‘웨어하우스 유지 및 관리’에서는 데이터 웨어하우스에서 회사에 가치를 부여할 수 있는 데이터를 운영할 수 있다. 다만 데이터도 주기적인 관리가 필요하다. 문제 발생을 예방하기 위한 데이터 관리 전략을 설명한다. 14장에서는 조직에서 큰 스케일의 변화가 있을 때 데이터 웨어하우스에 어떤 변화가 있을지 설명한다.
5부, ‘데이터 리포팅과 시각화’에서는 부가적인 부분을 다룬다. 정보를 리포트로 만들거나 실시간 대시보드를 만들고 분석을 위해 데이터를 어떻게 조직에게 전달하는지를 다룬다.
6부, ‘데이터의 잠재력 향상’에서는 BigQuery의 획기적인 기능인 머신러닝(ML, machine learning) 기능을 설명하고 우리가 다루는 데이터에서 어떻게 사용하는지 설명한다. 공개 데이터 세트를 사용해 기존 데이터와 연동하는 방법도 설명한다.

데이터(data)와 정보(information)는 서로 다른 개념이다. 데이터 웨어하우스 기술로 방대한 양의 원시 데이터를 수집하고 변환해 조직이 사용할 수 있는 정보를 유추할 수 있다. 구글 BigQuery는 입문자도 사용할 수 있는 서버리스, 글로벌 접근성, 보안성까지 추가된 데이터 웨어하우스다. 이 책을 읽고 초기 디자인, 설치, 데이터 가져오기, 스트리밍, 유지 보수, 시각화와 혁신적 기능까지 경험할 수 있다. 이미 알고 있는 데이터베이스, 웨어하우스 혹은 분석에 도움을 주는 정보들도 얻을 수 있다. 어떤 방식으로 진행을 하더라도 BigQuery를 사용해 정보가 지식으로 변환하는 여정의 마지막 단계로 나아가는 데 도움을 줄 수 있다.

마크 무케티(Mark Mucchetti)

의료 및 전자 상거래 분야의 업계 기술 리더다. 인텔 8088에서 BASIC 및 터보 C를 시작으로 지금은 클라우드에서 Node.js를 사용하는 등 30년 이상 컴퓨터 작업과 소프트웨어를 작성해왔다. 그동안 기술에 대한 깊은 애정과 관리 기술로 세계적 수준의 플랫폼을 만드는 엔지니어링 그룹을 구축하고 성장시켜왔다. 데이터베이스, 릴리스 엔지니어링, 프론트엔드 및 백엔드 코딩, 프로젝트 관리 분야에서도 일했다. 로스앤젤레스 지역에서 기술 임원으로 일하면서 기술 팀원들이 최고의 잠재력을 갖고 업무 목표를 달성할 수 있도록 지도하고 있다.

데이터는 어디에나 존재한다. 이제 데이터 분석은 비즈니스에 있어 필수적인 요소다. 대부분의 회사는 분석 스택을 만들면서 많은 시행착오를 겪는다. 그중 가장 먼저 맞닥뜨리는 것은 어떻게 데이터 웨어하우스(Data Warehouse)를 구축할 것인지에 관한 고민이다. 대부분의 데이터 분석 스택은 데이터 웨어하우스와 같은 중앙저장소에 데이터를 저장한 후 데이터를 변환해 BI 도구 혹은 보고서를 만드는 식으로 구성한다. 데이터 웨어하우스가 대두되기 전에는 프로덕션 DB를 직접 쿼리하는 방식으로 구현했다. 하지만 이런 방법은 프로덕션 성능에 부담을 주게 돼 읽기 전용 복제본을 사용하게 됐다. NoSQL 데이터베이스를 사용할 경우 지원되는 도구와 표준이 부족하기 때문에 SQL 데이터베이스에 로드한 후 분석했다. 최근에는 다양한 데이터 소스를 통합해서 인사이트를 얻어야 하는 복잡한 요구사항의 수용을 위해 데이터 웨어하우스의 존재가 부각됐다. 데이터 웨어하우스를 구축하면 다양한 이벤트, 애플리케이션 데이터, 마케팅 데이터, CRM 데이터, API로 얻을 수 있는 모든 데이터를 한곳에 모아 정제한 다음, 분석과 모델링을 할 수 있게 된다. 하지만 이런 기술은 기업 수준의 투자가 아니면 불가능했다. 그리고 기업들에도 데이터 웨어하우스 운영 및 워크플로 유지보수는 쉬운 일이 아니었다. 하지만 데이터 웨어하우스가 클라우드로 옮겨가면서 개발자들도 손쉽게 접할 수 있는 기술이 됐다.
데이터 웨어하우스는 중앙 분석 데이터 저장소로 분석 쿼리에 최적화된 데이터베이스라고 생각하면 된다. 다음과 같은 이유로 데이터 웨어하우스 사용을 고려하게 된다. 다수의 데이터 소스의 데이터를 결합해 분석이 필요할 때, 분석용 데이터와 트랜잭션 데이터를 분리해야 할 때, NoSQL과 같이 분석 쿼리에 적합하지 않을 때, 자주 쓰이는 분석 쿼리를 최적화할 때다.
하지만 저장소만으로 데이터 웨어하우스는 혼자 분석 스택을 감당할 수 없다. 데이터 웨어하우스를 구축하려면 워크플로와 운영을 포함해 스토리지(추출과 로드), 프로세스(변환과 모델), 접근(시각화와 전달)의 세 가지 기능을 충족해야 한다.
Amazon Redshift, google BigQuery, snowflake, presto와 같은 여러 가지 데이터 웨어하우스가 떠오르고 있다. 하지만 BigQuery는 완전 관리형 서버리스 서비스로 누구나 약정 없이 바로 시작할 수 있다.
이 책을 통해 BigQuery의 기술뿐만 아니라 데이터 엔지니어링에 필요한 여러 가지 GCP 기술들을 접할 수 있다. Cloud Functions, Dataflow, DLP 등 여러 가지 GCP 서비스들을 사용해 데이터 웨어하우스를 구축, 유지, 관리하는 방법을 배울 것이다. 시간이 지남에 따라 퇴색되고 더 나은 도구가 나오더라도 데이터 웨어하우스를 구축하는 방법론과 유지보수를 위한 기초지식을 다루기 때문에 두고두고 여러 번 참고할 수 있을 것이다. 이 책은 기술보다는 사람과의 관계를 강조한다. 데이터 전략 및 수행에 있어 BigQuery는 단순한 도구일 뿐이다. 데이터 웨어하우스 구축을 통해 인사이트를 얻고 비즈니스 예측까지 할 수 있는 기회를 갖고 데이터 주도적인 결정을 할 수 있길 바란다.

백진욱

카네기멜론 대학에서 컴퓨터공학 학사와 석사를 취득했다. 삼성전자에 다니다가 마이뮤직테이스트를 공동 창업해 8년간 CTO 포지션으로 일했다. 행파이브를 비롯한 여러 스타트업의 테크니컬 컨설팅을 해왔으며, 딜리버스라는 물류 스타트업을 공동 창업해 다시 한번 열정을 불태우고 있다. 데이터와 클라우드 기술의 결합에 의한 혁신에 많은 관심이 있고 조직에 DataOps와 MLOps를 적용하는 것에 흥미를 갖고 있다.