솔라(Solr)를 사용해 빅데이터 검색을 할 수 있는 시스템을 구축하는 법을 알려준다. 검색 시스템이 다루는 데이터가 커짐에 따라 솔라만을 단독으로 사용했을 때 부족한 점을 하둡(Hadoop)이나 다른 솔루션으로 보완하는 다양한 방법도 설명한다. 검색 엔진의 핵심 요소인 색인이 빅데이터에서 어떻게 다뤄지는지를 이해하게 해주고, 실사용 시스템 구축 시 이슈가 되는 최적화 기술을 알려준다. 마지막으로 실사용 시스템을 구축하려는 독자에게 도움이 되도록 실제 구축 사례를 소개한다.

아파치 하둡(Hadoop)과 하둡의 에코시스템, 아파치 솔라(Solr) 설명

기업용 빅데이터 검색을 설계하고 적용과 장점을 이해하면서 여러 산업 기반의 아키텍처를 학습

데이터를 확장하면서 빅데이터 검색을 세부 설정해 성능을 최대화

솔라를 NOSQL 데이터베이스로 사용

빅데이터 인스턴스를 설정해 실세계에 적용

사용 사례를 통해 실제 하둡과 솔라를 연동해 업무에 적용

데이터를 색인하는 맵리듀스(MapReduce) 태스크를 작성

오늘날 시장에서 사용할 수 있는 하둡과 솔라를 응용하는 기술에 대한 이해

하둡과 솔라를 사용해 기업용 고속 검색 엔진 플랫폼을 구축하기 원하는 개발자를 위한 안내서다. 하둡과 솔라에 대한 경험은 없지만 하둡 플랫폼을 확장해 기업용 검색으로 사용하려는 자바 프로그래머를 대상으로 한다.

1장, ‘하둡과 맵리듀스를 이용한 데이터 처리’는 아파치 하둡과 하둡의 에코 시스템인 HDFS, 맵리듀스를 소개한다. 또한, 맵리듀스 프로그램 작성법, 하둡 클러스터 설정 방법, 설정파일, 클러스터 관리를 배운다.

2장, ‘솔라 이해’는 아파치 솔라를 소개한다. 솔라 인스턴스를 설정하는 법을 설명한다. 솔라 저장소에 데이터를 적재하고 색인(index)을 만드는 법과 솔라로 효율적으로 검색하는 법을 설명한다. 아파치 솔라의 흥미로운 기능을 논의한다.

3장, ‘하둡과 솔라를 사용한 빅데이터 처리’는 두 분야를 합쳐 빅데이터를 다루는 여러 접근방법을 보여주고 이 둘의 장점과 사용성을 논할 것이다.

4장, ‘빅데이터 기반 대형 색인 생성’은 NoSQL과 분산 검색의 개념을 설명한다. 빅데이터 검색을 다루는 알고리즘인 샤드(shard)와 색인 사용을 알아본다. 또한, 솔라클라우드(SolrCloud) 설정과 릴리(Lily)를 논의한다.

5장, ‘빅데이터 확장으로 검색 성능 향상’은 데이터가 증가함에 따라 빅데이터 검색 인스턴스 성능을 여러 단계에서 최적화하는 법을 다룬다. 배포한 인스턴스에 사용자가 구현하는 여러 성능 향상 기술을 다룬다.

부록 A, ‘빅데이터 검색 사용 사례’는 업계의 사용 사례와 하둡과 솔라를 사용한 빅데이터 연구 사례를 살펴본다.

부록 B, ‘아파치 솔라를 사용한 기업용 검색 구현’은 사용자가 아파치 솔라를 시험해 보도록 솔라 스키마(schema) 예제를 제공한다.

부록 C, ‘솔라 색인을 만드는 맵리듀스 프로그램 예제’는 솔라 색인를 생성하는 방식 중 한 방식인 분산 생성하는 맵리듀스 예제를 보여준다.

이 책은 데이터를 확장하면서 고성능 기업 검색 엔진을 구축하는 단계별 안내서다. 아파치 하둡과 솔라 기초를 시작으로 검색을 최적화하는 고급 주제와 함께 흥미로운 실사용 사례와 자바 예제 코드를 깊이 있게 다룬다.

이 책에서는 솔라와 하둡 그리고 하둡 에코 시스템을 비롯한 빅데이터 기술의 기본을 알려주고 하둡과 솔라로 빅데이터를 확장하는 여러 접근방식을 설명한다. 샤드와 색인이 빅데이터에 어떻게 작용하는지를 다룬 후 빅데이터 검색 성능 최적화를 설명한다. 마지막으로 빅데이터를 확장하는 실제 사례를 알아본다.

기업용 분산 검색 플랫폼 구축법과 제한된 자원을 최대한 활용해 검색 결과를 극대화하는 최적화 방식을 배울 수 있는 책이다.

리쉬케쉬 카람벨카(Hrishikesh Karambelkar)

전문 기술과 다양한 사업 경험이 있는 소프트웨어 아키텍트다. 아파치 하둡, 솔라 같은 기술을 다루고 다음 세대 솔루션 제품군을 설계하는 데 전문가다. 국제 회의에 데이터베이스, 그래프, 검색 분야에 다양한 논문을 냈다. 자신의 기술 노트에서 아파치 하둡과 솔라에 관련된, 쉽지 않은 문제를 많이 다뤘다.

수년 전에 대용량 검색 요건을 해결하는 솔루션 개발팀에 속하면서 솔라를 처음 접하게 되었다. 이때 솔루션으로 고려한 오픈소스는 루씬 기반의 검색 플랫폼으로 아파치 솔라와 일래스틱서치(ElasticSearch)가 있었다. 두 오픈소스를 면밀히 검토 끝에 당시 요구 조건에 더 부합했던 새로 태어난 지 얼마 안 된 일래스틱서치를 선택했다. 그렇지만 당시에 솔라는 일래스틱서치에 비해 오랜 역사와 많은 사용자를 가지고 예측대로 동작한다는 점과 신뢰성을 지닌 장점이 있어서 엔터프라이즈 환경에 적합한 검색 플랫폼이란 것을 알게 되었다.

일래스틱서치가 나온 이후 솔라와 일래스틱서치는 서로의 장단점을 보완해 가며 많이 발전해왔고, 특히 솔라 4(일명 솔라클라우드)에서 대량의 데이터 처리를 위한 근실시간 분산검색, 고가용성 부분에 많은 향상이 있었다. 이처럼 솔라는 계속 발전 중이고, 앞으로도 다양한 대용량 검색 서비스의 검색 플랫폼으로 솔라를 사용할 것으로 예상된다.

이 책에서는 대용량 검색 엔진의 양대 산맥인 솔라와 일래스틱서치 중 솔라로 대용량 검색 시스템을 구축하는 방법을 알려준다. 또한, 하둡을 이용해 사용 영역을 넓히고 최적화하는 방법을 알려준다. 검색 플랫폼만을 프로젝트에 적용하다 보면 대량의 데이터를 단시간 안에 서비스에 올려야 하는 일에 직면하게 되는데, 이를 하둡으로 해결하는 방식은 주목할 만하다. 이 책이 솔라와 하둡을 연동해 응용하는 일을 주로 다루고 있으므로, 솔라 자체를 더 자세히 알고 싶다면 에이콘출판사에서 출간된 『아파치 Solr 4 구축과 관리』를 참고하길 바란다.

마지막으로 오픈소스로 대용량 검색을 처리하기 위해 같이 씨름했던 실시간 검색팀 여러분과, 번역을 하느라 약속에 많이 불참한 것을 이해해준 친구들, 말없이 지원해 주신 부모님께 감사의 말씀을 전한다.

양원국

하둡 기반 응용 시스템 운용 경험과 다수의 빅데이터 관련 프로젝트 수행 경험이 있는 개발자다. 대용량 실시간/스트리밍 처리에 관심이 있다.