Top

일래스틱 스택을 이용한 머신러닝 [분산 검색과 분석 플랫폼으로 하는 이상 징후 감지와 예측]

  • 원서명Machine Learning with the Elastic Stack: Expert techniques to integrate machine learning with distributed search and analytics (ISBN 9781788477543)
  • 지은이리치 콜리어(Rich Collier), 바할딘 아자미(Bahaaldine Azarmi)
  • 옮긴이최중연, 이재익
  • ISBN : 9791161754390
  • 30,000원
  • 2020년 07월 29일 펴냄
  • 페이퍼백 | 340쪽 | 188*235mm
  • 시리즈 : acorn+PACKT, 데이터 과학

판매처

개정판

책 소개

소스 코드 파일은 여기에서 내려 받으실 수 있습니다.
https://github.com/AcornPublishing/ml-elastic-stack

본문에 쓰인 컬러 이미지는 여기에서 내려 받으세요.
요약

일래스틱 스택을 활용하면 로깅, 메트릭, 성능 분석 데이터를 통합해 관리할 수 있으며, 머신러닝을 적용해서 비용 효율적으로 시스템을 모니터링하고 분석할 수 있다.
이 책은 운영 분석, 근본 원인 분석, 보안 분석에 일래스틱 스택을 활용하거나 새로 적용하려는 사용자가 일래스틱 스택의 머신러닝 기능을 빠르게 활용할 수 있도록 시스템 설치부터 다양한 시나리오에서의 활용 방법까지 설명한다.
하루하루 늘어가는 시스템의 문제에 빠르게 대응하고, 수동 작업을 자동화하려는 많은 개발자와 운영자의 시간을 절약하고 핵심 작업에 집중하는 데 도움될 것이다.

이 책에서 다루는 내용

■ 머신러닝 기능을 사용하기 위한 일래스틱 스택 설치
■ 다양한 이상 징후 유형을 감지할 때 일래스틱 머신러닝을 사용하는 방법
■ IT 운영과 보안 분석에 효과적인 이상 징후 탐지 방법 적용
■ 일래스틱 머신러닝 결과를 사용자 정의 뷰, 대시보드, 사전 예방적 얼러팅에 활용
■ 생성된 잡을 결합해 다양한 인프라스트럭처의 이상 징후 상관관계
■ 일래스틱 머신러닝을 최대한 활용하기 위한 다양한 팁과 트릭

이 책의 대상 독자

ML 전문가나 맞춤형 개발에 의존하지 않고 일래스틱서치 내의 머신 데이터에 대한 추가적인 통찰력을 얻고자 하는 IT 전문가를 위한 책이다. 자동화된 고급 이상 탐지와 예측을 통해 수동 데이터 분석을 강화하고자 하는 사람에게 매우 유용할 것이다. 이 책을 최대한 활용하려면 일래스틱 스택을 다뤄본 경험이 도움이 될 것이다.

이 책의 구성

1장, ‘IT 분야의 머신러닝’에서는 IT와 보안 운영에서 수동 데이터 분석의 역사적 도전 과제를 소개하고 기본 배경을 설명한다. 또한 내부에서 일어나는 작업을 본질적으로 이해하는 데 도움이 되도록 일래스틱 ML의 운영 이론의 포괄적인 개요를 제공한다.
2장, ‘머신러닝용 일래스틱 스택 설치’에서는 일래스틱서치, 키바나, 메트릭비트, ML 기능의 활성화에 대해 포괄적이고 자세한 설치 절차를 안내한다. 또한 ML 분석 작업의 기본 기법을 소개하고자 메트릭비트 데이터로 실행한 데이터 분석의 몇 가지 작업 사례를 제공한다. 3장, ‘이벤트 변경 탐지’에서는 유효 로그 파일 분석의 핵심인 수치 기반 분석 기법을 자세히 설명한다.
4장, ‘IT 운영 분석과 근본 원인 분석’에서는 이질적인 데이터 소스에서 온 데이터를 상관된 뷰로 전체적으로 검사하고 분석하는 데 일래스틱 ML을 활용하는 방식이 기존 방식과 비교해 분석가를 어떻게 돕는지 설명한다.
5장, ‘일래스틱 머신러닝을 사용한 보안 분석’에서는 오늘날 사이버 적들이 제기하는 지능적이고 영구적인 위협을 탐지하고 해결하는 것에 이상 탐지와 행동 분석이 어떻게 보안 전문가를 돕는 필수 기능이 됐는지 알려준다. 일래스틱 ML이 행동 이상 징후를 탐지하는 접근 방식은 보안 기반 머신 데이터에 일래스틱 스택을 사용하는 분석가들의 전략에 완벽하게 들어맞는다.
6장, ‘ML 분석에 따른 얼러팅’에서는 일래스틱 얼러팅의 사전 통지 기능을 ML로 발견한 통찰력과 통합해 이상 탐지를 훨씬 더 실용적으로 만드는 몇 가지 기법을 설명한다.
7장, ‘키바나 대시보드에서 일래스틱 ML 데이터 사용’에서는 ML에서 수집한 정보로 기존 키바나 대시보드 시각화를 강화하는 방법을 설명한다.
8장, ‘키바나 캔버스와 함께 일래스틱 ML 사용’에서는 ML의 실시간 데이터 분석을 통해 픽셀 단위까지 완벽한 실시간 보고서를 작성하는 방법을 다룬다.
9장, ‘예측’에서는 일래스틱 ML의 정교한 시계열 모델을 이상 탐지를 넘어서 사용할 수 있는 방법을 설명한다. 예측 기능은 용량을 계획하는 것과 같은 사용 사례를 지원할 수 있도록 향후 추세와 행동을 추정할 수 있게 한다.
10장, ‘ML 팁과 트릭’에서는 다른 장에서는 잘 맞지 않는 다양하고 실용적인 조언을 담고 있다. 이 유용한 내용은 일래스틱 ML을 최대한 활용할 수 있게 돕는다.

저자/역자 소개

지은이의 말

데이터 분석, 수동 차트 작성, 임곗값 지정, 알림은 수십 년 동안 IT 및 보안 운영의 고유한 영역이었다. 정교한 머신러닝 알고리즘과 기술이 등장하기 전까지 사전 예방적 통찰력, 문제 감지, 근본 원인 분석은 분석가들에게 많은 부담이 됐다 현대 애플리케이션과 인프라의 복잡성과 규모가 기하급수적으로 증가하면서 도움이 필요한 상황인 것은 분명하다. 일래스틱 머신러닝은 시계열 머신 데이터와 관련된 이상 감지와 예측 사용 사례를 위한 효과적이고 사용하기 쉬운 솔루션이다. 이 책은 독자가 데이터 과학을 잘 알지 못하더라도 고급 분석 기술과 운영에 능숙해질 수 있도록 도와줄 것이다.

지은이 소개

리치 콜리어(Rich Collier)

일래스틱의 솔루션 아키텍트다. 프리러트(Prelert) 인수로 일래스틱 팀에 합류했고, 소프트웨어, 하드웨어 및 서비스 기반 솔루션용 솔루션 아키텍트 및 프리세일즈 시스템 엔지니어로 20년 이상의 경력이 있다. 기술 전문 분야는 빅데이터 분석, 머신러닝, 이상 탐지, 위협 탐지, 보안 운영, 애플리케이션 성능 관리, 웹 애플리케이션, 연락처 센터 기술 등이다. 매사추세츠 주 보스턴에서 활동하고 있다

바할딘 아자미(Bahaaldine Azarmi)

일래스틱의 솔루션 아키텍트다. 사용자 행동과 사회 분석에 중점을 둔 마케팅 데이터 플랫폼인 리치 파이브(ReachFive)를 공동 설립했다. 또한 탈렌드(Talend)와 오라클(Oracle) 같은 다른 소프트웨어 업체에서 솔루션 아키텍트와 아키텍트로 일했다. 이 책의 집필에 앞서 『키바나 5.0 배우기』(에이콘, 2017), 『Scalable Big Data Architecture』(Apress, 2015), 『Talend for Big Data』(Packt, 2014) 등을 집필했다. 파리에서 활동하며 폴리테크 파리스(Polytech'Paris)의 컴퓨터 과학 석사 학위를 갖고 있다.

옮긴이의 말

IT 회사들의 서비스를 구성하는 스택이 점점 복잡해지고 데이터가 늘어나면서 시스템의 문제를 빠르게 감지하고 원인을 분석하는 작업은 점점 어려워지고 있다.
일반적으로 로깅 분석, 메트릭 분석, 성능 분석을 위해 개별 도구나 통합 도구를 도입해 시스템 운영에 활용하고 있지만 이러한 도구를 유지하고 관리하는 작업도 만만치 않다. 더구나 시스템의 복잡도와 규모가 서비스의 성공에 비례해 증가하기 때문에 좋은 도구가 준비돼 있더라도 단순히 모니터링 데이터를 쌓아 분석하는 기존 방식으로는 규모, 정확도, 대응 속도 면에서 한계가 있다. 이런 한계를 극복하고자 최근에는 데브옵스(DevOps)를 넘어 에이아이옵스(AIOps)를 표방하는 도구들이 유행처럼 출시되고 있다.
일래스틱 스택을 활용하면 로깅, 메트릭, 성능 분석 데이터를 통합해 관리할 수 있을 뿐 아니라 머신러닝을 적용해 비용 효율적으로 시스템을 모니터링하고 분석할 수 있다.
이 책은 운영 분석, 근본 원인 분석, 보안 분석 등에 기존 일래스틱 스택을 활용하고 있거나 새로 적용하려는 사용자가 일래스틱 스택의 머신러닝 기능을 빠르게 활용할 수 있도록 시스템 설치부터 다양한 시나리오에서의 활용 방법까지 설명한다.
하루하루 늘어가는 시스템의 문제에 빠르게 대응하고 수동 작업을 자동화하려는 많은 개발자와 운영자의 시간을 절약해 핵심 작업에 집중하는 데 도움이 되길 바란다.

옮긴이 소개

최중연

네이버에서 모니터링 서비스를 개발하고 있으며, 로그 데이터에 기반을 둔 시계열 데이터 집계 및 저장에 관심이 많다. 운영 로그를 효과적으로 집계하고 시계열화해서 운영을 고도화하려는 목적으로 일래스틱서치를 접하게 됐다.

이재익

네이버에서 사내 로그 시스템과 일래스틱서치 클러스터 서비스를 개발 및 운영했다. 공역서로는 에이콘출판사에서 펴낸 『Elasticsearch in Action』(2016), 『일래스틱서치 모니터링』(2017), 『키바나 5.0 배우기』(2017), 『일래스틱서치 쿡북 3/e』(2019)이 있다.

목차

목차
  • 1장. IT 분야의 머신러닝
    • 역사적인 도전 극복
      • 데이터 과잉
      • 자동 이상 탐지 시대의 도래
    • 작동 원리
      • 특이하다는 것의 정의
      • 일반적인 학습과 비지도 학습
        • 확률 모델
        • 모델 학습
        • 추세 제거
        • 비정상 점수 매김
    • 효과적 운영
      • 작업
      • ML 노드
      • 버킷화
      • 데이터피드
    • 인덱스 지원
      • .ml-state
      • .ml-notifications
      • .ml-anomalies-*
    • 오케스트레이션
    • 요약

  • 2장. 머신러닝용 일래스틱 스택 설치
    • 일래스틱 스택 설치
      • 소프트웨어 다운로드
      • 일래스틱서치 설치
      • 키바나 설치
      • 플래티넘 기능 활성화
    • 일래스틱 ML 기능의 안내
      • 분석할 데이터 수집
      • 키바나에서의 ML 작업 타입
        • 데이터 비주얼라이저
        • 단일 메트릭 작업
        • 멀티메트릭 작업
        • Population 작업
        • Advanced 작업
      • API를 통한 ML 제어
    • 요약

  • 3장. 이벤트 변경 탐지
    • 정상적인 발생률을 이해하는 방법
    • 카운트 함수 탐구
      • 카운트 요약 정보
      • 카운트 분할
      • 기타 카운팅 함수
        • non-zero 카운트
        • distinct 카운트
    • 모집단 분석에서 카운팅
    • 드물게 발생하는 것을 탐지
    • 범주화를 통한 메시지 기반 로그 카운팅
      • ML에 의해 범주화될 수 있는 메시지 유형
      • 범주화 과정
      • 범주 카운팅
      • 하나로 통합
      • 범주화를 사용하지 않을 경우
    • 요약

  • 4장. IT 운영 분석과 근본 원인 분석
    • 전체 애플리케이션의 가시성
      • KPI의 중요성과 한계
      • KPI를 넘어서
    • 데이터 구성
      • 효과적인 데이터 분할
        • ML 작업에 대한 사용자 정의 쿼리
        • 데이터 처리 시 강화
      • 문맥 정보 활용
        • 분할된 분석
        • 통계적 영향 요인
    • 근본 원인을 분석하고자 모든 정보를 함께 가져오기
      • 장애 시나리오
      • 시각적 상관관계와 분할된 영향 요인
      • 요약

  • **5장. 일래스틱 머신러닝을 사용한 분석
    • 현장에서의 보안
      • 데이터 규모와 다양성
      • 공격 형태
    • 위협 사냥 아키텍처
      • 레이어 기반 처리
      • 위협 인텔리전스
    • 조사 분석
      • 손상 수준 평가
    • 요약

  • 6장. ML 분석에 따른 얼러팅
    • 결과 표현
    • 결과 인덱스
      • 버킷 결과
      • 레코드 결과
      • 영향 요인 결과
    • 키바나에서 머신러닝 UI의 알람
      • 키바나 ML UI의 기본 와치 해부
    • 수동으로 ML 알람 생성
    • 요약

  • 7장. 키바나 대시보드에서 일래스틱 ML 데이터 사용
    • 키바나의 시각화 옵션
      • 시각화 예제
      • 타임라이온
      • 시계열 비주얼 빌더
    • 이상 탐지 분석용 데이터 준비
      • 데이터셋
      • 데이터 수집
      • 이상 탐지 작업 생성
        • 글로벌 트래픽 분석 작업
        • 요청한 호스트의 HTTP 응답 코드 프로파일링
        • 호스트별 트래픽 분석
    • 시각화 구성
      • 인덱스 패턴 설정
      • TSVB에서 ML 데이터 사용
      • 상관관계 히트 맵 생성
      • 타임라이온에서 ML 데이터 사용
      • 대시보드 구성
    • 요약

  • 8장. 키바나 캔버스와 함께 일래스틱 ML 사용
    • 캔버스 소개
      • 캔버스란?
      • 캔버스 표현식
    • 일래스틱 ML 캔버스 슬라이드 만들기
      • 데이터 준비
      • 캔버스 데이터 테이블에서의 이상
      • 새로운 SQL 통합 사용
    • 요약

  • 9장. 예측
    • 예측과 예언
    • 예측 사용 사례
    • 예측: 운영 이론
    • 단일 시계열 예측
      • 데이터셋 준비
      • 예측용 ML 작업 생성
    • 예측 결과
    • 다중 시계열 예측
    • 요약

  • 10장. ML 팁과 트릭
    • 작업 그룹
    • 분할과 비분할 작업의 영향 요인
    • 스크립트 필드에 ML 사용
    • 단방향 함수를 사용하는 이점
    • 기간 무시하기
      • 다가오는 (알려진) 시간의 창 무시
        • 달력 이벤트 생성
        • 원하는 기간을 무시하도록 데이터피드 중지와 시작
      • 사후에 예기치 못한 타임 창 무시
        • 작업을 복제하고 히스토리 데이터를 다시 실행
        • 모델 스냅숏 되돌리기
    • 사용 사례를 과도하게 엔지니어링하지 말자
    • ML 작업 처리량에 대한 고려 사항
    • 맞춤형 규칙을 활용한 하향식 알람
    • ML 배포 크기 산정
    • 요약

도서 오류 신고

도서 오류 신고

에이콘출판사에 관심을 가져 주셔서 고맙습니다. 도서의 오탈자 정보를 알려주시면 다음 개정판 인쇄 시 반영하겠습니다.

오탈자 정보는 다음과 같이 입력해 주시면 됩니다.

(예시) p.100 아래에서 3행 : '몇일'동안 -> 며칠동안