일래스틱 스택을 이용한 머신러닝 [분산 검색과 분석 플랫폼으로 하는 이상 징후 감지와 예측]
- 원서명Machine Learning with the Elastic Stack: Expert techniques to integrate machine learning with distributed search and analytics (ISBN 9781788477543)
- 지은이리치 콜리어(Rich Collier), 바할딘 아자미(Bahaaldine Azarmi)
- 옮긴이최중연, 이재익
- ISBN : 9791161754390
- 30,000원
- 2020년 07월 29일 펴냄
- 페이퍼백 | 340쪽 | 188*235mm
- 시리즈 : acorn+PACKT, 데이터 과학
판매처
개정판책 소개
소스 코드 파일은 여기에서 내려 받으실 수 있습니다.
https://github.com/AcornPublishing/ml-elastic-stack
본문에 쓰인 컬러 이미지는 여기에서 내려 받으세요.
요약
일래스틱 스택을 활용하면 로깅, 메트릭, 성능 분석 데이터를 통합해 관리할 수 있으며, 머신러닝을 적용해서 비용 효율적으로 시스템을 모니터링하고 분석할 수 있다.
이 책은 운영 분석, 근본 원인 분석, 보안 분석에 일래스틱 스택을 활용하거나 새로 적용하려는 사용자가 일래스틱 스택의 머신러닝 기능을 빠르게 활용할 수 있도록 시스템 설치부터 다양한 시나리오에서의 활용 방법까지 설명한다.
하루하루 늘어가는 시스템의 문제에 빠르게 대응하고, 수동 작업을 자동화하려는 많은 개발자와 운영자의 시간을 절약하고 핵심 작업에 집중하는 데 도움될 것이다.
이 책에서 다루는 내용
■ 머신러닝 기능을 사용하기 위한 일래스틱 스택 설치
■ 다양한 이상 징후 유형을 감지할 때 일래스틱 머신러닝을 사용하는 방법
■ IT 운영과 보안 분석에 효과적인 이상 징후 탐지 방법 적용
■ 일래스틱 머신러닝 결과를 사용자 정의 뷰, 대시보드, 사전 예방적 얼러팅에 활용
■ 생성된 잡을 결합해 다양한 인프라스트럭처의 이상 징후 상관관계
■ 일래스틱 머신러닝을 최대한 활용하기 위한 다양한 팁과 트릭
이 책의 대상 독자
ML 전문가나 맞춤형 개발에 의존하지 않고 일래스틱서치 내의 머신 데이터에 대한 추가적인 통찰력을 얻고자 하는 IT 전문가를 위한 책이다. 자동화된 고급 이상 탐지와 예측을 통해 수동 데이터 분석을 강화하고자 하는 사람에게 매우 유용할 것이다. 이 책을 최대한 활용하려면 일래스틱 스택을 다뤄본 경험이 도움이 될 것이다.
이 책의 구성
1장, ‘IT 분야의 머신러닝’에서는 IT와 보안 운영에서 수동 데이터 분석의 역사적 도전 과제를 소개하고 기본 배경을 설명한다. 또한 내부에서 일어나는 작업을 본질적으로 이해하는 데 도움이 되도록 일래스틱 ML의 운영 이론의 포괄적인 개요를 제공한다.
2장, ‘머신러닝용 일래스틱 스택 설치’에서는 일래스틱서치, 키바나, 메트릭비트, ML 기능의 활성화에 대해 포괄적이고 자세한 설치 절차를 안내한다. 또한 ML 분석 작업의 기본 기법을 소개하고자 메트릭비트 데이터로 실행한 데이터 분석의 몇 가지 작업 사례를 제공한다.
3장, ‘이벤트 변경 탐지’에서는 유효 로그 파일 분석의 핵심인 수치 기반 분석 기법을 자세히 설명한다.
4장, ‘IT 운영 분석과 근본 원인 분석’에서는 이질적인 데이터 소스에서 온 데이터를 상관된 뷰로 전체적으로 검사하고 분석하는 데 일래스틱 ML을 활용하는 방식이 기존 방식과 비교해 분석가를 어떻게 돕는지 설명한다.
5장, ‘일래스틱 머신러닝을 사용한 보안 분석’에서는 오늘날 사이버 적들이 제기하는 지능적이고 영구적인 위협을 탐지하고 해결하는 것에 이상 탐지와 행동 분석이 어떻게 보안 전문가를 돕는 필수 기능이 됐는지 알려준다. 일래스틱 ML이 행동 이상 징후를 탐지하는 접근 방식은 보안 기반 머신 데이터에 일래스틱 스택을 사용하는 분석가들의 전략에 완벽하게 들어맞는다.
6장, ‘ML 분석에 따른 얼러팅’에서는 일래스틱 얼러팅의 사전 통지 기능을 ML로 발견한 통찰력과 통합해 이상 탐지를 훨씬 더 실용적으로 만드는 몇 가지 기법을 설명한다.
7장, ‘키바나 대시보드에서 일래스틱 ML 데이터 사용’에서는 ML에서 수집한 정보로 기존 키바나 대시보드 시각화를 강화하는 방법을 설명한다.
8장, ‘키바나 캔버스와 함께 일래스틱 ML 사용’에서는 ML의 실시간 데이터 분석을 통해 픽셀 단위까지 완벽한 실시간 보고서를 작성하는 방법을 다룬다.
9장, ‘예측’에서는 일래스틱 ML의 정교한 시계열 모델을 이상 탐지를 넘어서 사용할 수 있는 방법을 설명한다. 예측 기능은 용량을 계획하는 것과 같은 사용 사례를 지원할 수 있도록 향후 추세와 행동을 추정할 수 있게 한다.
10장, ‘ML 팁과 트릭’에서는 다른 장에서는 잘 맞지 않는 다양하고 실용적인 조언을 담고 있다. 이 유용한 내용은 일래스틱 ML을 최대한 활용할 수 있게 돕는다.
목차
목차
- 1장. IT 분야의 머신러닝
- 역사적인 도전 극복
- 데이터 과잉
- 자동 이상 탐지 시대의 도래
- 작동 원리
- 특이하다는 것의 정의
- 일반적인 학습과 비지도 학습
- 확률 모델
- 모델 학습
- 추세 제거
- 비정상 점수 매김
- 효과적 운영
- 작업
- ML 노드
- 버킷화
- 데이터피드
- 인덱스 지원
- .ml-state
- .ml-notifications
- .ml-anomalies-*
- 오케스트레이션
- 요약
- 역사적인 도전 극복
- 2장. 머신러닝용 일래스틱 스택 설치
- 일래스틱 스택 설치
- 소프트웨어 다운로드
- 일래스틱서치 설치
- 키바나 설치
- 플래티넘 기능 활성화
- 일래스틱 ML 기능의 안내
- 분석할 데이터 수집
- 키바나에서의 ML 작업 타입
- 데이터 비주얼라이저
- 단일 메트릭 작업
- 멀티메트릭 작업
- Population 작업
- Advanced 작업
- API를 통한 ML 제어
- 요약
- 일래스틱 스택 설치
- 3장. 이벤트 변경 탐지
- 정상적인 발생률을 이해하는 방법
- 카운트 함수 탐구
- 카운트 요약 정보
- 카운트 분할
- 기타 카운팅 함수
- non-zero 카운트
- distinct 카운트
- 모집단 분석에서 카운팅
- 드물게 발생하는 것을 탐지
- 범주화를 통한 메시지 기반 로그 카운팅
- ML에 의해 범주화될 수 있는 메시지 유형
- 범주화 과정
- 범주 카운팅
- 하나로 통합
- 범주화를 사용하지 않을 경우
- 요약
- 4장. IT 운영 분석과 근본 원인 분석
- 전체 애플리케이션의 가시성
- KPI의 중요성과 한계
- KPI를 넘어서
- 데이터 구성
- 효과적인 데이터 분할
- ML 작업에 대한 사용자 정의 쿼리
- 데이터 처리 시 강화
- 문맥 정보 활용
- 분할된 분석
- 통계적 영향 요인
- 효과적인 데이터 분할
- 근본 원인을 분석하고자 모든 정보를 함께 가져오기
- 장애 시나리오
- 시각적 상관관계와 분할된 영향 요인
- 요약
- 전체 애플리케이션의 가시성
- **5장. 일래스틱 머신러닝을 사용한 분석
- 현장에서의 보안
- 데이터 규모와 다양성
- 공격 형태
- 위협 사냥 아키텍처
- 레이어 기반 처리
- 위협 인텔리전스
- 조사 분석
- 손상 수준 평가
- 요약
- 현장에서의 보안
- 6장. ML 분석에 따른 얼러팅
- 결과 표현
- 결과 인덱스
- 버킷 결과
- 레코드 결과
- 영향 요인 결과
- 키바나에서 머신러닝 UI의 알람
- 키바나 ML UI의 기본 와치 해부
- 수동으로 ML 알람 생성
- 요약
- 7장. 키바나 대시보드에서 일래스틱 ML 데이터 사용
- 키바나의 시각화 옵션
- 시각화 예제
- 타임라이온
- 시계열 비주얼 빌더
- 이상 탐지 분석용 데이터 준비
- 데이터셋
- 데이터 수집
- 이상 탐지 작업 생성
- 글로벌 트래픽 분석 작업
- 요청한 호스트의 HTTP 응답 코드 프로파일링
- 호스트별 트래픽 분석
- 시각화 구성
- 인덱스 패턴 설정
- TSVB에서 ML 데이터 사용
- 상관관계 히트 맵 생성
- 타임라이온에서 ML 데이터 사용
- 대시보드 구성
- 요약
- 키바나의 시각화 옵션
- 8장. 키바나 캔버스와 함께 일래스틱 ML 사용
- 캔버스 소개
- 캔버스란?
- 캔버스 표현식
- 일래스틱 ML 캔버스 슬라이드 만들기
- 데이터 준비
- 캔버스 데이터 테이블에서의 이상
- 새로운 SQL 통합 사용
- 요약
- 캔버스 소개
- 9장. 예측
- 예측과 예언
- 예측 사용 사례
- 예측: 운영 이론
- 단일 시계열 예측
- 데이터셋 준비
- 예측용 ML 작업 생성
- 예측 결과
- 다중 시계열 예측
- 요약
- 10장. ML 팁과 트릭
- 작업 그룹
- 분할과 비분할 작업의 영향 요인
- 스크립트 필드에 ML 사용
- 단방향 함수를 사용하는 이점
- 기간 무시하기
- 다가오는 (알려진) 시간의 창 무시
- 달력 이벤트 생성
- 원하는 기간을 무시하도록 데이터피드 중지와 시작
- 사후에 예기치 못한 타임 창 무시
- 작업을 복제하고 히스토리 데이터를 다시 실행
- 모델 스냅숏 되돌리기
- 다가오는 (알려진) 시간의 창 무시
- 사용 사례를 과도하게 엔지니어링하지 말자
- ML 작업 처리량에 대한 고려 사항
- 맞춤형 규칙을 활용한 하향식 알람
- ML 배포 크기 산정
- 요약