이 책은 IT 분야에 종사하는 사람이라면 매우 친숙하지만 소홀히 할 수 있는 로그(log)에 관해 광범위한 내용을 다룬다. 로그의 정의에서 로그 메시지의 종류와 사례연구, 여러 가지 로그 분석 기법과 보고/요약, 로그 관련 도구의 이해와 활용방법, 로깅과 법규 컴플라이언스에 이르기까지 로그라는 주제에 관해 상세히 소개하고 있다. 이 책을 통해 다양한 목적으로 실무에서 로그를 활용할 수 있는 방안을 익힐 수 있다.

■ 분석, 시각화, 보고 등을 포함한 포괄적인 로그 관리 범위
■ 시스템 운영에서 규정 컴플라이언스까지 다양한 로그 사용방식에 대한 정보 포함
■ syslog-ng와 사고 대응에서 간편히 로그를 얻을 수 있는 실제 상황 사례 연구
■ 보고, 로그 분석 시스템 선정, 로그 분석 시스템 계획, 로그 데이터 정규화와 상관관계 영역에서 실전 가이드 제공

이 책의 예상 독자는 로깅과 로그 관리를 배우고자 하는 사람이다. 이 책을 읽어야 하는 대상 독자층은 다음과 같다.

• 시스템 관리자: 회사에서 로그 데이터를 모니터링하는 작업을 물려받은 시스템 관리자에게 유용할 것이다.
• 신입 보안 엔지니어: 네트워크 보안에 입문자라면 로그 분석 기법에 대해 알고 싶을 것이다.
• 애플리케이션 개발자: 아마 근본적으로 로그 분석 시스템 구축에 관심을 가질 수 있다. 이 책은 이를 위한 예제를 제공한다. 하지만 전체 책에서 로그 분석이 중요한 이유에 관한 획기적인 배경을 다룬다. 이 부분은 건너뛰면 안 된다.
• 관리자: 관리자는 로그 데이터 수집, 보관, 분석, 법규 컴플라이언스와 같은 주제에 깊은 통찰력을 가질 수 있다. 앞서 언급한 바와 같이 이런 이슈사항은 기업 규모에서 더욱 크게 존재하며, IT 전문가가 지속적으로 더 많은 시간을 할당하게 될 것이다

1장. 로그와 나무, 숲: 전체 그림
로깅 시스템에 관한 배경 정보를 제공한다. syslog, SNMP, 안전한 로깅, 로그 데이터, 저장 등과 같은 개념에 익숙하다면 2장으로 넘어갈 수 있다.

2장. 로그
로그 메시지가 무엇인지와 로그가 중요한 이유를 설명한다.

3장. 로그 데이터 소스
syslog 프로토콜과 SNMP, 윈도우 이벤트 로그를 설명한다. 또한 로그 데이터 소스분류도 소개한다.

4장. 로그 저장 기법
로그 보관, 저장 포맷, 관계형 데이터베이스 시스템(RDBM, Relational DataBase Management System)에 존재하는 로그 저장을 잘 설명한다. 이런 노력의 일환으로 하둡(Hadoop) 사용방법에 대한 예제도 소개한다.

5장. 사례 연구: syslog-ng
로그 수집을 위해 실제 환경에서 syslog-ng를 구현하는 방법을 알려준다. syslogng의 고급 기능도 논의한다.

6장. 비밀 로깅
은밀한 방식으로 로그를 수집하고자 하는 경우, 이를 가능하게 하는 많은 세부 내용을 설명한다.

7장. 분석 목표와 계획, 준비, 검색 대상
로그 데이터 분석 시작 전에, 먼저 목표를 수립하고, 계획하고 작업을 간단히 할 수 있는 준비를 해야 한다. 이 장에서 다루는 내용은 과거에 발생한 좋지 않은 사건, 미래에 발생할 좋지 않은 사건, 한 번도 보지 못한 사건을 포함한다.

8장. 간단한 분석 기법
고급 분석 기법에 들어가기 앞서, 기본 내용을 알 필요가 있다. 이 장은 수동 로그 분석과 이를 가능하도록 하는 도구를 포함한다. 또한 윈도우 이벤트 로그를 훨씬 쉽게 읽을 수 있는 고급 도구를 설명한다. 물론 로그 분석 결과에 대응하는 프로세스도 논의한다.

9장. 필터링과 정규화, 상관 관계
간단한 수동 로그 분석이 간과할 수 있는 문제점을 찾기 위해 상관 관계를 수행할 수 있는 기법과 도구를 소개하며, 실제 해볼 필요가 있다. 필터링, 정규화, 분류, 상관 관계와 공통적으로 찾는 패턴도 함께 설명한다. 자신만의 상관 관계 엔진 구축에 관심이 있는 개발자는 이 장의 유용한 두 섹션을 보면 된다. 제스(Jess)와 에스퍼(Esper)는 규칙 기반과 스트림 기반 엔진을 구축하는 방법을 설명한다.

10장. 통계적 분석
분석 수행에 통계를 사용하는 방법을 설명한다. 빈도수 측정과 베이스라인, 기준치, 이상행위 탐지를 다룬다. 분석에 사용할 수 있는 기계 학습도 소개한다.

11장. 로그 데이터 마이닝
로그 마이닝이나 로그 지식 탐색 관련 내용을 다루는데, 좀 다른 유형의 로그 분석으로 무엇을 찾아야 할지 알지 못할 경우다. 이는 로그 분석의 ‘상위 예술’로 로그에서 문자열이나 패턴 목록 의존을 탈피해서 다음 단계로 끌어올린다.

12장. 보고와 요약 로그 분석의 방법으로 보고서를 살펴본다. 특히 로그 데이터를 위한 최상의 보고서 정의에 초점을 맞춘다.

13장. 로그 데이터 시각화
종종 로그 데이터를 시각화하면 유용하다. 시각화란 경고나 이메일, 특정 로그 분석 시스템이 내놓는 결과를 의미하지 않는다. 관심을 두고 있는 부분은 직접 그래프를 작성하거나 다른 시각화 도구 문맥에서 로그 데이터를 보는 것이다.

14장. 로깅 법칙과 실수
조직에서 흔히 저지르는 로그 관련 실수를 다룬다(실제 저지르고 있다). 일반적인 규칙과 조직이 로그를 다루는 법에 관한 종속성도 알아본다. 후자는 야심차게 ‘법칙’이란 이름을 붙이기도 했다.

15장. 로그 분석과 수집 도구
로그 데이터 분석과 수집에 사용할 수 있는 오픈소스와 상용 도구를 검토한다. 독자가 일별 기반으로 로그 데이터를 관리하는 도구를 선택할 때, 여러 옵션을 제공한다. 로그 분석 도구 활용에 대한 예제는 일반적인 로깅 작업과 시나리오를 검토하는 도구를 사용하는 실제 예제를 다룰 때, 이 장의 내용에 삽입했다. 이 장은 독자가 오늘날 조직에서 로그 분석에 필요한 도구를 검토하고 알맞은 도구를 찾는 데 도움이 될 것이다.

16장. 로그 관리 절차: 로그 검토, 대응, 단계적 보고
로그 관리를 위한 로그 검토, 대응, 단계적 보고에 대한 소개를 다룬다. 신용카드 산업 데이터 보안 표준(PCI DSS, Payment Card Industry Data Security Standard)을 통해 이 장 전체에서 살펴본다. 핵심은 실제 세계에서 개념을 적용하는 방법을 설명하는 데 있다. 이는 예제가 PCI 표준에 관한 내용이지만, 임의의 다른 환경에도 쉽게 적용하고 확장할 수 있다는 의미다. 본질은 이 장을 통해 오늘날 사용할 수 있는 단계와 절차를 개발할 수 있도록 한다. 이 장을 통해 추가적으로 로그 관리 표준을 해석하고 적용하는 통찰력도 가질 수 있을 것이다.

17장. 로깅 시스템 공격
로깅과 로그 분석 시스템, 보안, 운영, 컴플라이언스를 위해 로그를 사용하는 로그 분석가를 대상으로 한 공격을 다룬다.

18장. 프로그래머를 위한 로깅
모든 형태의 프로그래머에게 유용하다. 시스템 관리자, 펄(Perl) 프로그래머, C/C++ 프로그래머, 자바(Java) 프로그래머 등을 포함한다. 기본적으로 스크립트, 프로그램, 소프트웨어 시스템을 작성하는 모든 이는 이 장의 내용이 유용할 것이다. 좋지 않은 로그 메시지는 좋지 않은 프로그래머의 결과라는 얘기도 있다. 완전한 사실은 아닐지라도, 이 장은 프로그래머와 관련자에게 로그 메시지를 좀 더 나은 방식으로 생성할 수 있는 방법에 관한 개념과 가이드를 제공해서 변화를 촉구하는 데 목적이 있다. 궁극적으로 디버깅과 정보 수집, 파싱 가능성, 소프트웨어가 생성하는 로그 메시지의 전반적인 유용성을 증대시키려 한다.

19장. 로그와 컴플라이언스
법규와 정책에 관련된 로깅과 컴플라이언스(compliance) 내용이다. 이 장은 법규 컴플라이언스와 싸우는 모든 이에게 유용한 내용이다.

20장. 로그 분석 시스템 계획
로그 분석 시스템 구현에 대해 계획할 때 실용적인 가이드를 제공한다. 이 장은 특정 로그 분석 시스템을 설치하는 방법에 대한 세부 청사진을 의미하지는 않는다.
대신 스스로 찾아야 하는 로그 분석 구현 상황에서 개념을 잘 적용할 수 있도록 설명한다. 로그 분석 시스템을 구현하는 동안 고려할 사항과 파악해야 할 질의 내용을 알려준다.

21장. 클라우드 로깅
클라우드 컴퓨팅은 현재 이슈가 되는 주제이며, 점점 더 관심이 높아지고 있다. 이전에 수축 포장한 소프트웨어(shrink-wrapped software)를 회사가 소유한 데이터 센터에서 클라우드로 이전하면서(현재 진행 중임), IT 관리자는 로그 데이터 수집과 집중화, 보관, 보안 정보, 이벤트 관리(SIEM, Security Information and Event Management)를 비롯해 하드웨어, 스위치, 랙, 소프트웨어 등에 대해 경비 지출(CAPEX, CAPital Expenditure)하는 금액이 훨씬 감소하고 있다. 이 장은 클라우드 컴퓨팅과 로깅을 소개하고, 클라우드 환경, 클라우드에서 대용량 데이터, 클라우드에서 SIEM, 찬반 내용, 일부 주요 클라우드 로깅 제공자 목록에 관한 법규와 보안 이슈사항도 다룬다.

22장. 로그 표준과 미래 동향
로그 표준의 미래와 로깅, 로그 분석의 미래에 대한 전문가 견해를 다룬다.

이 책을 읽게 되신 여러분을 환영한다. 이 책의 목적은 정보 기술 전문가(Information Technology Professional)인 여러분에게 로그 데이터를 이해하고 다루는 법을 소개하기 위함이다. 로그 데이터는 다양한 형태로 존재하며, 여러 종류의 시스템에서 생성된다. 로그에서 오래 전부터 살펴본 문제는 이 로그 데이터로 무엇을 할지 어떻게 분석할지 하는 것이다. 이 책은 로그 데이터 분석을 도와주고 악의적인 행위를 찾을 수 있는 기법과 도구를 소개한다.

예전부터, 시스템 관리자는 로그 파일을 숙독해 디스크 에러나 커널 패닉 문제를 찾곤 했다. 오늘날 시스템 관리자는 보안 관리자보다 종종 두 배 많은 업무를 처리한다. 보안 로그 데이터에 관련된 내용을 이해할 필요성은 어느 때보다 증가했다. 보안 분석가는 로그 분석 기법에도 정통한 IT 전문가 그룹 중에 있다. 대다수 오래된 베테랑은 ‘발등에 불똥(trial by fire)’ 모드에서 로그를 알아왔다. 이 책은 개념을 신속히 이해할 수 있는 방식으로 내용을 소개해서, 많은 사람이 수년에 걸쳐 배운 내용을 간추리는 데 목적을 두고 있다.

최근 최전방에 선 이슈사항인 법규 컴플라이언스에 대해 얘기해보자. 엔론(Enron) 사태에서 회사들이 감독 실패로 파산하면서, 법규 컴플라이언스는 수많은 회사에서 중요 쟁점으로 부각되고 있다. 핵심은 정책과 절차다. IT 엔지니어으로 일하다가 퇴사한 밥이 회사 이메일 계정에 접근할 수 없게 차단했다는 사실을 입증해낼 수 있겠는가? 이런 형태로 회사는 여러분에게 사실을 증명해내길 요구할 수 있다. 시스템과 네트워크 로깅 범위는 매우 다양한 방식으로 변하고 있다.

앤톤 츄바킨 박사 (Dr. Anton A. Chuvakin)

로그 관리, SIEM, PCI DSS 컴플라이언스 분야에서 저명한 보안 전문가다. 앤톤은 『보안 전사(Security Warrior)』라는 서적의 공동 저자이고, 『적을 알라: 보안 위협에 관해 알아두기, 2판(Know Your Enemy: Learning About Security Threats, Second Edition)』, 『정보보안 관리 핸드북, 6판 (Information Security Management Handbook)』, 『해커 챌린지 3: 20가지 신규 포렌식 시나리오와 솔루션(Hacker’s Challenge 3: 20 Brand-New Forensic Scenarios & Solutions)』, 『OSSEC 호스트 기반 침입 탐지 가이드(OSSEC Host-Based Intrusion Detection Guide)』 등 여러 도서의 기여 저자다.

로그 관리, 상관관계, 데이터 분석, PCI DSS, 보안 관리 등의 다양한 보안 주제에서 다수의 논문을 출판했다. 그가 운영하는 www.securitywarrior.org는 업계에서 가장 인기있는 블로그 중 하나다. 또한 강의도 하며, 최근 미국, 영국, 싱가포르, 스페인, 러시아 등의 국가에서 열린 보안 컨퍼런스에서 발표했다. 신규 보안 표준 분야에서 일하고 여러 신설 보안 기업의 자문을 맡고 있다.

최근까지 시큐리티 워리어(Security Warrior)라는 회사를 직접 운영했다. 그 전에 퀄리스(Qualys) 사의 PCI 컴플라이언스 솔루션 이사였고, 로그로직(LogLogic) 사의 로깅 책임자로 일하며 보안, 컴플라이언스, 운영에서 로깅의 중요성을 전 세계적으로 교육했다. 로그로직에 있기 전에는 전략 제품 관리라는 역할로 보안 벤더사에서 근무했다. 스토니 브룩 대학(Stony Brook University)에서 박사 학위를 받았다.

케빈 슈미트 (Kevin J. Schmidt)

델 시큐어웍스(Dell SecureWorks) 사의 수석 관리자로 델 사의 부서에서 업계를 선도하는 MSSP 관련 업무를 하며, 회사의 SIEM 플랫폼 주요 설계와 개발을 맡고 있다. 그가 맡은 업무로는 로그 데이터 수집, 상관관계, 분석 등이 있다. 시큐어웍스 이전에는 리플렉스 시큐리티(Reflex Security) 사에서 근무하면서, IPS 엔진과 안티 바이러스 소프트웨어 관련 일을 했다. 그 이전에는 가디드넷(GuardedNet) 사에서 개발자이자 아키텍처로 업계 첫 SIEM 플랫폼 중 하나를 설계했다. 미국 해군 예비군(USNR, United States Navy Reserve)의 사관이기도 하다. 소프트웨어 개발과 설계에 19년, 네트워크 보안 분야에서 11년 경력을 가지고 있다. 컴퓨터 과학 분야의 학사 학위를 보유하고 있다.

크리스토퍼 필립스 (Christopher Phillips)

델 시큐어웍스 사의 책임 소프트웨어 개발자다. 회사의 지능형 위협 서비스 솔루션(Threat Intelligence service platform) 설계와 개발을 맡고 있다. 또한 델 시큐어웍스 시스템과 보안 전문가가 고객의 정보를 분석할 수 있도록 많은 서드파티 공급자로부터 로그와 이벤트 정보를 통합하는 업무와 관련된 팀도 담당하고 있다. 델 시큐어웍스 이전에는 맥케슨 앤 올스크립트(McKesson and Allscripts) 사에서 근무하면서, HIPPA 컴플라이언스, 보안, 의료 시스템을 통합하는 고객을 위해 일했다. 소프트웨어 개발과 설계 분야에서 18년이 넘는 경력을 보유하고 있다. 컴퓨터 과학 학사학위와 MBA를 취득했다.

아마 IT를 잘 알지 못하는 일반인이라 해도 로그라는 용어를 들어본 적이 있을 것이다. 하드 디스크에 쌓인 로그를 직접 찾아보고 문제점을 파악해 본 경험이 있는 파워 사용자도 있겠지만, 일반 사용자도 컴퓨터를 사용하다 보면 프로그램 업데이트 후의 메시지나 에러 정보를 보여주는 텍스트 파일 등을 본 적이 있을 것이다. 이처럼 개인 컴퓨터에서 네트워킹 장비, 웹/메일/데이터베이스 등 다양한 종류의 서버 장비, 애플리케이션 개발, 보안 장비 등 보이지 않는 곳에서 끊임없이 로그를 생성하고 있다.

매초, 매분, 매시간, 매일 생성되는 로그는 장비와 목적에 따라 차이가 있겠지만, 일반적으로 로그는 타임스탬프를 포함한 여러 유용한 정보를 포함한다. 하지만 이 로그를 제대로 활용해서 핵심적인 문제점을 신속히 파악하고 이를 통해 해결방안을 찾아내는 작업은 생각처럼 쉽지 않으며, 오랜 경험과 관련 지식이 필요하다. 가령 초당 평균 수백 메가의 트래픽이 흐르는 방화벽을 담당하는 보안 담당자가 있다고 가정해 보자. 수백 테라에 달하는 한 달간의 로그에서 특정 엔드포인트의 연결 횟수를 일별로 추출해 이상행위를 탐지해야 한다면, 무슨 도구를 이용해서 어떻게 해야 효율적으로 분석할 수 있을까? 나아가 어떤 형태의 로그를 이상행위로 규정하고 조사해야 할까? 다른 장비의 로그를 연계해서 함께 분석할 필요가 있다면 어떤 방식이 좋을까?

일반적으로 다양한 분야에서 로그를 활용할 수 있지만, 특히 개발자의 경우에는 디버깅 용도로, 운영자의 경우는 다양한 트러블슈팅을 해결하기 위해, 그리고 보안 담당자들은 이상행위를 탐지할 목적으로 로그를 활용하는 경우가 많다. IT를 활용하는 사용자 수가 나날이 급증하면서 로그 생성량은 예전에 비해 기하급수적으로 증가하는 추세이며, 정기적인 로그 분석의 필요성 또한 높아지고 있다. 대규모 로그의 경우 빅데이터를 처리할 수 있는 클라우드 컴퓨팅 기법이나 효율적인 시각화 방식을 통해 더욱 신속하게 문제점을 파악하고 분석하는 능력을 요구할 것이다. 특히 주요 데이터를 다루는 조직이라면, 로그 메시지의 종류나 로그 보관 방법과 주기 등 컴플라이언스 측면에서 필수적으로 로깅을 시행해야 한다. 이 책은 미국 기준으로 PCI DSS, ISO2700x, HIPPA 위주로 설명하고 있지만, 국내에서도 이를 모델로 한 법규 준수사항을 상당수 포함하고 있으므로 각 영역별로 참고한다면 좋은 레퍼런스로 활용할 수 있다.

사실 로그라는 영역은 목적에 따라 매우 다양하게 활용할 수 있고, 딱히 정해진 표준도 없다. 그래서 로그가 중요하다는 사실을 알면서도 정작 로그 자체를 중심으로 다루고 있는 책은 많지 않으며, 더욱이 로그 분석과 관리에 초점을 맞춘 서적은 더욱 드물다. 이 책은 로그를 활용해 분석하는 방법과 알아두면 좋을 일반적인 규칙, 흔히 저지르는 실수, 관리 절차, 로그 분석 시스템 구축 등을 전체적으로 균형있게 다루고 있어 개발자, 운영자, 보안 담당자는 물론 일반 사용자에 이르기까지 활용도가 높다. 따라서 저자가 소개한 여러 분석 방법과 정보를 토대로, 독자가 로그를 적재적소에 활용할 수 있는 힘을 기르고 실무에 응용할 수 있다면, 책을 번역한 역자로서 더할 나위 없는 보람이 아닐까 생각한다.

구형준

수년간 대기업 IT 환경에서 보안 프로세스 개선, 서비스 보안성 검토, 보안 점검, 보안 솔루션 검토, 보안 교육 등 다양한 경험을 쌓았다. 고려대학교 정보보호대학원에서 디지털 포렌식을 전공했으며, 여러 분야 중, 특히 조사자 관점에서 공격과 방어 부문에 관심이 많다. 현재 뉴욕 주립대에서 컴퓨터 사이언스 박사 과정 중에 있다.