로그 데이터의 개념
로그 메시지는 컴퓨터 시스템, 장치, 소프트웨어 등에서 발생하는 특정한 자극에 대앙해 발생한다.
로그 데이터는 로그 메시지로 부터 얻을 수 있는 정보들이다.
ex) 웹 서버는 웹 페이지에 접근하면 로그를 남긴다. 사용자 본인 인증이 필요한 페이지에 접근하면 로그 메시지는 사용자 이름을 확인한다. 이는 로그 데이터의 일례로 사용자 이름을 이용해 누가 자원에 접근했는지 알 수 있다.
로그 메시지는 다음과 같이 일반적인 카테고리로 분류할 수 있다.
정보(Info) |
일어난 일을 알리도록 설계한 정보성 메시지 |
디버그(Debug) |
실행 중인 애플리케이션 코드 문제점 확인할 목적 |
경고(Warn) |
시스템에 무언가가 없거나 필요한 상황과 관련되어 있지만, 없다 해도 시스템 동작에 영향 안미침 |
에러(Error) |
시스템의 다양한 레벨에서 발생하는 에러를 전달하는 데 사용 |
경보(Alert) |
관심이 필요한 사건이 발생했음을 의미 |
로그 데이터의 수집과 전송
수집
중앙 로그 수집기
1. 복수 위치에서 로그 메시지를 저장하는 중장 집중 장소다.
2. 로그 백업 복사본을 저장하는 장소다.
3. 로그 데이터 분석을 수행하는 장소다.
전송
syslog는 syslog 프로토콜을 이용하여 전송 가능.
* Windows Event Log의 경우 syslog로 변환해서 syslog 서버로 포워딩 할 수 있는 이벤트 로그 상단에서 동작하는 오픈소스 애플리케이션이 있다.
로그 환경
우선해야 할 일:질의
ex)
지켜야 하는 법규와 컴플라이언스 요구사항이 무엇인가?
장기간 보관에 대한 요구사항은 얼마나 필요한가?
LAN 나 WAN 장비에서 오는 로그 데이터를 수집할 예정인가?
수집에서 정확히 관심을 가지는 부분은 무엇인가?
로그 메시지 생성
다양한 소스
-유닉스와 윈도우 시스템
-라우터
-스위치
-방화벽
-무선 AP
-가상 사설망 서버
-안티바이러스 시스템
-프린터
-각종 보안장비
로그 메시지 필터링과 정규화
우선순위 별로 필터링, 정규화
정규화는 파싱기법을 이용.
ex) 210.22.215.77 -> 65.12.12.12
==> -> 을 대상으로 출발지와 목적지 IP 식별 가능
정규화 필드 예제
Type: Attempted Information leak
Timestamp: July 19 2014
Priority: High
Protocol: ICMP
Source Ip : 210.22.215.77
Destination Ip : 65.12.12.12
Source port : NULL
Destination port: NULL
RAW log: SourceFire SFIMS: ICMP PING NMAP ...........................
로그 메시지 수집
로그 메시지 분석
로그 메시지 장기 보관
** 효율적인 로그 분석은 환경에 대한 지식이 필요하다.
==> 당신의 관점에서 특히 모든 로컬 사용자만 존재할 경우, 해외 사용자 로깅이 의심스로울 수 있다. 하지만, 다른 사이트는 전 세계 사용자를 대상으로 할 수 있으므로, 무엇이 정상인지 판단하기 어렵다.
'프로젝트 관련 조사 > 로그 관련' 카테고리의 다른 글
로깅 하는 이유 (0) | 2015.09.10 |
---|---|
로그 정의 및 관련 용어 정리 (0) | 2015.09.10 |
flume Sources 예제1 (0) | 2015.09.09 |
flume 설치 및 예제 (2) | 2015.09.09 |
flume windows install (0) | 2015.09.07 |