오픈 소스 로그 수집기

출처: http://www.devblog.kr/r/8y0gFPAvJ2e9YusO2zkCjl9yRvrgsWxq08MkPeBRH0PF8XOX51Oh1RP9ZBacWBDcSz8C55JnqHSwB249T13HZ9j

 

위에서 언급한 수집기 오픈 소스중 3가지 Flume, Scribe, Chukwa를 간단 비교요약하면 아래와 같다.

	Apache Flume	Facebook Scribe	Apache Chukwa
Overview	대용량의 로그 데이터를 분산,안정성,가용성을 바탕으로 효율적으로 수집,집계,이동이 가능한 로그수집 솔루션	Facebook이 개발하여 오픈소스화한 로그수집서버. 대량의 서버로 부터 실시간으로 스트리밍 로그 수집을 위한 솔루션	Apache Hadoop의 서브 프로젝트로 분산되어 있는 서버에서 로그 데이터를 수집, 저장, 분석하기 위한 솔루션
Home	http://flume.apache.org/	https://github.com/facebook/scribe	http://chukwa.apache.org/
Last Version	1.4.0 (2013.7.2)	2.2(2010)	0.5.0 (2012.1.26)
Status	Cloudera -> Apache Top-Level Project	Facebook -> Open Source	Yahoo -> Apache Incubator project
WIKI	https://cwiki.apache.org/confluence/display/FLUME/Home	https://github.com/facebook/scribe/wiki	http://wiki.apache.org/hadoop/Chukwa/
Document	풍부	빈약	풍부
Implementation	Java	C++	Java
Community	활발	활발	보통
Summary	다양한 소스로 부터 데이터를 수집하여 다양한 방식으로 데이터를 전송이 가능하지만, 아키텍처가 단순하고 유연하며 확장 가능한 데이터 모델을 제공하여, 실시간 분석 애플리케이션을 쉽게 개발할 수 있다. 최근 국내의 빅데이터 솔루션에서 수집부분의 기반이 되는 솔루션. 각종 Source,Sink등 제공으로 쉽게 확장 가능	Facebook의 자체 Scaling 작업을 위해 설계되어 현재 매일 수백 억건의 메시지를 처리하고 있다. 클라이언트 서버의 타입에 상관없이 다양한 방식으로 로그를 읽어 들일수 있다. 단, Apache Thrift는 필수. Thrift 기반 Scribe API를 활용하여 확장 가능	수집된 로그 파일을 HDFS에 저장한다. HDFS의 장점을 그대로 수용하고 실시간 분석도 가능하다. 반면에 Hadoop에 너무 의존적이라는 단점도 있다.
Outline