https://www.elastic.co/guide/en/logstash/current/advanced-pipeline.html INPUT input { file { path => "/var/log/sniper3.log" start_position => beginning } } (path => "/var/log/sniper3.log") 자신이 원하는 소스들을 넣어준다. 위에서는 로그파일을 소스로 넣었으며, 해당 경로를 정확하게 입력해주어야 한다. (start_position => beginning) 을 설정을 안할경우 리눅스에서 tail sniper3.log와 비슷하게 읽게 된다. 맨 앞부터 읽을려면 beginning으로 설정을 해주어야 한다. Filter filter { grok { match => {..

출처:http://ngee.tistory.com/276 또다른 방법 : https://opentutorials.org/module/516/5558 이번 포스팅에서는 우분투에 자바를 설치하는 것입니다. 자바를 설치하는 이유는 여러 가지가 있겠지만, 우분투에서 이클립스 사용하시려면 설치해야 하죠? :) 간단하게 정리해봤습니다. 1. Java 설치 우분투에서 명령어 apt-cache search jdk 하면 jdk 관련 패키지들이 쭉 나오는데요. 그중에서 openjdk-7-jdk를 설치해주시면 됩니다. 설치 방법은 루트 권한에서 ~ (혹시 우분투에서 루트 접근하시는 방법을 잘 모르시면 요 http://ngee.tistory.com/274 포스팅을 참고해주세요) apt-get install openjdk-7-j..

https://www.elastic.co/guide/en/logstash/current/index.html logstash 기초 예제 logstash -e 는 바로 명령어를 칠 수 있도록 해주는 옵션이다. 메시지의 시간과 IP를 보여준다. 종료 할려면 Ctrl + D 를 누르면 된다.

출처: http://addio3305.tistory.com/43 Log4j는 자바기반의 로깅 유틸리티로, Apache에서 만든 오픈소스 라이브러리다. 갑자기 로그라고 하면 이게 무엇인가, 그걸 대체 어따 써먹는것인가!!!! 라고 생각할 수 있지만, 로그는 우리가 굉장히 많이 쓰고 있다. 예를 들어서, 개발을 하다가 어떤 변수의 값을 확인하고 싶으면 자연스럽게 System.out.println()으로 출력을 하는데, 이런것들이 모두 로그의 한 종류라고 생각할 수 있다. 그러면 그냥 System.out.println()으로 출력하면 되는데 왜 귀찮게 다른걸 사용하냐는 의문이 들 수 있다. 사실 우리가 혼자서 그냥 연습삼아 프로젝트를 만들거나 하면 System.out.println()은 큰 문제가 없지만, 실..

출처: http://asuraiv.blogspot.kr/2015/07/elasticsearch-logstash.html 1. 개요 Logstash는 입출력 도구이다. 다양한 종류의 로그 (System logs, webserver logs, error logs, application logs) 뿐만아니라 입력되는 모든 종류의 데이터를 가공하여 출력할 수 있다. Elasticsearch와 궁합이 잘 맞아 지금은 Elasticsearch의 공식 패키지에 포함되어 있다고 한다. 이제 그 Logstash 설치해보고 기본적인 개념들을 살펴보도록 한다. 2. Logstash 설치와 간단예제 일단 설치해보자. 1) download $ wget 'http://download.elastic.co/logstash/logst..

출처:http://resoliwan.blogspot.kr/2015/02/logstash-vs-flume-vs-fluentd.html 방법론 스크립트로 중앙 서버로 복사하는것 단순 중앙 저장, 네트워크 에러등 에러 처리 힘듬 syslog message generation client, message storage system, message report and analysis implementation syslog-ng rsyslog 데이터 량이 많아지고 여러 요구 조건이 나오면서 새로운 디자인이 나옴 이벤트 스트림에 특화됨 각서버당 로깅 클라이언트를 뛰움 클라이언트에서 중앙 서버(클러스터 or 어그리게이터)로 로깅을 쏨 모은 후 분산 그리고 확장 가능한 저장소에 저장(하둡 등) 수평적으로 분산 처리가 되..

출처: https://evilimp79.wordpress.com/2014/10/23/logstash-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0/ logstash logstash 설치와 설정 기본적으로는 사이트에서 다운로드를 받고 bin/logstash를 실행시키면 됨. command line의 입력에 대한 로그를 처리하는것은 다음과 같이 수행한다. 1 bin/logstash -e 'input { stdin { } } output { stdout {} }' 만약 파일을 이용한 설정을 하기위해서는 .conf 파일을 직접 작성하여야 하며 해당 conf 파일을 이용하여 logstash를 실행시키기 위해서는 다음과 같이 실행한다. 1 bin/logstash agent -f logstash...

출처:http://maximer.tistory.com/337 스마트폰 사용으로 IMAP이 많이 거론되면서 IMAP과 POP3에 대해 궁금해 하는 분이 많이 계십니다. POP3는 POP에서 발전한 3번째 버전을 의미하므로 POP으로만 서술하겠습니다.IMAP은 현재 IMAP4입니다. 일단 IMAP과 POP은 편지를 전달(건내받기)할 경우에 알아두어야 할 개념들입니다. 즉, 우리가 NAVER.COM이나 DAUM.NET으로 로그인하여 이메일을 관리할 경우에는 IMAP과 POP의 구분도 할필요가 없으며 굳이 알려고 하지 않아도 됩니다. 하지만 아웃룩이나 썬더버드등의 메일 관리 프로그램을 사용할 경우이거나, 다른 이메일의 편지를 또 다른 이메일에서 받도록 설정을 하거나, 스마트폰에서 이메일을 관리할때(결국 아웃룩같..

http://stackoverflow.com/questions/6843457/log-analysis-in-python http://stackoverflow.com/questions/20218239/python-authlog-log-file-analysis http://stackoverflow.com/questions/17194290/apache-log-file-data-analysis-with-python-pandas http://stackoverflow.com/questions/9562622/log-analysis-top-urls-accessed-with-python http://bytes.com/topic/python/answers/518441-best-way-read-analyze-log-file ..

출처: http://www.henrykim.co.kr/%EC%9A%B0%EB%B6%84%ED%88%AC-%EB%A9%94%EC%9D%BC%EC%84%9C%EB%B2%84-%EC%84%A4%EC%B9%98/ http://www.tecmint.com/setup-postfix-mail-server-in-ubuntu-debian/ 기본적으로 3가지 프로그램을 설치 1. Postfix : 메일발송용 2. Dovecot : 메일수신용 3. Squirrelmail : 웹메일페이지 http://www.krizna.com/ubuntu/setup-mail-server-ubuntu-14-04/ 이 페이지를 보고 따라할 것 주의사항! 1. 메일 수신이 안되는 경우, 포트포워딩으로 공유기 사용 시 포트를 열어 둘 것. 2. 메..