출처: http://jmkook77.blogspot.kr/2012/01/putty.html 아마존 서버 생성시 다운받은 pem 파일을 이용하여 ssh/sftp 접속하는 방법 1. putty 를 다운받습니다. http://www.chiark.greenend.org.uk/~sgtatham/putty/download.html 여기에서 putty-installer.exe 를 받으세요. 혹은, putty.exe, psftp.exe, puttygen.exe, pageant.exe 를 따로 설치하셔도 됩니다. puttygen.exe 는 pem 파일을 putty에서 사용가능하게 변경하며 pageant.exe 는 pem 파일을 통해 putty, psftp 가 서버에 접속 가능하게 해줍니다. 2. pem 파일 변환 1) ..

출처:http://blog.seulgi.kim/2014/04/log-aggregator-scribe-flume-fluentd.html https://docs.google.com/presentation/d/12A5RlMCVDN6tA_zUnLrZ0TN5v08gz2GhlRdzxy3T3mU/edit?usp=sharing 회사에서 최근에 Log aggregator system으로 무엇을 사용해야 할지 조사해본 자료다. 우선 log aggregator가 무엇인지 한 문장으로 설명하면, 여러 머신에서 쌓인 로그들을 한 번에 분석할 수 있도록 수집하여 주는 시스템을 말한다. 요새는 특히나 클라우드 시스템이 유행하면서 같은 일을 하는 시스템임에도 다른 머신에서 돌아가는 일이 많아지면서 필요성이 크게 증가하였다. 이번 조..

- syslog는 커널과 많은 애플리케이션이 메시지를 로깅할 목적으로 설계. 결과적으로 보안 로그 분석에 최적화 되어 있지 않다. - /etc/syslog.conf 를 통해 syslog 행위 설정 syslog 메시지 분류 auth 중요하지 않은 인증 정보 리눅스에서 "security"라는 이름도 사용 가능 Authpriv 주요 인증 정보 (일반적으로 가독성을 원치 않는 로그 파일) Cron 크론 작업 Daemon 데몬에서 받은 메시지 Kern 커널이 생성한 메시지 Lpr 프린팅 시스템에서 받은 메시지 Mail 메일 전송 에이전트에서 받은 메시지 Mark 일정 간격으로 생성한 내부 메시지 News 유즈넷 뉴스 시스템에서 받은 메시지 syslog syslog 데몬에서 받은 메시지 User 명령어 행 유틸리티..

로깅 소스 분류 전송 방식 특징 푸시 기반 장치나 애플리케이션이 로컬 디스크나 네트워크를 통해 메시지 전송 syslog, SNMP, 윈도우 이벤트 로그 풀기반 애플리케이션이 소스에서 로그 메시지 가져옴 (클라이언트- 서버 모델에 의존) 로그 데이터를 특정 전용 포맷 형태로 저장

데이터 형태 ==> 정형 데이터 vs 비정형 데이터 정형 데이터 -> 숫자나 문자들로 쉽게 구분할 수 있는 데이터 비정형 데이터 -> 텍스트,동영상 음악 파일 등 구조화가 어려운 데이터 빅데이터 개념 ==> " 대규모, 고속의 다양한 데이터를 분석하여 인사이트와 가치를 주는 새로운 기술 " 빅데이터의 주요 특성 1. 규모 -> 정보의 범위 확대, 대량의 데이터 2. 다양성 -> 새로운 종류의 데이터와 분석, 비전동적 형태의 미디어, 소셜 미디어 데이터 3. 속도 -> 실시간 정보, 신기술에서 유입되는 데이터

D3는 SVG(Scalable Vector Graphics)를 통해 시각적 요소를 생성하고 조작하는 일을 하는데 무척 유용하다.

1. 동적 타입 -> 변수에 저장할 정보가 어떤 타입인지 사전에 지정할 필요가 없다 tip) 변수 타입이 궁금할때는 typeof를 이용하면 됨 2. 변수 호이스팅(hoisting) -> 자바스크립트는 보통 위에서 아래 순서대로 진행될거라 기대하지만, 실제로 그렇지는 않다. -> 반복문에 변수가 선언 되었을 경우 변수가 속한 함수 컨텍스트의 최상단으로 끌어올려진다. 이 때문에 변수 명이 충돌하는 문제가 발생 할 수 있다. ex) var numLoops =100; for(var i =0 ; i < numLoops; i++){ console.log(i); } 위와 같은 코드를 짜면 다음과 같이 동작한다. var numLoops =100; var i; for(i=0 ; i < numLoops; i++){ con..

JSON ( JavaScript Object Notation) -> 데이터를 자바스크립트 객체로 최적화 시키는 문법 명세 JSON 은 XML과 비슷한 개념이라고 보면된다. 쉽게 생각하면 자바스크립티의 객체 형태이고, 이름 여러 사람이 쓸 수 있도록 만든 것이다. var jsonFruit = { "kind": "grade", "color": "red", "quantitiy":12, "tasty": true } 대표 적인 예로 GeoJSON이 있는데 이는 지리 정보를 저장할 목적으로 최적화한 JSON객체의 특정한 형태이다.

http://ko.hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/ 참고 진행하다가 이 부분이 잘 진행이 안되었다. ping은 연결이 되는데 SCP 연결이 계속 실패가 되었다. 음.. vmware 공유 파일 만들어서 옮기기로.. http://kjvvv.kr/190840 공유 폴더 설정 관련 링크 ** 공유 폴더 설정 방법 1. vmware에 Share Folders 를 Always enabled로 하고 경로 설정 2. 재부팅 후 /mnt 접근하면 공유 폴더내에 파일이 있음 Flume 실행 1. 메뉴얼에 나와 있는 명령어 입력 입력 후 다음과 같은 화면 나옴 2. CTRL + ALT + F2를 눌러서 새로운 유저로 접속..

출처: http://www.nextree.co.kr/p2704/ 1. About Flume 플럼은 인공수로, 용수로 등의 사전적 의미를 가진다. 여러 서비스 제공 서버에 산재해 있는 로그들을 하나의 로그 수집서버로 모으는 역활을 수행해야하는 수집기로서 어울리는 이름이다. 전형적인 Converging Flow 의 구조로 구성되는 Flume은 스트림 지향의 데이터 플로우를 기반으로 하며 지정된 모든 서버로 부터 로그를 수집한 후 하둡 HDFS와 같은 중앙 저장소에 적재하여 분석하는 시스템을 구축해야 할 때 적합하다. Flume은 아래 4가지 사항에 대한 핵심사항을 만족시키도록 설계되었으며 이를 바탕으로 최신 아파치 오픈소스 버전을 제공하고 있다. 시스템 신뢰성 (Reliability) - 장애가 발생시 로그..