서버 로그 데이터를 조정 및 시각화하는 방법
·
IT기술 관련/빅데이터 관련
http://ko.hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/ 참고 진행하다가 이 부분이 잘 진행이 안되었다. ping은 연결이 되는데 SCP 연결이 계속 실패가 되었다. 음.. vmware 공유 파일 만들어서 옮기기로.. http://kjvvv.kr/190840 공유 폴더 설정 관련 링크 ** 공유 폴더 설정 방법 1. vmware에 Share Folders 를 Always enabled로 하고 경로 설정 2. 재부팅 후 /mnt 접근하면 공유 폴더내에 파일이 있음 Flume 실행 1. 메뉴얼에 나와 있는 명령어 입력 입력 후 다음과 같은 화면 나옴 2. CTRL + ALT + F2를 눌러서 새로운 유저로 접속..
하둡 설치
·
IT기술 관련/빅데이터 관련
http://ko.hortonworks.com/wp-content/uploads/2015/07/Import_on_VMware_7_20_2015.pdf 참고 자료 해당 문서에 설명이 잘 나와 있다. 1. 해당 파일 http://ko.hortonworks.com/hdp/downloads/ 서 다운로드 2. 해당 파일 더블 클릭 하면 import 됨!! 3. 설치 완료! root // hadoop 4. 튜토리얼 보고 진행해보자!! http://ko.hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/
하둡
·
IT기술 관련/빅데이터 관련
출처: http://blog.ncsoft.com/?p=248 엔씨가 사용하는 오픈소스 #1 빅데이터 처리기술 : ‘하둡(HADOOP)’ Q2. 엔씨소프트 속 하둡을 다루기 전에 하둡이란 오픈소스에 대해 간단히 설명 부탁 드립니다. 노재호 : 하둡의 약자를 설명 드리면 (HADOOP/High-Availability Distributed Object-Oriented Platform)입니다. 재미나게도 하둡이 만들어진 다음에 붙여졌다고 합니다. 간단하게 설명을 드리면 대용량 자료를 처리할 수 있는 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크입니다. 박수혁 : 하둡은 더그 커팅(Doug Cutting)이라는 개발자가 넛치(Nutch)라는 검색엔진을 개발하는 과정에서 탄생되..