Unique Life

데이터 형태

==> 정형 데이터 vs 비정형 데이터

정형 데이터 -> 숫자나 문자들로 쉽게 구분할 수 있는 데이터

비정형 데이터 -> 텍스트,동영상 음악 파일 등 구조화가 어려운 데이터

빅데이터 개념

==> " 대규모, 고속의 다양한 데이터를 분석하여 인사이트와 가치를 주는 새로운 기술 "

빅데이터의 주요 특성

1. 규모

-> 정보의 범위 확대, 대량의 데이터

2. 다양성

-> 새로운 종류의 데이터와 분석, 비전동적 형태의 미디어, 소셜 미디어 데이터

3. 속도

-> 실시간 정보, 신기술에서 유입되는 데이터

http://ko.hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/

참고

진행하다가 이 부분이 잘 진행이 안되었다.

ping은 연결이 되는데 SCP 연결이 계속 실패가 되었다.

음.. vmware 공유 파일 만들어서 옮기기로..

http://kjvvv.kr/190840 공유 폴더 설정 관련 링크

** 공유 폴더 설정 방법

1. vmware에 Share Folders 를 Always enabled로 하고 경로 설정

2. 재부팅 후 /mnt 접근하면 공유 폴더내에 파일이 있음

Flume 실행

1. 메뉴얼에 나와 있는 명령어 입력

 입력 후 다음과 같은 화면 나옴

2. CTRL + ALT + F2를 눌러서 새로운 유저로 접속

로그 수집 및 DB 만든 후

자기 아이피로 접속 하면 다음과 같은 화면이 나온다.

 다양한 옵션들.

http://ko.hortonworks.com/wp-content/uploads/2015/07/Import_on_VMware_7_20_2015.pdf

참고 자료

해당 문서에 설명이 잘 나와 있다.

1. 해당 파일

http://ko.hortonworks.com/hdp/downloads/ 서 다운로드

2. 해당 파일 더블 클릭 하면 import 됨!!

3. 설치 완료!   root // hadoop

4. 튜토리얼 보고  진행해보자!!

http://ko.hortonworks.com/hadoop-tutorial/how-to-refine-and-visualize-server-log-data/