HDFS (Hadoop Distributed File System)
·
IT기술 관련/빅데이터 관련
출처: http://redju.tistory.com/256 I. HDFS(Hadoop Distributed File System) 개요 - Master/Slave 구조로 Master인 Name node가 파일의 메타(meta) 정보를 관리하고 실제 데이터는 여러 대의 Data node에 분산해서 저장하는 하둡 분산 파일 시스템 II. HDFS의 특징 및 읽기 및 쓰기 동작 가. HDFS의 특징 구분 특징 Data Block 파일을 블록단위로 쪼개서 여러 Data node에 나눠서 저장하고 각 파일의 기본 정보 및 각 블록들의 위치 정보를 Name node에서 관리 Replication 일부 Data node에 장애가 발생하더라도 데이터가 유실되는 것을 막기 위해 각 데이터 블록에 대해서 여러 개의 복제본..