尚學堂Java學習筆記:HDFS 特點

編程語言 HDFS Java Hadoop 北京尚學堂Java學院 北京尚學堂Java學院 2017-08-27

HDFS 專為解決大數據存儲問題而產生的,其具備了以下特點:

1)HDFS文件系統可存儲超大文件

每個磁盤都有默認的數據塊大小,這是磁盤在對數據進行讀和寫時要求的最小單位, 文件系統是要構建於磁盤上的,文件系統的也有塊的邏輯概念,通常是磁盤塊的整數倍,通常文件系統為幾千個字節,而磁盤塊一般為 512 個字節。

尚學堂Java學習筆記:HDFS 特點

HDFS 是一種文件系統,自身也有塊(block)的概念,其文件塊要比普通單一磁 盤上文件系統大的多,默認是64MB。

HDFS上的塊之所以設計的如此之大,其目的是為了最小化尋址開銷。

HDFS文件的大小可以大於網絡中任意一個磁盤的容量,文件的所有塊並不需要存 儲在一個磁盤上,因此可以利用集群上任意一個磁盤進行存儲,由於具備這種分佈式存 儲的邏輯,所以可以存儲超大的文件,通常G、T、P 級別。

尚學堂Java學習筆記:HDFS 特點

2)一次寫入,多次讀取

一個文件經過創建、寫入和關閉之後就不需要改變,這個假設簡化了數據一致性的問題,同時提高數據訪問的吞吐量。

3)運行在普通廉價的機器上

Hadoop 的設計對硬件要求低,無需昂貴的高可用性機器上,因為在 HDFS 設計 中充分考慮到了數據的可靠性、安全性和高可用性。

相關推薦

推薦中...