尚學堂Java學習筆記:HDFS 特點
HDFS 專為解決大數據存儲問題而產生的,其具備了以下特點:
1)HDFS文件系統可存儲超大文件
每個磁盤都有默認的數據塊大小,這是磁盤在對數據進行讀和寫時要求的最小單位, 文件系統是要構建於磁盤上的,文件系統的也有塊的邏輯概念,通常是磁盤塊的整數倍,通常文件系統為幾千個字節,而磁盤塊一般為 512 個字節。
HDFS 是一種文件系統,自身也有塊(block)的概念,其文件塊要比普通單一磁 盤上文件系統大的多,默認是64MB。
HDFS上的塊之所以設計的如此之大,其目的是為了最小化尋址開銷。
HDFS文件的大小可以大於網絡中任意一個磁盤的容量,文件的所有塊並不需要存 儲在一個磁盤上,因此可以利用集群上任意一個磁盤進行存儲,由於具備這種分佈式存 儲的邏輯,所以可以存儲超大的文件,通常G、T、P 級別。
2)一次寫入,多次讀取
一個文件經過創建、寫入和關閉之後就不需要改變,這個假設簡化了數據一致性的問題,同時提高數據訪問的吞吐量。
3)運行在普通廉價的機器上
Hadoop 的設計對硬件要求低,無需昂貴的高可用性機器上,因為在 HDFS 設計 中充分考慮到了數據的可靠性、安全性和高可用性。
相關推薦
'Java是什麼?為什麼要學習Java?Java有哪些特點?'
"在正式開始Java學習之前,先來了解幾個關鍵性問題。那就是什麼是Java,為什麼要學習Java,Java 有哪些特點,Java 有哪些機制,如何來學習 Java 等幾個問題。通過這幾個問題讓大家瞭解 Java 的一些內容,從而展開 Java 的學習。1、java是什麼?J...
'Java架構師筆記丨用了10多年的 Tomcat 居然有bug,這能忍?'
"為了解決分佈式鏈路追蹤的問題,我們引入了實現OpenTracing的Jaeger來實現。然後我們為SpringBoot框架寫了一個starter以讓用戶實現近零改造接入全鏈路。由於公司有一個封裝了SpringBoot的內部框架,然後我們的starter就以最新框架所使用的...
'零基礎進軍Java必備!java基礎學習—網絡編程總結'
"一、網絡基礎概念首先理清一個概念:網絡編程 != 網站編程,網絡編程現在一般稱為TCP/IP編程。二、網絡通信協議及接口三、通信協議分層思想四、參考模型五、IP協議每個人的電腦都有一個獨一無二的IP地址,這樣互相通信時就不會傳錯信息了。IP地址是用一個點來分成四段的,在計...
'怎麼還在糾結學Java還是python,未來大數據才是王道,附學習教程'
"如今的大數據不再是一個流行術語,在大數據行業火熱的發展下,大數據幾乎涉及到所有行業的發展。國家相繼出臺的一系列政策更是加快了大數據產業的落地,預計未來幾年大數據產業將會蓬勃發展。未來大數據產業發展的趨勢之一:與雲計算、人工智能等前沿創新技術深度融合。大數據、雲計算、人工智...
'Java是什麼?為什麼要學習Java? Java有哪些特點?'
"在正式開始Java學習之前,先來了解幾個關鍵性問題。那就是什麼是Java,為什麼要學習Java,Java 有哪些特點,Java 有哪些機制,如何來學習 Java 等幾個問題。通過這幾個問題讓大家瞭解 Java 的一些內容,從而展開 Java 的學習。1、java是什麼?J...
推薦中...