hadoop整體結構組件服務介紹

Hadoop MapReduce HDFS Hive IT互聯網知識分享 2017-04-27

hadoop服務組件簡單解釋

1、core 分佈式系統和通用IO組件和接口(序列化、java遠程調用等等服務)

2、avro 支持跨語言過程調用,持久數據存儲的數據序列化系統

3、MapReduce 構建在廉價的pc機器上分佈式數據處理模型和運行環境

4、hdfs 構建廉價的pc機器上分佈式文件系統

5、pig 處理海量數據集的數據流語言和運行環境 ,pig運行在HDFS和MapReduce之上

6、HBase 分佈式面向列的數據庫 ,HBase使用HDFS作為底層存儲, 同時使用MapReduce支持批處理模式的計算機和隨機查詢

7、 Zookeeper 提供分佈式、高效的協作服務以及分佈式鎖這樣的原子操作、可以用來構建分佈式應用

8、hive 分佈式數據倉庫 、 Hive使用Hdfs存儲數據,提供類似sql的語句(轉換為MapReduce任務) 查詢數據

9、chukwa 分佈式數據採集和分析系統 、 使用HDFS 存儲數據 、 使用MapReduce輸出分析報告

相關推薦

推薦中...