hadoop服務組件簡單解釋
1、core 分佈式系統和通用IO組件和接口(序列化、java遠程調用等等服務)
2、avro 支持跨語言過程調用,持久數據存儲的數據序列化系統
3、MapReduce 構建在廉價的pc機器上分佈式數據處理模型和運行環境
4、hdfs 構建廉價的pc機器上分佈式文件系統
5、pig 處理海量數據集的數據流語言和運行環境 ,pig運行在HDFS和MapReduce之上
6、HBase 分佈式面向列的數據庫 ,HBase使用HDFS作為底層存儲, 同時使用MapReduce支持批處理模式的計算機和隨機查詢
7、 Zookeeper 提供分佈式、高效的協作服務以及分佈式鎖這樣的原子操作、可以用來構建分佈式應用
8、hive 分佈式數據倉庫 、 Hive使用Hdfs存儲數據,提供類似sql的語句(轉換為MapReduce任務) 查詢數據
9、chukwa 分佈式數據採集和分析系統 、 使用HDFS 存儲數據 、 使用MapReduce輸出分析報告
相關推薦
'數據倉庫Greenplum基本介紹'
"Greenplum簡介Greenplum是面向數據倉庫應用的關係型數據庫,基於PostgreSQL開發,跟PostgreSQL的兼容性非常好,大部分PostgreSQL客戶端工具及PostgreSQL應用都能運行在Greenplum平臺上。一、Greenplum屬於OLA...
'大數據與Hadoop有什麼關係?大數據Hadoop入門簡介'
"學習著數據科學與大數據技術專業(簡稱大數據)的我們,對於“大數據”這個詞是再熟悉不過了,而每當我們越去了解大數據就越發現有個詞也會一直被提及那就是——Hadoop那Hadoop與大數據有什麼關係呢?所謂大數據,就是從各種類型的數據中,快速獲得有價值信息的能力。大數據是需要...
'2019年,Hadoop到底是怎麼了?'
"Hadoop 太老了,很多人擔心它會不會到了明天就已經過時了。目前雲驅動數據處理和分析呈上升趨勢,我們在本文中來分析下,Apache Hadoop 在 2019 年是否還是一個可選方案。從我第一次使用 Apache Hadoop 生態系統開始,圍繞著“大數據”和“機器學習...
推薦中...