大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

一、Apache Hadoop 版本

由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/

Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。

推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

Apache Hadoop 版本的特點:完全開源免費

Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

一、Apache Hadoop 版本

由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/

Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。

推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

Apache Hadoop 版本的特點:完全開源免費

Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

二、Cloudera Hadoop 版本

Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。

官網鏈接:http://www.cloudera.com/

Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。

CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本:

CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/

Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support

Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

一、Apache Hadoop 版本

由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/

Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。

推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

Apache Hadoop 版本的特點:完全開源免費

Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

二、Cloudera Hadoop 版本

Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。

官網鏈接:http://www.cloudera.com/

Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。

CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本:

CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/

Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support

Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

三、Hortonworks Hadoop 版本

Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/

Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。

推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本

下載地址:http://zh.hortonworks.com/hdp/downloads/

Hortonworks Hadoop 的特點:免費開源,

HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。

安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。

管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。

數據集成服務HDP 包括開源數據整合工具 Talend。

元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

一、Apache Hadoop 版本

由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/

Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。

推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

Apache Hadoop 版本的特點:完全開源免費

Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

二、Cloudera Hadoop 版本

Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。

官網鏈接:http://www.cloudera.com/

Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。

CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本:

CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/

Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support

Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

三、Hortonworks Hadoop 版本

Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/

Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。

推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本

下載地址:http://zh.hortonworks.com/hdp/downloads/

Hortonworks Hadoop 的特點:免費開源,

HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。

安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。

管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。

數據集成服務HDP 包括開源數據整合工具 Talend。

元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

如何選擇Hadoop版本

當前Hadoop版本比較混亂,讓很多用戶不知所措。實際上,當前Hadoop只有兩個版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一個分佈式文件系統HDFS和一個離線計算框架MapReduce組成,而Hadoop 2.0則包含一個支持NameNode橫向擴展的HDFS,一個資源管理系統YARN和一個運行在YARN上的離線計算框架MapReduce。相比於Hadoop 1.0,Hadoop 2.0功能更加強大,且具有更好的擴展性、性能,並支持多種計算框架。

當我們決定是否採用某個軟件用於開源環境時,通常需要考慮以下幾個因素:

(1)是否為開源軟件,即是否免費。

(2) 是否有穩定版,這個一般軟件官方網站會給出說明。

(3) 是否經實踐驗證,這個可通過檢查是否有一些大點的公司已經在生產環境中使用知道。

(4) 是否有強大的社區支持,當出現一個問題時,能夠通過社區、論壇等網絡資源快速獲取解決方法。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

一、Apache Hadoop 版本

由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/

Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。

推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0

下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/

Apache Hadoop 版本的特點:完全開源免費

Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

二、Cloudera Hadoop 版本

Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。

官網鏈接:http://www.cloudera.com/

Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。

CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本:

CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/

Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support

Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

三、Hortonworks Hadoop 版本

Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/

Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。

推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本

下載地址:http://zh.hortonworks.com/hdp/downloads/

Hortonworks Hadoop 的特點:免費開源,

HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。

安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。

管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。

數據集成服務HDP 包括開源數據整合工具 Talend。

元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

如何選擇Hadoop版本

當前Hadoop版本比較混亂,讓很多用戶不知所措。實際上,當前Hadoop只有兩個版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一個分佈式文件系統HDFS和一個離線計算框架MapReduce組成,而Hadoop 2.0則包含一個支持NameNode橫向擴展的HDFS,一個資源管理系統YARN和一個運行在YARN上的離線計算框架MapReduce。相比於Hadoop 1.0,Hadoop 2.0功能更加強大,且具有更好的擴展性、性能,並支持多種計算框架。

當我們決定是否採用某個軟件用於開源環境時,通常需要考慮以下幾個因素:

(1)是否為開源軟件,即是否免費。

(2) 是否有穩定版,這個一般軟件官方網站會給出說明。

(3) 是否經實踐驗證,這個可通過檢查是否有一些大點的公司已經在生產環境中使用知道。

(4) 是否有強大的社區支持,當出現一個問題時,能夠通過社區、論壇等網絡資源快速獲取解決方法。

大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?

我是小媛(#^.^#),如果你覺得我的內容還不錯,記得關注收藏,更多大數據行業資訊,技術乾貨等著你的學習。

相關推薦

推薦中...