大數據開發工作者們,Hadoop的這三大發行版本你都瞭解嗎?
一、Apache Hadoop 版本 由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/
Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。 推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0 下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/ Apache Hadoop 版本的特點:完全開源免費 Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持 一、Apache Hadoop 版本 由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/ Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。 推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0 下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/ Apache Hadoop 版本的特點:完全開源免費 Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持 二、Cloudera Hadoop 版本 Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。 官網鏈接:http://www.cloudera.com/ Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。 CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本: CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/ Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。 一、Apache Hadoop 版本 由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/ Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。 推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0 下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/ Apache Hadoop 版本的特點:完全開源免費 Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持 二、Cloudera Hadoop 版本 Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。 官網鏈接:http://www.cloudera.com/ Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。 CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本: CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/ Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。 三、Hortonworks Hadoop 版本 Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/ Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。 推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本 下載地址:http://zh.hortonworks.com/hdp/downloads/ Hortonworks Hadoop 的特點:免費開源, HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。 安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。 管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。 數據集成服務HDP 包括開源數據整合工具 Talend。 元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。 一、Apache Hadoop 版本 由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/ Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。 推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0 下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/ Apache Hadoop 版本的特點:完全開源免費 Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持 二、Cloudera Hadoop 版本 Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。 官網鏈接:http://www.cloudera.com/ Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。 CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本: CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/ Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。 三、Hortonworks Hadoop 版本 Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/ Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。 推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本 下載地址:http://zh.hortonworks.com/hdp/downloads/ Hortonworks Hadoop 的特點:免費開源, HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。 安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。 管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。 數據集成服務HDP 包括開源數據整合工具 Talend。 元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。 如何選擇Hadoop版本 當前Hadoop版本比較混亂,讓很多用戶不知所措。實際上,當前Hadoop只有兩個版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一個分佈式文件系統HDFS和一個離線計算框架MapReduce組成,而Hadoop 2.0則包含一個支持NameNode橫向擴展的HDFS,一個資源管理系統YARN和一個運行在YARN上的離線計算框架MapReduce。相比於Hadoop 1.0,Hadoop 2.0功能更加強大,且具有更好的擴展性、性能,並支持多種計算框架。 當我們決定是否採用某個軟件用於開源環境時,通常需要考慮以下幾個因素: (1)是否為開源軟件,即是否免費。 (2) 是否有穩定版,這個一般軟件官方網站會給出說明。 (3) 是否經實踐驗證,這個可通過檢查是否有一些大點的公司已經在生產環境中使用知道。 (4) 是否有強大的社區支持,當出現一個問題時,能夠通過社區、論壇等網絡資源快速獲取解決方法。 一、Apache Hadoop 版本 由 Apache 基金會所開發的分佈式系統基礎架構。官網鏈接:http://hadoop.apache.org/ Apache Hadoop 發行版分為兩大版本:Hadoop 1.x 和Hadoop 2.x。第二代的 Hadoop 相比於第一代的有了非常大的變化,可以說是一套全新的架構。均包含 HDFS Federation 和 YARN 兩個系統。 推薦使用版本:Hadoop 2.x 比如 hadoop-2.5.0 下載鏈接:https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/ Apache Hadoop 版本的特點:完全開源免費 Apache Hadoop 版本的缺點:複雜的集群設置、複雜的版本與生態系統、商業支持 二、Cloudera Hadoop 版本 Cloudera 公司的 Hadoop 發行版,包含:CDH3、CDH4、CDH5 三個版本,也是最早將 Hadopp進行商用的公司。 官網鏈接:http://www.cloudera.com/ Cloudera 對 hadoop 做了相應的改變。Cloudera 公司的發行版,我們將該版本稱為 CDH(Cloudera Distribution Hadoop)。 CDH3 對應的是 Apache hadoop 1.x,CDH4/CDH5 對應的是Apache hadoop 2.x,推薦使用版本: CDH5,下載地址:http://archive.cloudera.com/cdh5/cdh/ Cloudera 主要產品為 CDH、Cloudera Manager、Cloudera Support Cloudera Hadoop 的特點:免費開源,更新速度快,比 Apache hadoop 在兼容性,安全性,穩定性上有增強。安裝、升級文檔詳細。提供 Cloudera Manager,可以在幾個小時內部署好一個 hadoop集群,並對集群的節點及服務進行實時監控。 三、Hortonworks Hadoop 版本 Hortonworks 公司的 Hadoop 發行版。官網鏈接:http://hortonworks.com/ Hortonworks,一家Hadoop 初創公司, 2011 年從雅虎剝離。一直以來,這家公司都帶有一點神祕色彩,很少有高管變動的新聞稿,融資情況也不清楚,甚至還有一些半真半假的謠言——該公司拒絕了來自微軟和英特爾收購。 推薦使用版本:最新版本 HDP 2.x 版本,比如 HDP 2.1 版本 下載地址:http://zh.hortonworks.com/hdp/downloads/ Hortonworks Hadoop 的特點:免費開源, HDP 包括穩定版本的 Apache Hadoop 的所有關鍵組件,集成和測試封裝。 安裝方便 HDP 包括一個現代化的,直觀的用戶界面的安裝和配置工具。 管理和監控服務 HDP 包括直觀的儀表板,為監測集群和建立警示。 數據集成服務HDP 包括開源數據整合工具 Talend。 元數據服務 HDP 包括的 Apache HCatalog,從而簡化了 Hadoop 的應用程序之間和Hadoop 和其他數據系統之間的數據共享。 如何選擇Hadoop版本 當前Hadoop版本比較混亂,讓很多用戶不知所措。實際上,當前Hadoop只有兩個版本:Hadoop 1.0和Hadoop 2.0,其中,Hadoop 1.0由一個分佈式文件系統HDFS和一個離線計算框架MapReduce組成,而Hadoop 2.0則包含一個支持NameNode橫向擴展的HDFS,一個資源管理系統YARN和一個運行在YARN上的離線計算框架MapReduce。相比於Hadoop 1.0,Hadoop 2.0功能更加強大,且具有更好的擴展性、性能,並支持多種計算框架。 當我們決定是否採用某個軟件用於開源環境時,通常需要考慮以下幾個因素: (1)是否為開源軟件,即是否免費。 (2) 是否有穩定版,這個一般軟件官方網站會給出說明。 (3) 是否經實踐驗證,這個可通過檢查是否有一些大點的公司已經在生產環境中使用知道。 (4) 是否有強大的社區支持,當出現一個問題時,能夠通過社區、論壇等網絡資源快速獲取解決方法。 我是小媛(#^.^#),如果你覺得我的內容還不錯,記得關注收藏,更多大數據行業資訊,技術乾貨等著你的學習。相關推薦