Hadoop hdfs完全分佈式搭建教程

編程語言 Hadoop HDFS Linux IT優就業 2017-06-12

1、安裝環境

①、四臺Linux CentOS6.7 系統

hostname ipaddress    subnet mask geteway

1、 master     192.168.146.200    255.255.255.0      192.168.146.2

2、 slave1      192.168.146.201    255.255.255.0      192.168.146.2

3、 slave2      192.168.146.202    255.255.255.0      192.168.146.2

4、 slave3      192.168.146.203    255.255.255.0      192.168.146.2

其中 master 機器是 NameNode;

slave1 機器是 SecondaryNameNode

slave1,slave2,slave3 是三臺 DataNode

②、hadoop 2.7 安裝包

③、三臺機器上建立一個相同的用戶 hadoop

2、安裝 JDK

3、配置SSH 無密碼登錄

我們以 master 機器來進行如下配置:

4、解壓 hadoop-2.7.3.tar.gz

①、將下載的 hadoop-2.7.3.tar.gz 複製到 /home/hadoop 目錄下(可以利用工具 WinSCP)

②、解壓,進入/home/hadoop 目錄下,輸入下面命令

Hadoop hdfs完全分佈式搭建教程

③、給 hadoop-2.7.3文件夾重命名,以便後面引用

Hadoop hdfs完全分佈式搭建教程

④、刪掉壓縮文件 hadoop-2.7.3.tar.gz,並在/home/hadoop 目錄下新建文件夾tmp

⑤、配置 hadoop 環境變量(這裡我Java 和 hadoop 環境變量一起配置了)

使用 root 用戶登錄。輸入

Hadoop hdfs完全分佈式搭建教程

Hadoop hdfs完全分佈式搭建教程

5、配置 hadoop 文件中相應的文件

需要配置的文件如下,hadoop-env.sh,core-site.xml,hdfs-site.xml,slaves,所有的文件配置均位於hadoop2.7.1/etc/hadoop下面,具體需要的配置如下:

5.1 配置/home/hadoop/hadoop2.7/etc/hadoop目錄下的core-site.xml

Hadoop hdfs完全分佈式搭建教程

注意:hadoop.tmp.dir是hadoop 文件系統依賴的配置文件。 默認是在 /tmp 目錄下的,而這個目錄下的文件,在Linux系統中,重啟之後,很多都會被清空。所以我們要手動指定這寫文件的保存目錄。

這個目錄路徑要麼不存在,hadoop啟動的時候會自動幫我們創建;要麼是一個空目錄,不然在啟動的時候會報錯。

5.2 配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下的hdfs-site.xml

Hadoop hdfs完全分佈式搭建教程

注意:dfs.replication 是配置文件保存的副本數;dfs.namenode.secondary.http-address 是指定 secondary 的節點。

5.3配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下hadoop-env.sh 的JAVA_HOME

Hadoop hdfs完全分佈式搭建教程

設置 JAVA_HOME 為自己在系統中安裝的 JDK 目錄

Hadoop hdfs完全分佈式搭建教程

5.4配置/home/hadoop/hadoop-2.7/etc/hadoop目錄下的slaves,刪除默認的localhost,增加3個從節點

Hadoop hdfs完全分佈式搭建教程

Hadoop hdfs完全分佈式搭建教程

5.5、指定 SecondaryNameNode 節點

在 /home/hadoop hadoop-2.7/etc/hadoop 目錄下手動創建一個 masters 文件

Hadoop hdfs完全分佈式搭建教程

打開文件後,輸入 SecondaryNameNode 節點的主機名或者 IP 地址

Hadoop hdfs完全分佈式搭建教程

6、將配置好的 hadoop 文件上傳給其它三個節點

Hadoop hdfs完全分佈式搭建教程

7、啟動 hadoop

在master服務器啟動hadoop,從節點會自動啟動,進入/home/hadoop/hadoop-2.7目錄

(1)初始化,輸入命令,bin/hdfs namenode -format

Hadoop hdfs完全分佈式搭建教程

(2)啟動hdfs 命令:sbin/start-dfs.sh

Hadoop hdfs完全分佈式搭建教程

(3)停止命令,sbin/stop-hdfs.sh

(4)輸入命令,jps,可以看到相關信息

8、訪問界面

①、關閉防火牆

Hadoop hdfs完全分佈式搭建教程

②、訪問 NameNode 節點信息:http://192.168.146.200:50070

Hadoop hdfs完全分佈式搭建教程

點擊DataNodes 查看 DataNode 節點

Hadoop hdfs完全分佈式搭建教程

③、訪問 SecondaryNameNode 節點信息,就是我們在hdfs-site.xml 中配置的路徑 http://192.168.146.201:50090

Hadoop hdfs完全分佈式搭建教程

給你500萬你還工作嗎?

http://www.ujiuye.com/zt/jyfc/?wt.bd=fq37300j

竟然有人賠本辦遊學夏令營

http://www.ujiuye.com/zt/qgsqxly/?wt.bd=fq37300j

相關推薦

推薦中...