Hadoop2.X—快速部署,一睹HDFS的芳容

編程語言 Hadoop HDFS Java 卡弗卡大數據 2017-05-02

Hadoop2.X—快速部署,一睹HDFS的芳容

還是接著上節的內容來講,雖然今天不是視頻,但一樣儘可能的做到內容的完整全面。因為卡弗卡大數據對外分享的內容都比較講究質量,每篇文章都是,包括視頻。為啥不今天發的不是視頻,自己猜去吧,哈哈!

基於上節課的內容,今天我們要搭建hadoop的偽分佈式環境(也就是單節點環境)。先讓我們的HDFS分佈式文件系統跑起來。學了這麼久,大數據說的神乎其神,到底長啥樣呀。所以接下來我們來一探究竟。

看文章比較累,先打點雞血,俺們正式開始。

Hadoop2.X—快速部署,一睹HDFS的芳容


第一步:創建我們要使用的目錄

在自建的系統用(kfk)下創建如下的幾個目錄,以備我們接下來操作的使用。

$ sudo mkdir /opt/softwares

$ sudo mkdir /opt/modules

$ sudo mkdir /opt/tools

$ sudo mkdir /opt/datas

第二步:將新建的目錄所屬用戶改為kfk用戶

也就是此時的目錄用戶為root,我們要把它改為kfk用戶。

$ sudo chown -R kfk:kfk /opt/*

第三步:上傳jdk和hadoop的安裝包

hadoop的安裝包大家去這個網址下載,所有版本介質都來源這裡。

  • https://archive.apache.org/dist/hadoop/common

JDK版本:1.7 for Linux

Hadoop版本:hadoop2.5.0

上傳工具:FileZilla

上傳目錄:/opt/softwares

第四步:修改安裝文件的可執行權限

如果windows,沒有執行權限是不能安裝軟件的。所以要對剛剛上傳的文件做權限修改。

$ chmod u+x /opt/softwares/*

第五步:安裝JDK-解壓

  • 注意解壓的目錄

$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/

第六步:安裝JDK-配置環境變量

$ sudo vi /etc/profile

  • 在profile文件的末尾加上如下的內容:

##JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin

  • 保存文件

第七步:讓配置文件生效

切換到root用戶下

$ su

Password:

# source /etc/profile

# exit

第八步:驗證JDK安裝是否完成

$ java -version

第九步:安裝Hadoop-解壓

$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/

第十步:刪除.cmd文件

hadoop安裝文件解壓後,到/hadoop/sbin/目錄下刪除.cmd文件

$ rm -rf ./*.cmd

Hadoop2.X—快速部署,一睹HDFS的芳容

第十一步:刪除解壓目錄下的doc目錄

doc目錄都是關於hadoop的相關文檔,佔用磁盤空間比較大,所以我們把它刪掉。與sbin同級的share下找到doc目錄。

$ rm -rf ./share/doc/

第十二步:NotePad工具修改Hadoop的各個配置文件

工具名稱:NotePad

第十三步:刪除etc目錄下的.cmd文件

  • /opt/modules/hadoop-2.5.0/etc/hadoop下的.cmd文件

$ rm -rf ./*.cmd

第十四步:配置Hadoop中的Java_home

在hadoop-2.5.0/etc下分別打開hadoop-env.sh、mapred-env.sh、yarn-env.sh,修改三個文件中的

JAVA_HOME參數值:

export JAVA_HOME=/opt/modules/jdk1.7.0_67

保存文件

第十五步:驗證Java_home的配置

[[email protected] hadoop-2.5.0]$ bin/hadoop


Hadoop2.X—快速部署,一睹HDFS的芳容

聽個歌曲等會再戰

第十六步:配置etc/hadoop/core-site.xml文件

打開core-site.xml文件,添加內容如下:

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://bigdata-senior01.kfk.com:9000</value>

</property>

</configuration>

保存文件!

以上配置的是NameNode默認的節點服務,我們把localhost改成我們命名的域名城bigdata-senior01.kfk.com。

第十七步:配置etc/hadoop/slave文件

也就是配置我們的DataNode節點服務,打開slave文件,添加內容如下:

bigdata-senior01.kfk.com

因為我們是偽分佈式的部署安裝,所以我們把NameNode和DataNode放在同一個節點服務器上了。

第十八步:配置etc/hadoop/hdfs-site.xml文件

這裡配置的是HDFS文件的副本數,添加內容如下:

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

保存文件!

第十九步:格式化文件系統

目的是生成文件的根目錄和元數據。

[[email protected] hadoop-2.5.0]$ bin/hdfs namenode -format

等待執行,如過程沒有報錯,格式化文件就算完成了。

第二十步:啟動HDFS服務

在之前我們講過,HDFS的兩個非常重要的進程。大家還是老老實實一個一個的啟動操作。

$ sbin/hadoop-daemon.sh start namenode

$ sbin/hadoop-daemon.sh start datanode

第二一步:查看服務是否啟動

$ jps

2355 Jps

2206 NameNode

2281 DataNode

這就說明我們的服務都啟動起來了。

第二十二部:瀏覽器訪問HDFS

默認端口為50070,主機名按你自己配置的鞋就OK。

http://bigdata-senior01.kfk.com:50070/

至此我們的HDFS安裝部署就完成了!

Hadoop2.X—快速部署,一睹HDFS的芳容

相關推薦

推薦中...