還是接著上節的內容來講,雖然今天不是視頻,但一樣儘可能的做到內容的完整全面。因為卡弗卡大數據對外分享的內容都比較講究質量,每篇文章都是,包括視頻。為啥不今天發的不是視頻,自己猜去吧,哈哈!
基於上節課的內容,今天我們要搭建hadoop的偽分佈式環境(也就是單節點環境)。先讓我們的HDFS分佈式文件系統跑起來。學了這麼久,大數據說的神乎其神,到底長啥樣呀。所以接下來我們來一探究竟。
看文章比較累,先打點雞血,俺們正式開始。
第一步:創建我們要使用的目錄
在自建的系統用(kfk)下創建如下的幾個目錄,以備我們接下來操作的使用。
$ sudo mkdir /opt/softwares
$ sudo mkdir /opt/modules
$ sudo mkdir /opt/tools
$ sudo mkdir /opt/datas
第二步:將新建的目錄所屬用戶改為kfk用戶
也就是此時的目錄用戶為root,我們要把它改為kfk用戶。
$ sudo chown -R kfk:kfk /opt/*
第三步:上傳jdk和hadoop的安裝包
hadoop的安裝包大家去這個網址下載,所有版本介質都來源這裡。
https://archive.apache.org/dist/hadoop/common
JDK版本:1.7 for Linux
Hadoop版本:hadoop2.5.0
上傳工具:FileZilla
上傳目錄:/opt/softwares
第四步:修改安裝文件的可執行權限
如果windows,沒有執行權限是不能安裝軟件的。所以要對剛剛上傳的文件做權限修改。
$ chmod u+x /opt/softwares/*
第五步:安裝JDK-解壓
注意解壓的目錄
$ tar -zxf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
第六步:安裝JDK-配置環境變量
$ sudo vi /etc/profile
在profile文件的末尾加上如下的內容:
##JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
保存文件
第七步:讓配置文件生效
切換到root用戶下
$ su
Password:
# source /etc/profile
# exit
第八步:驗證JDK安裝是否完成
$ java -version
第九步:安裝Hadoop-解壓
$ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/
第十步:刪除.cmd文件
hadoop安裝文件解壓後,到/hadoop/sbin/目錄下刪除.cmd文件
$ rm -rf ./*.cmd
第十一步:刪除解壓目錄下的doc目錄
doc目錄都是關於hadoop的相關文檔,佔用磁盤空間比較大,所以我們把它刪掉。與sbin同級的share下找到doc目錄。
$ rm -rf ./share/doc/
第十二步:NotePad工具修改Hadoop的各個配置文件
工具名稱:NotePad
第十三步:刪除etc目錄下的.cmd文件
/opt/modules/hadoop-2.5.0/etc/hadoop下的.cmd文件
$ rm -rf ./*.cmd
第十四步:配置Hadoop中的Java_home
在hadoop-2.5.0/etc下分別打開hadoop-env.sh、mapred-env.sh、yarn-env.sh,修改三個文件中的
JAVA_HOME參數值:
export JAVA_HOME=/opt/modules/jdk1.7.0_67
保存文件
第十五步:驗證Java_home的配置
[[email protected] hadoop-2.5.0]$ bin/hadoop
第十六步:配置etc/hadoop/core-site.xml文件
打開core-site.xml文件,添加內容如下:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-senior01.kfk.com:9000</value>
</property>
</configuration>
保存文件!
以上配置的是NameNode默認的節點服務,我們把localhost改成我們命名的域名城bigdata-senior01.kfk.com。
第十七步:配置etc/hadoop/slave文件
也就是配置我們的DataNode節點服務,打開slave文件,添加內容如下:
bigdata-senior01.kfk.com
因為我們是偽分佈式的部署安裝,所以我們把NameNode和DataNode放在同一個節點服務器上了。
第十八步:配置etc/hadoop/hdfs-site.xml文件
這裡配置的是HDFS文件的副本數,添加內容如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
保存文件!
第十九步:格式化文件系統
目的是生成文件的根目錄和元數據。
[[email protected] hadoop-2.5.0]$ bin/hdfs namenode -format
等待執行,如過程沒有報錯,格式化文件就算完成了。
第二十步:啟動HDFS服務
在之前我們講過,HDFS的兩個非常重要的進程。大家還是老老實實一個一個的啟動操作。
$ sbin/hadoop-daemon.sh start namenode
$ sbin/hadoop-daemon.sh start datanode
第二一步:查看服務是否啟動
$ jps
2355 Jps
2206 NameNode
2281 DataNode
這就說明我們的服務都啟動起來了。
第二十二部:瀏覽器訪問HDFS
默認端口為50070,主機名按你自己配置的鞋就OK。
http://bigdata-senior01.kfk.com:50070/
至此我們的HDFS安裝部署就完成了!