今天的晚上八點的直播課會為大家帶來linux下的hadoop的教學，教學主要內容如下：
linux環境準備：
1、檢查網絡環境：ip、hostname
2、查看防火牆是否完全關閉
安裝jdk：
1、創建目錄：
su -root 切換root用戶創建
# mkdir /opt/modules/ 用於軟件安裝的目錄
# mkdir /opt/softwares/ 用於軟件下載目錄
2、設置目錄權限：
# chown beifeng:beifeng /opt/modules/
# chown beifeng:beifeng /opt/softwares/
3、解壓jdk：
$ tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules/
4、配置 jdk環境變量：
# vi /etc/profile
在文件末尾添加：
##JAVA_HOME
JAVA_HOME=/opt/modules/jdk1.7.0_67
export PATH=$PATH:$JAVA_HOME/bin
5、卸載系統自帶的jdk：
# rpm -qa |grep -i java
6、更新文件，使之生效：
# source /etc/profile
安裝hadoop：
注：hadoop安裝包下的配置文件所在目錄：
/opt/modules/hadoop-2.5.0/etc/hadoop
1、配置hadoop環境變量
hadoop-env.sh mapred-env.sh yarn-env.sh 三個全部修改javahome
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2、修改 core-site.xml
<!--hdfs默認訪問入口-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://beifeng:8020</value>
</property>
<!--存放hadoop 運行產生臨時數據的目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/hadoop-2.5.0/data</value>
</property>
3、修改slaves文件
指定那臺服務器是datanode
beifeng
4、修改hdfs-site.xml
<!--設置副本數為1個副本-->副本數不能大於主機個數
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
5、格式化文件系統
$ bin/hdfs namenode -format
6、啟動namenode 和datanode 服務
$ sbin/hadoop-daemon.sh start namenode 啟動namenode
$ sbin/hadoop-daemon.sh start datanode 啟動datanode
7、查看服務進程
$ jps
10031 Jps
9954 DataNode
9845 NameNode
8、hdfs小案例
$ bin/hdfs dfs -mkdir /input 創建文件夾在hdfs上
$ bin/hdfs dfs -put /opt/modules/yy.txt /input 上傳文件
$ bin/hdfs dfs -cat /input/yy.txt 查看文件
9、配置 yarn
yarn：資源管理，任務調度
修改yarn-env.sh mapred-env.sh
環境變量：
export JAVA_HOME=/opt/modules/jdk1.7.0_67
10、yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-senior.beifeng.com</value>
</property>
11、mapred-site.xml
<!--mapreeduce 運行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
12、啟動yarn
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
13、利用官方自帶jar包進行文件的單詞統計
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output/
14、查看統計結果
$ bin/hdfs dfs -cat /output/par*
15、容易出現的問題：
***用戶操作的問題
***不要用root用戶啟動服務
***切換普通用戶的時候記得去虛擬機查看是否已經切換普通用戶
***/opt目錄下 的兩個文件夾 一定是屬於普通用戶的
***編輯配置文件的時候 notepad 用普通用戶去登陸操作，
***虛擬機環境問題 防火牆 網關 ip 主機名本地hosts文件添加映射
怎麼樣，感興趣的同學抓緊進群觀看直播了！
