一：環境搭建：VM、CentOS7安裝及網絡配置

大數據入門首先需要搭建環境，接下來的三篇文章均是環境搭建部分的內容。

首先我們要安裝虛擬機及linux系統

一、安裝虛擬機VM

官網下載VM虛擬機：這裡下載的VMware-workstation-full-10.0.4，好像往後的高版本需要win系統為64位，根據自己的需求下載安裝。

二、安裝CentOS7

1、官網下載：我下載的是CentOS-7-x86_64-DVD-1804.iso文件。

2、安裝過程（略）：自行百度安裝，按照步驟安裝無問題，可根據需要選擇最小化安裝，安裝至最後一步驟時最好創建一個用戶。

3、複製出另外兩臺虛擬機，並對每臺虛擬機命名為master、slave1、slave2。

三、網絡配置

1、配置網絡為NAT模式，三臺均需要配置；

2、修改網卡配置，三臺均需要修改

cd /etc/sysconfig/network-scripts

vim ifcfg-ens33

添加內容：IPADDR=192.168.198.21 //ip地址

添加內容：NETMASK=255.255.255.0

添加內容：GATEWAY=192.168.198.2 //網關

添加內容：DNS1=8.8.8.8

3、配置完成後重啟網絡服務

/etc/init.d/network restart 或

service network restart

4、測試訪問外網是否通

curl www.baidu.com

ping www.baidu.com

5、分別用securecrt連接centos

5.1.如何安裝及註冊SecureCRT教程

網頁鏈接

5.2.如何用SecureCRT連接vm的虛擬機教程：

網頁鏈接

6、修改hosts

vim /etc/hosts

7、修改hostname

hostnamectl set-hostname master

使用這種方式修改，可以永久性的修改主機名稱！

二：環境搭建：jdk1.8安裝及環境配置

接下來就要安裝在操作系統上運作的大數據核心hadoop分佈式系統基礎架構！Hadoop實現了一個分佈式文件系統(Hadoop Distributed File System)，簡稱HDFS，Hadoop的框架最核心的設計就是:HDFS和MapReduce：HDFS為海量的數據提供了存儲，而MapReduce為海量的數據提供了計算，因此安裝完hadoop以後我們可以進行hdfs文件存儲、訪問，也可以進行mapreduce實踐操作，真正體驗戶在不瞭解分佈式底層細節的情況下，開發分佈式程序，充分利用集群的威力進行高速運算和存儲。

首先要明白：hadoop需要以下兩個軟件才能進行搭建

hadoop-2.6.1.tar.gz

jdk-8u172-linux-x64.tar.gz

本文我們先安裝java jdk1.8.0

一、設置共享文件夾

0. 安裝vmware tools,在虛擬機中版本更新裡面選取安裝即可,若不成功，按如下安裝：

1. mount /dev/cdrom/media 加載文件系統到指定的加載點，常用於掛在cdrom,使我們可以訪問cdrom中的數據;

2. tar xvzf VmwareTools-9.6.2-/688356.tar.gz將安裝文件夾拷貝至自己的目錄中並解壓;

3../vmware-install.pl進入解壓好的目錄後運行此安裝命令;

4. vmware-hgfsclient查看共享目錄此時應顯示共享目錄share-folder;

5. vmhgfs-fuse .host:/ /mnt/hgfs掛載目錄;

6. cd /mnt/hgfs/share-folser進入目錄。

二、安裝jdk1.8

0. 從共享目錄拷貝至安裝目錄並解壓：

cp jdk-8u172-linux-x64.tar.gz /usr/local/src

tar xvzf jdk-8u172-linux-x64.tar.gz

1. 設置環境變量

vim ~/.bashrc

添加java路徑如下：

#java

export JAVA_HOME=/usr/local/src/jdk1.8.0_172

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

2. 檢查是否安裝成功

java運行java；

which java查看java信息；

java -version查看java版本。

3. 拷貝解壓包至slave1、slave2中並設置.bashrc文件

scp -rp jdk1.8.0-172 192.168.198.22:/usr/local/src/

scp -rp jdk1.8.0-172 192.168.198.23:/usr/local/src/

.bashrc文件配置和master中一樣！

4. 分別檢查三臺機器都能運行java

至此java安裝完成！

三、先安裝一些依賴包

yum -y update #更新yum包

yum install -y vim

yum install -y net-tools

yum install -y gcc

yum install -y prel

yum install -y kernel-headers

三：環境搭建：Hadoop2.0安裝及配置

首先要明白：hadoop需要以下兩個軟件才能進行搭建

hadoop-2.6.1.tar.gz

jdk-8u172-linux-x64.tar.gz（上篇已介紹）

一、安裝Hadoop2.6.1並配置

0. 下載安裝包至共享目錄：

1.cp hadoop-2.6.1.tar.gz /usr/local/src拷貝安裝包；

2.tar xvzf hadoop-2.6.1.tar.gz解壓；

3. 創建臨時目錄及文件目錄：

mkdir /usr/local/src/hadoop-2.6.1/tmp

mkdir /usr/local/src/hadoop-2.6.1/dfs/name

mkdir /usr/local/src/hadoop-2.6.1/dfs/data

4. 修改hadoop配置文件：

cd /usr/local/src/hadoop-2.6.1/etc/hadoop

1) vim hadoop-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_172

2) vim yarn-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_172

3) vim slaves

slave1

slave2

4) vim core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://192.168.198.21:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>

</property>

</configuration>

5) vim hdfs-site.xml

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>master:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>

</property>

<property>

<name>dfs.repliction</name>

<value>2此處設置為2比較合適，因為從節點為2個

</property>

</configuration>

6) vim mapred-site.xml（注：此文件需自己創建，不能用mapred-site.xml.template）

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

7) vim yarn-site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8035</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

</configuration>

5.配置環境變量（注：三臺機器都要配置）

vim ~/.bashrc

#hadoop

export HADOOP_HOME=/usr/local/src/hadoop-2.6.1

export PATH=$PATH:$HADOOP_HOME/bin

source ~/.bashrc

6. 拷貝安裝包

scp -rp hadoop-2.6.1 192.168.198.22:/usr/local/src/

scp -rp hadoop-2.6.1 192.168.198.23:/usr/local/src/

7. 啟動集群

在啟動集群之前需按順序做兩件事：

1）

關閉防火牆：

firewall-cmd --state 此時顯示running

systemctl disabled firewalld 或

systemctl stop firewalld

在查看防火牆應該為not running即已關閉

關閉Selinux:

vim /etc/selinux/config

將SELINUX=””改為disabled重啟後永久關閉

2） 格式化

hadoop namenode -formate

注：只能格式化一次，如果多次格式化可能引起錯誤，此時需要將之前建的tmp、data、name文件夾刪除再重新建，在重新格式化！

3） 啟動集群

cd /hadoop-2.6.1/sbin

./start-all.sh

4) 查看集群狀態

master:

slave1

slave2:

8. 設置互信

1) 生成公鑰

ssh-keygen 回車回車回車

2） 配置文件

cd ~/.ssh進入隱藏目錄

獲取master的公鑰放在authorized_keys文件中：

cat id_rsa.pub > authorized_keys

將slave1、slave2的公鑰複製到master上的authorized_keys文件中

再將authorized_keys文件拷貝至slave1、slave2上

scp -rp authorized_keys 192.168.198.22:~/.ssh

scp -rp authorized_keys 192.168.198.23:~/.ssh

3） 檢測互信是否成功

在master上輸入ssh salve1

將會切換為slave1主機名，說明成功

退出：exit

9. 集群操作

hadoop fs -ls /

hadoop fs -put 1.data /

等命令運行無誤說明集群已經配置成功

10. 關閉集群

./sbin/hadoop stop-all.sh

至此，hadoop環境安裝搭建完成，接下來可以進行實踐了！

獲取方式：

1、請評論區留下你們評論：轉發

2、評論後私信我：“學習”即可領取！

一個轉發+評論，一份資料。名額有限，太多人我送不過來，請體諒！

資料只為有需要的朋友準備，而且整理不易，如果覺得資源不錯，希望大家能積極轉發讓更多人看到，給予小編鼓勵與支持，有動力分享資源