CentOS 7安装Hadoop
一、启动两台虚拟客户机
1.打开VMware Workstation14
2.打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave
二、Linux系统配置
以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：
[lyu@master ~]$ su root
输入密码：lyu
本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：
鼠标右击选中Open Terminal
终端打开后如下图中命令行窗口所示。
设置网络
在windos下设置虚拟网卡
在VMware软件中设置网络
虚拟机中设置网络（图形界面中的设置或命令行设置，二选一）
图形界面中设置网络
master：
slave：除了IP地址其它一样
命令行设置
vi /etc/sysconfig/network-scripts/ifcfg-ens33（注：其他低版本的系统默认的可能是ifcf-eth0）
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=d3e21db1-9594-417d-87c7-109c2a367f90
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.6.100
PREFIX=24
GATEWAY=192.168.6.2
DNS1=114.114.114.114
（注：IP地址master填192.168.6.100 slave填192.168.6.101）
service network restart
测试是否配置成功 ping baidu.com
可能出现的问题：由于slave是直接克隆过去的，MAC地址一样，可能不能同时上网
解决方法：slave中删除相关文件
rm –f /etc/udev/rules.d/70-persistent-net.rules
VMware中 虚拟机-设置—网络适配器（nat）--高级（重新生成并复制MAC地址）
重启后
vi /etc/sysconfig/network-scripts/ifcfg-ens33
将HWADDR=改成刚才随机生成的MAC地址（不存在就不改）
配置主机名
Master 节点: master
Slave 节点: Slave
*自定义：
使用gedit编辑主机名，如果不可以使用gedit，请直接使用vi编辑器（后面用到gedit的地方也同此处处理一致）。
配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第2行所示。
确实修改生效命令：
检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：
* Slave 节点，类同。
配置时钟同步
1、配置自动时钟同步
该项同时需要在HadoopSlave节点配置。
使用Linux命令配置
[root@master lyu]# crontab -e |
该命令是vi编辑命令，按i进入插入模式，按Esc，然后键入:wq保存退出键入下面的一行代码，输入i，进入插入模式（星号之间和前后都有空格）
0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org |
2、手动同步时间
直接在Terminal运行下面的命令：
[root@master lyu]# /usr/sbin/ntpdate cn.pool.ntp.org |
关闭防火墙
在终端中执行下面命令：
[root@master ~]# systemctl stop firewalld.service [root@master ~]# systemctl disable firewalld.service |
配置hosts列表
该项也需要在HadoopSlave节点配置。
需要在root用户下（使用su命令），编辑主机名列表的命令：
[root@master lyu]# vi /etc/hosts |
将下面两行添加到/etc/hosts文件中：
192.168.21.128 master 192.168.21.129 slave |
注意：这里master节点对应IP地址是192.168.6.100，slave对应的IP是192.168.6.101，而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址。
[lyu@master ~]$ ping master [lyu@master ~]$ ping slave |
如果能ping通表示配置成功
安装JDK
该项也需要在HadoopSlave节点配置。
首先查询系统自带的jdk
[root@master ~]$ rpm -qa | grep java |
[root@master lyu]# rpm -qa|grep java
java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
python-javapackages-3.4.1-11.el7.noarch
tzdata-java-2017b-1.el7.noarch
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.141-2.6.10.5.el7.x86_64
java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64
[root@master lyu]#
然后移除系统自带的jdk
[root@master lyu]# yum remove java-1.* |
利用xftp将下载的jdk上传到指定文件夹
将JDK文件解压，放到/usr/java目录下
[lyu@master ~]su root [root@master ~]# cd /home/lyu/resources/software/jdk [root@master jdk]# mkdir /usr/java [root@master jdk]# mv jdk-8u131-linux-x64.tar.gz /usr/java/ [root@master jdk]# cd /usr/java [root@master java]# tar -xvf /usr/java/jdk-8u131-linux-x64.tar.gz [root@master java]# chmod +x /usr/java/jdk1.8.0_131/bin/* |
使用vi配置环境变量
[lyu@master java]$ vi /home/lyu/.bash_profile |
复制粘贴以下内容添加到到上面vi打开的文件中：
export JAVA_HOME=/usr/java/jdk1.8.0_131/ export PATH=$JAVA_HOME/bin:$PATH |
使改动生效命令：
[lyu@master java]$ source /home/lyu/.bash_profile |
测试配置：
[lyu@master ~]$ java -version |
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
免密钥登录配置
该部分所有的操作都要在lyu用户下，切换回lyu的命令是：
1、HadoopMaster节点
在终端生成密钥，命令如下（一路点击回车生成密钥）
[lyu@master ~]$ ssh-keygen -t rsa |
复制公钥文件
[lyu@master .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys |
执行ls -l命令后会看到下图的文件列表
[lyu@master .ssh]$ ll
total 16
-rw-------. 1 lyu lyu 392 Feb 24 19:47 authorized_keys
-rw-------. 1 lyu lyu 1675 Feb 24 19:46 id_rsa
-rw-r--r--. 1 lyu lyu 392 Feb 24 19:46 id_rsa.pub
-rw-r--r--. 1 lyu lyu 181 Feb 24 19:49 known_hosts
修改authorized_keys文件的权限，命令如下：
[lyu@master .ssh]$ chmod 600 ~/.ssh/authorized_keys |
将authorized_keys文件复制到slave节点，命令如下：
[lyu@master .ssh]$ scp ~/.ssh/authorized_keys lyu@slave:~/ |
如果提示输入yes/no的时候，输入yes，回车
密码是：lyu
2、HadoopSlave节点
在终端生成密钥，命令如下（一路点击回车生成密钥）
[lyu@slave ~]$ ssh-keygen -t rsa |
将authorized_keys文件移动到.ssh目录
[lyu@slave ~]$ mv authorized_keys ~/.ssh/ |
3、验证免密钥登陆
在HadoopMaster机器上执行下面的命令：
[lyu@master ~]$ ssh slave |
如果出现下图的内容表示免密钥配置成功：
[lyu@master .ssh]$ ssh slave
Last login: Sun Feb 25 03:24:41 2018 from 192.168.6.100
[lyu@slave ~]$
Hadoop配置部署
每个节点上的Hadoop配置基本相同，在HadoopMaster节点操作，然后完成复制到另一个节点。
下面所有的操作都使用lyu用户，切换lyu用户的命令是：
[root@master lyu]$ su - lyu |
密码是：lyu
1 Hadoop安装包解压
进入Hadoop软件包，命令如下：
[lyu@master ~]$ cd /home/lyu/resources/software/hadoop |
复制并解压Hadoop安装包命令如下：
[lyu@master ~]$ cp hadoop-2.7.5.tar.gz ~/ [lyu@master ~]$ cd [lyu@master ~]$ tar -xvf ~/hadoop-2.7.5.tar.gz [lyu@master ~]$ cd ~/hadoop-2.7.5 |
2 配置环境变量hadoop-env.sh
环境变量文件中，只需要配置JDK的路径。
[lyu@master hadoop-2.7.5]$ vi /home/lyu/hadoop-2.7.5/etc/hadoop/hadoop-env.sh |
在文件的靠前的部分找到下面的一行代码：
export JAVA_HOME=${JAVA_HOME} |
将这行代码修改为下面的代码：
export JAVA_HOME=/usr/java/jdk1.8.0_131/ |
然后保存文件。
3 配置环境变量yarn-env.sh
环境变量文件中，只需要配置JDK的路径。
[lyu@master hadoop-2.7.5]$ vi ~/hadoop-2.7.5/etc/hadoop/yarn-env.sh |
在文件的靠前的部分找到下面的一行代码：
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/ |
将这行代码修改为下面的代码（将#号去掉）：
export JAVA_HOME=/usr/java/jdk1.8.0_131/ |
然后保存文件。
4 配置核心组件core-site.xml
使用vi编辑：
[lyu@master hadoop-2.7.5]$ vi ~/hadoop-2.7.5/etc/hadoop/core-site.xml |
用下面的代码替换core-site.xml中的内容：
<xml version="1.0" encoding="UTF-8"> <xml-stylesheet type="text/xsl" href="configuration.xsl"> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/lyu/hadoopdata</value> </property> </configuration> |
5 配置文件系统hdfs-site.xml
使用vi编辑：
[lyu@master hadoop-2.7.5]$ vi ~/hadoop-2.7.5/etc/hadoop/hdfs-site.xml |
用下面的代码替换hdfs-site.xml中的内容：
<xml version="1.0" encoding="UTF-8"> <xml-stylesheet type="text/xsl" href="configuration.xsl"> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
6 配置文件系统yarn-site.xml
使用vi编辑：
[lyu@master hadoop-2.7.5]$ vi ~/hadoop-2.7.5/etc/hadoop/yarn-site.xml |
用下面的代码替换yarn-site.xml中的内容：
<xml version="1.0">
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
</configuration> |
7 配置计算框架mapred-site.xml
复制mapred-site-template.xml文件：
[lyu@master hadoop-2.7.5]$ cp ~/hadoop-2.7.5/etc/hadoop/mapred-site.xml.template ~/hadoop-2.7.5/etc/hadoop/mapred-site.xml |
使用vi编辑：
[lyu@master ~]$ vi ~/hadoop-2.7.5/etc/hadoop/mapred-site.xml |
用下面的代码替换mapred-site.xml中的内容
<xml version="1.0"> <xml-stylesheet type="text/xsl" href="configuration.xsl"> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> |
8 在master节点配置slaves文件
使用vi编辑：
[lyu@master hadoop-2.7.5]$ vi ~/hadoop-2.7.5/etc/hadoop/slaves |
用下面的代码替换slaves中的内容：
9 复制到从节点
使用下面的命令将已经配置完成的Hadoop复制到从节点HadoopSlave上：
lyu@master hadoop-2.7.5]$ cd [lyu@master ~]$ scp -r hadoop-2.7.5 lyu@slave:~/ |
注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。
启动Hadoop集群
下面所有的操作都使用lyu用户，切换lyu用户的命令是：
密码是：lyu
1 配置Hadoop启动的系统环境变量
该节的配置需要同时在两个节点（HadoopMaster和HadoopSlave）上进行操作，操作命令如下：
[lyu@master hadoop-2.7.5]$ cd [lyu@master ~]$ vi ~/.bash_profile |
将下面的代码追加到.bash_profile末尾：
#HADOOP export HADOOP_HOME=/home/lyu/hadoop-2.7.5 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH |
然后执行命令：
[lyu@master ~]$ source ~/.bash_profile |
2 创建数据目录
该节的配置需要同时在两个节点（HadoopMaster和HadoopSlave）上进行操作。
在lyu的用户主目录下，创建数据目录，命令如下：
[lyu@master ~]$ mkdir /home/lyu/hadoopdata |
3 启动Hadoop集群
3.1、格式化文件系统
格式化命令如下，该操作需要在HadoopMaster节点上执行：
[lyu@master ~]$ hdfs namenode -format |
. . . . . .
3.2、启动Hadoop
使用start-all.sh启动Hadoop集群，首先进入Hadoop安装主目录，然后执行启动命令：
[lyu@master ~]$ cd ~/hadoop-2.7.5 [lyu@master hadoop-2.7.5]$ sbin/start-all.sh |
执行命令后，提示出入yes/no时，输入yes。
3.3、查看进程是否启动
在HadoopMaster的终端执行jps命令，在打印结果中会看到4个进程，分别是ResourceManager、Jps、NameNode和SecondaryNameNode，如下图所示。如果出现了这4个进程表示主节点进程启动成功。
[lyu@master hadoop-2.7.5]$ jps
3588 Jps
3333 ResourceManager
2984 NameNode
3176 SecondaryNameNode
[lyu@master hadoop-2.7.5]$
在HadoopSlave的终端执行jps命令，在打印结果中会看到3个进程，分别是NodeManager、DataNode和Jps，如下图所示。如果出现了这3个进程表示从节点进程启动成功。
[lyu@slave ~]$ jps
2520 DataNode
2763 Jps
2638 NodeManager
[lyu@slave ~]$
3.4、Web UI查看集群是否成功启动
在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:50070/，检查 namenode 和 datanode 是否正常。UI页面如下图所示。
在HadoopMaster上启动Firefox浏览器，在浏览器地址栏中输入输入http://master:18088/，检查 Yarn是否正常，页面如下图所示。
3.5、运行PI实例检查集群是否成功
进入Hadoop安装主目录，执行下面的命令：
[lyu@master~]$ hadoop jar ~/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 10 10 |
会看到如下的执行结果：
最后输出：
Estimated value of Pi is 3.20000000000000000000
如果以上的3个验证步骤都没有问题，说明集群正常启动。
