You have to work very hard to believe that you are really powerless.

 

Mac-搭建Hadoop集群

我用到了：VMware Fusion、CentOS7、FileZilla、jdk-8u181-linux-x64.tar.gz和hadoop-2.7.6.tar.gz

1、集群部署规划

NameNode单点部署：

节点名称	NN1	NN2	DN	RM	NM	规划IP	other
tjt01	NameNode		DataNode		NodeManager	172.16.114.130	hive/hdfs
tjt02		SecondaryNameNode	DataNode	ResourceManager	NodeManager	172.16.114.131	hbase/kms
tjt03			DataNode		NodeManager	172.16.114.132	mysql/spark

 

2、三台客户机相关准备

2.1、安装VMware虚拟机

在虚拟机中安装CentOS镜像，由初始安装的CentOS7版本的镜像，完整克隆出另外两台虚拟机

2.2、修改主机名

[root@tjt01 tjt]# vi /etc/hostname

分别修改三台虚拟机主机名：tjt01、tjt02、tjt03

2.3、修改host文件

配置主机host：

[root@tjt01 tjt]# vi /etc/hosts

 

将配置发送到其他的主机，同时在其他主机上配置：

scp -r /etc/hosts root@tjt02:/etc/
scp -r /etc/hosts root@tjt03:/etc/

测试host文件修改结果：

ping tjt01 ping tjt02 ping tjt03

2.4、设置SSH免密登录

每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码；

输入：ssh-keygen -t rsa

然后按下四次回车，之后在把密匙发到其他主机上，输入：ssh-copy-id tjt01 并按提示输入密码，然后是ssh-copy-id 02和ssh-copy-id 03同样的操作；

之后，在另外两台虚拟机上也执行相同的步骤：

ssh-keygen -t rsa ssh-copy-id tjt01 ssh-copy-id tjt02 ssh-copy-id tjt03

测试SSH免密登录：

ssh tjt01、ssh tjt02、ssh tjt03

2.5、安装配置JDK

虚拟机默认安装了一个openjdk，卸载掉：

rpm -qa | grep jdk

可以查看已经安装了的openjdk

yum remove *openjdk*

干掉openjdk

yum remove copy-jdk-configs-3.3-10.el7_5.noarch

干掉jdk-configs

将JDK安装包上传到/opt下，可以通过XShell的rz上传，也可以用FileZilla：

到/opt 目录下解压：tar xzvf jdk-8u181-linux-x64.tar.gz

设置JAVA_HOME：

输入：vi /etc/profile，在profile文件中的编辑模式下加上下方export配置：

export JAVA_HOME=/opt/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin

修改好之后使文件生效：source /etc/profile

复制JDK到另外两个节点：

在这之前要先把另外两台虚拟机上的openjdk也干掉：

yum remove *openjdk*
yum remove copy-jdk-configs-3.3-10.el7_5.noarch

然后复制jdk到另外两个虚拟机上：

scp -r /opt/jdk1.8.0_181 root@tjt02:/opt/
scp -r /opt/jdk1.8.0_181 root@tjt03:/opt/

向其他节点复制profile文件：

scp /etc/profile root@tjt02:/etc/
scp /etc/profile root@tjt03:/etc/

然后每个节点分别执行 source /etc/profile ，使profile生效下，并通过java-version简单测试下，jdk复制是否成功：

tjt02:

tjt03:

3、安装Hadoop

3.1、上传并解压Hadoop

解压：tar zxvf hadoop-2.7.6.tar.gz

3.2、搭建Hadoop集群

配置文件在hadoop2.7.6/etc/hadoop/下，修改设置hadoop2.7.6目录下的可执行权限

3.2.1、修改 core-site.xml

[root@tjt01 hadoop]# vi core-site.xml

然后在core-site.xml文件中编辑如下：

<!-- 指定HDFS中NameNode的地址 --> 
     <property>
     <name>fs.defaultFS</name>
         <value>hdfs://tjt01:9000</value>
     </property>
<!-- 指定hadoop运行时产生文件的存储目录 --> <property> 
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoop-2.7.6/data/full/tmp</value>
     </property>

3.2.2、修改hadoop-env.sh

[root@tjt01 hadoop]# vi hadoop-env.sh 

修改JAVA_HOME：

3.2.3 修改hdfs-site.xml

[root@tjt01 hadoop]# vi hdfs-site.xml 

修改 hdfs-site.xml 的配置如下：

<configuration>?
<!-- 设置dfs副本数，不设置默认是3个 --> 
    <property>
        <name>dfs.replication</name>
        <value>2</value>
</property>?
<!-- 设置secondname的端口 --> 
<property> 
  <name>dfs.namenode.secondary.http-address</name>
        <v