设为首页 加入收藏

TOP

hadoop集群安装(多机,非伪集群)
2018-11-13 14:32:46 】 浏览:79
Tags:hadoop 集群 安装 多机
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/AC_great/article/details/47087741
1. 创建用户
创建hadoop用户组:sudo addgroup hadoop
创建hadoop用户:sudo adduser -ingroup hadoop hadoop

为hadoop用户分配root权限:sudo gedit /etc/sudoers
按回车键就可以打开sudoers文件
在root ALL=(ALL:ALL) ALL下面添加hadoop ALL=(ALL:ALL) ALL 

2. 修改机器名
 系统安装之后默认的名称为"ubuntu",为了在集群中能够分辨各台服务器,我们需要修改机器名,机器名由/etc/hostname文件决定。
打开/etc/hostname文件:sudo gedit /etc/hostname
将"ubuntu"改为规定的机器名,比如"master"

3. 安装JDK
将已经下载的jdk-7u79-linux-x64.tar.gz复制到ubuntu上。
拷贝到/usr/local路径:
解压:cd /usr/local进入到jdk压缩包所在路径;解压缩sudo tar -zxvf jdk-7u79-linux-x64.tar.gz,回车出现量的压缩信息,压缩完之后查看该目录下的文件,会发现多了个文件夹,如图
设置环境变量
打开/etc/profile文件,将以下内容拷贝进去。


sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300 
 sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300 
 sudo update-alternatives --config java 

sudo update-alternatives --remove-all 变量名


测试JDK
输入java -version测试环境

系统Java环境安装完毕
4. 安装SSH服务
hdfs通过ssh控制节点之间的通讯,所以ssh一定要设置。
sudo apt-get install ssh openssh-server 

5. 设置SSH免密码连接,在master节点上生成key
成功流程:
hadoop@master 用户下 sudo gedit /home/sudoers 添加权限

hadoop@master 用户下 sudo gedit /etc/hosts 添加客户机/服务器

cd ~/.ssh

ssh-keygen -t rsa 然后无脑回车


cat id_rsa.pub >> authorized_keys 将密钥写入公钥
cat authorized_keys 查看公钥
sudo scp authorized_keys hadoop@slave03:/home/hadoop/.ssh 将公钥发给客户机/3号服务器
ssh slave03 链接客户机/服务器



出现上图所示就说明可以连通,输入exit命令,推出ssh登陆状态。
再次输入ssh slave03即可自动链接,否则没成功
二、 配置集群
1. 解压hadoop安装包
 与安装jdk的步骤一样,将hadoop-2.6.0.tar.gz移动到/usr/local下,解压后在/usr/local目录下多一个文件夹,如图

将hadoop-2.6.0.tar.gz文件重命名为hadoop
sudo mv hadoop-2.6.0.tar.gz  hadoop

2. 将hadoop文件的权限添加给hadoop组的hadoop用户
sudo chown -R hadoop:hadoop hadoop

3. 设置linux系统的hadoop环境变量
export JAVA_HOME=/opt/jdk1.7.0_79
export JRE_HOME=$JAVA_HOME/jre 
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

4. 修改/etc/hosts文件
打开/etc/hosts文件,将各个节点的机器名与IP对应
211.69.255.01 slave01
                                   ................
5. 配置/etc/hadoop/hadoop-env.sh文件
指定其中的jdk路径
/opt/jdk1.7.0_79

6. 配置/etc/hadoop/core-site.xml文件
打开core-site.xml文件,配置如下。
<property> 
<name>fs.default.name</name> 
<value>hdfs://master:9000</value> 
</property> 

 <property> 
<name>hadoop.tmp.dir</name> 
<value>/home/hadoop/hadoop-datastore/hadoop-hadoop</value> 
</property> 



(注:其中的hadoop.tmp.dir项不要按默认的设置,默认的设置会将这个文件夹指定到tmp目录下,一旦NameNode关机或者重启,集群中所有的存储文件将丢失)
7. 配置hdfs-site.xml文件

打开hdfs-site.xml文件,配置如下
<property> 
<name>dfs.replication</name> 
<value>3</value> 
</property> 
<property>

 <name>dfs.permissions</name>

 <value>false</value>

</property>

8。配置mapred-site.xml文件


<property> 
<name>mapred.job.tracker</name> 
<value>master:9001</value> 
</property> 



9. 配置slaves文件
里面配置的都是集群中的机器名,与hosts文件形成映射。

打开etc/hadoop/slaves文件,配置如下
master
slave01
slave02
slave03

(注意这里必须加入master主机域名)

10. 将配置好的hadoop发给每一个slave节点
scp -r /usr/local/hadoop hadoop@slave01:/usr/local

这个命令很6哦,如果发现一台机子配置没配好,或者有更改,就用这种命令将文件发给每一台机子


在slave节点上,分别把得到的hadoo文件的权限分配给hadoop用户组的hadoop用户,执行如下命令
sudo chown -R hadoop:hadoop hadoop

11. 启动hadoop
这里则要注意是在bin的上一层目录执行

第一次启动hadoop集群需要对namenode进行格式化,执行命令:bin/hdfs  namenode -format。
只有第一次启动的时候需要格式化,以后都不需要。
格式化完成后执行sbin/start-all.sh脚本启动全部服务。


三、 测试集群
 运行 bin/hdfs  dfsadmin -report在控制台查看dfs的状态

也可在浏览器访问master节点的50070端口

可以看到有3个活着的datanode。
注意:
(1)如果搭建不成功则sbin/stop-all.sh关闭服务,清除tmp和你配置的存储数据的文件夹,清空后,然后在配置

 恭喜你搭建成功
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop 调研笔记 下一篇(11.1.1)《Hadoop基础教程》之..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目