设为首页 加入收藏

TOP

Linux安装Hadoop软件
2019-02-19 00:40:28 】 浏览:73
Tags:Linux 安装 Hadoop 软件

书到用时方恨少


1.首先在/home/下创建一个文件夹叫hadoop
8525388-f51544e03fc30ef4.png
image.png
2.进入到hadoop文件夹下,下载hadoop包
8525388-342223923c15b395.png
image.png
3.解压刚刚下载的hadoop文件包
8525388-5aab474259f0ca10.png
image.png
4.配置hadoop

1.单机模式配置方式
安装单机模式的Hadoop无须配置,在这种方式下,Hadoop被认为是一个单独的Java进程,这种方式经常用来调试。
2.伪分布式模式配置
可以把伪分布式的Hadoop看作一个节点的集群,在这个集群中,这个节点既是Master,也是Slave;既是NameNode,也是DataNode;既是JobTracker,也是TaskTracker。
3.完全分布式模式
这个就是真正的分布式,通常前两种是便于程序测试与调试用的。

下面我们进行伪分布式的配置
  • 1.进入hadoop-*/etc/hadoop/在这个文件夹下
8525388-33ecd1a07cf41576.png
image.png
  • 2.使用vim编辑Hadoop-env.sh文件,修改jdk的路径为你的jdk路径
8525388-0bf8976ef5e135fd.png
image.png
  • 3.继续使用vim编辑core-site.xml文件,这里是配置HDFS的地址及端口号
8525388-a5d1984a3e6c23df.png
image.png
  • 4.使用vim编辑hdfs-site.xml文件,这是HDFS的配置文件,配置的备份方式默认是3,在单机版中需将其改为1
8525388-1746a50a671f5a01.png
image.png
  • 5.使用vim编辑mapred-site.xml文件,这是MapReduce的配置文件,配置JobTracker的地址及端口,通常情况下是这个文件mapred-site.xml.template,你需要复制一份把template后缀删了
8525388-136ebb95af73c2bb.png
image.png
  • 6.截至目前为止,简单的配置已经结束,接下来使用如下命令格式化Hadoop的文件系统HDFS,进入Hadoop文件夹的/bin目录下,输入
8525388-79154069d1b9cd00.png
image.png
  • 7.在启动之前,还需要做一件事,那就是把自己的公钥添加给自己,这样启动Hadoop就不用输密码了,如下
8525388-5a8d99589b11648d.png
image.png
  • 8.进入Hadoop目录下的/sbin目录下输入如下命令启动Hadoop
8525388-89cf0f4295756910.png
image.png
  • 9.打开浏览器,分别输入网址如下网站,如果能查看,说明已安装成功

http://localhost:8088(MapReduce的Web页面)
http://localhost:50070(HDFS的Web页面)

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop2.x对Hadoop1.x的改进 下一篇简单介绍常用hadoop dfs命令

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目