设为首页 加入收藏

TOP

hadoop详细安装及配置
2019-02-12 12:36:15 】 浏览:10
Tags:hadoop 详细 安装 配置

一、下载

http://hadoop.apache.org/ hadoop官网

二、解压

注:使用管理员权限解压

三、配置环境变量

添加HADOOP_HOME配置:自己安装hadoop路径,我的是D:\hadoop-3.0.3

在Path中添加如下:自己安装hadoop路径/bin,如:D:/hadoop-3.0.3/bin

四、hadoop需要jdk支持,jdk路径不能有空格,如有空格,可以这样,如:”D:\Program Files"\Java\jdk1.8.0_25

五、hadoop路径下创建data用于数据存储,再在data下创建datanode目录和namenode目录

六、hadoop配置

四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml

1.core-site.xml

  • <configuration>
  • <property>
  • <name>fs.default.name</name>
  • <value>hdfs://localhost:9000</value>
  • </property>
  • </configuration>

2.mapred-site.xml

  • <configuration>
  • <property>
  • <name>mapreduce.framework.name</name>
  • <value>yarn</value>
  • </property>
  • </configuration>

3.hdfs-site.xm

  1. <configuration>
  2. <!--这个参数设置为1,因为是单机版hadoop-->
  3. <property>
  4. <name>dfs.replication</name>
  5. <value>1</value>
  6. </property>
  7. <property>
  8. <name>dfs.permissions</name>
  9. <value>false</value>
  10. </property>
  11. <property>
  12. <name>dfs.namenode.name.dir</name>
  13. <value>/D:/hadoop-3.0.3/data/namenode</value>
  14. </property>
  15. <property>
  16. <name>fs.checkpoint.dir</name>
  17. <value>/D:/hadoop-3.0.3/data/snn</value>
  18. </property>
  19. <property>
  20. <name>fs.checkpoint.edits.dir</name>
  21. <value>/D:/hadoop-3.0.3/data/snn</value>
  22. </property>
  23. <property>
  24. <name>dfs.datanode.data.dir</name>
  25. <value>/D:/hadoop-3.0.3/data/datanode</value>
  26. </property>
  27. </configuration>

4.yarn-site.xml

  • <configuration>
  • <!--SitespecificYARNconfigurationproperties-->
  • <property>
  • <name>yarn.nodemanager.aux-services</name>
  • <value>mapreduce_shuffle</value>
  • </property>
  • <property>
  • <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
  • <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  • </property>
  • </configuration>

七、修改D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置,找到"set JAVA_HOME=%JAVA_HOME%"替换为"set JAVA_HOME="D:\Program Files"\Java\jdk1.8.0_25"

八、winutils中对应的hadoop版本中的bin替换自己hadoop安装目录下的bin

找到对应的版本下的bin替换hadoop中的bin

配置完成

九、启动服务

1.cmd中,D:\hadoop-3.0.3\bin> hdfs namenode -format

执行后,data下的namenode和datanode下会有current等文件,我当时安装的是hadoop3.1.1,用的winutils中的hadoop3.0.0,datanode总是没有启动没有数据,换成hadoop3.0.3,使用wintuils的hadoop3.0.0后,就可以了。

2.D:\hadoop-3.0.3\sbin启动start-all.cmd服务,会看到

  • Hadoop Namenode
  • Hadoop datanode
  • YARN Resourc Manager
  • YARN Node Manager

十、HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态:

2、访问http://localhost:9870/即可查看文件管理页面:

a.进入文件系统

b.创建目录

c.上传成功

注:在之前的版本中文件管理的端口是50070,在3.0.0中替换为了9870端口

d.使用hadoop命令进行文件操作

mkdir命令创建目录:hadoop fs -mkdir hdfs://ip:9000/user

put命令上传文件:hadoop fs -put D:/a.txt hdfs://ip:9000/user/

ls命令查看指定目录文件列表:hadoop fs -ls hdfs://ip:9000/user/


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop日志文件 下一篇Hadoop生态系统架构以及Hadoop1和..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }