设为首页 加入收藏

TOP

hadoop学习心得之安装01   hadoop安装
2018-11-22 08:37:18 】 浏览:93
Tags:hadoop 学习 心得 安装  
下载hadoop安装包
http://www.apache.org/dyn/closer.cgi/hadoop/core/ 下载最新的

将hadoop安装包hadoop-0.20.1.tar.gz解压到D:\hadoop\


接下来,需要修改hadoop 的配置文件,它们位于conf 子目录下,分别是hadoop-env.sh、
core-site.xml、hdfs-site.xml 和mapred-site.xml 共四个文件。

在Cygwin 环境,masters 和slaves
两个文件不需要修改。
修改hadoop-env.sh
1:只需要将JAVA_HOME 修改成JDK 的安装目录即可,请注意JDK 必须是1.6 或以上版本。记得把#号注释去掉

2@修改core-site.xml
为简化core-site.xml 配置,将D:\hadoop\run\src\core 目录下的core-default.xml 文件复制
到D:\hadoop\run\conf 目录下, 并将core-default.xml 文件名改成core-site.xml 。修改
fs.default.name 的值,修改

<name>fs.default.name</name>
<value>hdfs://localhost:8888</value>


3:修改hdfs-site.xml
为简化hdfs-site.xml 配置,将D:\hadoop\run\src\hdfs 目录下的hdfs-default.xml 文件复制
到D:\hadoop\run\conf 目录下,并将hdfs-default.xml 文件名改成hdfs-site.xml。不需要再做其
它修改。


4:修改mapred-site.xml
为简化mapred-site.xml 配置,将D:\hadoop\run\src\mapred 目录下的mapred-default.xml
文件复制到D:\hadoop\run\conf 目录下,并将mapred-default.xml 文件名改成mapred-site.xml。

修改如下:
<name>mapred.job.tracker</name>
<value>localhost:9999</value>


下面就是见证奇迹的时刻了,不知道你机器有没有其他问题能不能到这一步?

9. 启动hadoop
在Cygwin 中,进入hadoop 的bin 目录,运行./start-all.sh 启动hadoop,在启动成功之后,
可以执行./hadoop fs -ls /命令

found 4 items 则正确:

我的一直不正确,原因是上面java_home 配置不正确hadoop-env.sh中

其中路径有空格,可以用 ""把路径包括起来。 反斜杠不知道需要改吗?

从dos目录转换到unix:在conf/目录下执行“dos2unix hadoop-env.sh”就OK了。。

##############没有解决这个问题
参考1:
http://39382728.blog.163.com/blog/static/35360069201010309352535/
参考2:
http://simbas.iteye.com/blog/573498


如果运行mapreduce 有时间再写
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop 2.7.2   linux分布.. 下一篇解决Exception in thread "m..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目