设为首页 加入收藏

TOP

通过Windows7对linux上的hadoop2.7.2进行编程开发
2019-04-24 00:43:24 】 浏览:44
Tags:通过 Windows7 linux hadoop2.7.2 进行 编程 开发

1.首先声明,我没有在windows上的eclipse上安装MapReduce插件,需要的话自己可以查找。我只是介绍如何编程。

2.在linux上安装完hadoop伪分布式或者全分布式之后,将主节点上的hadoop文件夹放置到磁盘上,如:d:/hadoop272。

下面配置windows环境:

JavaJDK :我采用的是1.8的,配置JAVA_HOME,如果默认安装,会安装在C:\Program Files\Java\jdk1.8.0_51。此目录存在空格,启动hadoop时将报错,JAVA_HOME is incorrect ...此时需要将环境变量JAVA_HOME值修改为:C:\Progra~1\Java\jdk1.8.0_51,Program Files可以由Progra~1代替。

Hadoop 环境变量: 新建HADOOP_HOME,指向hadoop目录,如:D:/hadoop272。path环境变量中增加:%HADOOP_HOME%\bin;。

Hadoop 依赖库:winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件,将这些文件放到hadoop272/bin下。

下载地址:http://download.csdn.NET/detail/fly_leopard/9503059

注意hadoop.dll等文件不要与hadoop冲突。为了不出现依赖性错误可以将hadoop.dll再放到c:/windows/System32下一份。

hadoop环境测试

起一个cmd窗口,起到hadoop/bin下,hadoop version,显示如下:

注意的是由于直接拷贝的hadoop集群上的hadoop文件夹,所以配置文件已经在d盘的hadoop272中。这就省去了配置.xml。

但是要配置host文件:

C盘 -> Windows -> System32 -> drives -> etc -> hosts文件

添加 192.168.1.100 zhangge(hadoop 节点的名字)

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Spring配置Hadoop 下一篇Hadoop之——Hadoop机架感知策略..

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目