设为首页 加入收藏

TOP

在eclipse下运行hadoop程序
2019-05-05 00:42:30 】 浏览:53
Tags:eclipse 运行 hadoop 程序

本来想自己写一下,但是别人写的挺好的,我就直接转过来了,加了一点自己遇到的一些问题。

1.我的是hadoop1.2.1+ecplise4.2 ,假如你是Hadoop1.2.1,建议使用ecplise4.2以下试试,因为我试了ecplise4.7、4.6、4.4、4.3都不行,把Hadopp-1.2.1的jar包放进去目标目录都显示不了DFS Location,所以不断尝试更换版本,最后在4.2版本的时候成功了。

2.我的Hadoop在VM虚拟机里,ecplise在win10,jdk是1.7,一个很重要的一点就是当你设置Edit Hadoop location的时候,User name必须是虚拟机和物理机的主机名要一致,不然会导致你访问不了文件。我的是把administrator改成了和我Namenode结点同样的用户名。



转载下http://blog.csdn.net/bryan__/article/details/43226951

环境:Ubuntu安装在虚拟机,Hadoop安装在Ubuntu,eclipse安装在win7下,这样eclipse就不会太卡。

1、复制对应版本hadoop的eclipse插件jar包,比如我的hadoop是0.21.0版本,就使用hadoop-0.21.0-eclipse-plugin.jar,jar包放在eclipse安装目录/plugins/ 下,重启eclipse

2、添加map/reduce

3、添加hadoop路径,这个不用添加Ubuntu里面的,直接添加win7下面解压的文件就可以,这个路径只是为了加载jar包

4、配置Map/Reduce Locations

locationname随便填,Map/Reduce Master和DFS Master这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如

在adwanced parameters下面找到hadoop.tmp.dir,填写core-site.xml中对应的地址

点击完成就可以看到左上角出现的文件夹(如果打开文件夹报错,一般是hadoop插件和hadoop版本不匹配,或者是和eclipse版本不匹配,更换eclipse版本就行)

5、新建map/reduce项目

File-->New-->Other-->Map/Reduce Project
项目名可以随便取,如hadoop-test。
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.Java到刚才新建的项目下面。


6、上传模拟数据文件夹。


为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。输出文件夹不需要创建,在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。

在当前目录(如hadoop安装目录)下新建文件夹input,并在文件夹下新建两个文件f_1、f_2,内容随意添加。

7、运行项目。

在Arguments下添加

hdfs://192.168.136.144:9000/user/zhouyao/input hdfs://192.168.136.144:9000/user/zhouyao/output1

这两个参数表示namenode地址,输入文件地址,输出文件地址

点击run ,可以看到如下信息

在文件夹下,打开output可以看到运行结果



】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇结合案例讲解MapReduce重要知识点.. 下一篇Hadoop 平台搭建完整步骤

最新文章

热门文章

Hot 文章

Python

C 语言

C++基础

大数据基础

linux编程基础

C/C++面试题目