本来想自己写一下,但是别人写的挺好的,我就直接转过来了,加了一点自己遇到的一些问题。
1.我的是hadoop1.2.1+ecplise4.2 ,假如你是Hadoop1.2.1,建议使用ecplise4.2以下试试,因为我试了ecplise4.7、4.6、4.4、4.3都不行,把Hadopp-1.2.1的jar包放进去目标目录都显示不了DFS Location,所以不断尝试更换版本,最后在4.2版本的时候成功了。
2.我的Hadoop在VM虚拟机里,ecplise在win10,jdk是1.7,一个很重要的一点就是当你设置Edit Hadoop location的时候,User name必须是虚拟机和物理机的主机名要一致,不然会导致你访问不了文件。我的是把administrator改成了和我Namenode结点同样的用户名。
转载下http://blog.csdn.net/bryan__/article/details/43226951
环境:Ubuntu安装在虚拟机,Hadoop安装在Ubuntu,eclipse安装在win7下,这样eclipse就不会太卡。
1、复制对应版本hadoop的eclipse插件jar包,比如我的hadoop是0.21.0版本,就使用hadoop-0.21.0-eclipse-plugin.jar,jar包放在eclipse安装目录/plugins/
下,重启eclipse
2、添加map/reduce
3、添加hadoop路径,这个不用添加Ubuntu里面的,直接添加win7下面解压的文件就可以,这个路径只是为了加载jar包
4、配置Map/Reduce Locations
locationname随便填,Map/Reduce Master和DFS Master这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如
在adwanced parameters下面找到hadoop.tmp.dir,填写core-site.xml中对应的地址
点击完成就可以看到左上角出现的文件夹(如果打开文件夹报错,一般是hadoop插件和hadoop版本不匹配,或者是和eclipse版本不匹配,更换eclipse版本就行)
5、新建map/reduce项目
File-->New-->Other-->Map/Reduce Project
项目名可以随便取,如hadoop-test。
复制 hadoop安装目录/src/example/org/apache/hadoop/example/WordCount.Java到刚才新建的项目下面。
6、上传模拟数据文件夹。
为了运行程序,我们需要一个输入的文件夹,和输出的文件夹。输出文件夹不需要创建,在程序运行完成后会自动生成。我们需要给程序一个输入文件夹。
在当前目录(如hadoop安装目录)下新建文件夹input,并在文件夹下新建两个文件f_1、f_2,内容随意添加。
7、运行项目。
在Arguments下添加
hdfs://192.168.136.144:9000/user/zhouyao/input hdfs://192.168.136.144:9000/user/zhouyao/output1
这两个参数表示namenode地址,输入文件地址,输出文件地址
点击run ,可以看到如下信息
在文件夹下,打开output可以看到运行结果