TOP

使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6)
2019-03-19 12:26:26 】 浏览:1110
Tags:使用 Eclipse 插件 连接 配置 Mapreduce 说明 教程 hadoop-eclipse-plugin 2.6

版权声明:本文为博主原创文章,转载需在文首附上原文链接。 https://blog.csdn.net/huitoukest/article/details/50922256

1.前言

网上的很多教程都是基于hadoop单机或者是伪分布式的,在HA集群的hadoop是有些不一样的;

所以写个hadoop-eclipse-plugin连接HA hadoop 集群的说明;

2.查看hadoop配置文件并配置DFS Master

查看hadoop/etc/hadoop下的配置文件;

hdfs-site.xml ----->找到dfs.namenode.rpc-address.hadoop-test.nn1;

<property>
  <name>dfs.namenode.rpc-address.hadoop-test.nn1</name>
  <value>hadoop0:9000</value>
  <description>
    RPC address for nomenode1 of hadoop-test
  </description>
</property>

这里的hadoop-test是你的nameservice的名称;或者说是hadoop集群的此hdfs的路径前缀;

和core-site.xml中的fs.defaultFs相对应:

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://hadoop-test</value>
<!-- 指向namenode:host:port -->
 </property>

HA hadoop中,fs.defaultFs指的实际上是一个虚拟的hdfs路径;不用加端口号;

这里的hadoop0是hostname; 我们需要的是找到此hostname和端口号9000;

利用这个hostname和端口号填写到hadoop-Eclipse插件的DFS Master中;对应的host和post;


注意:此插件默认端口号是9000;如果hdfs-site.xml中的相应端口不是这个,最好改为9000,而不是用别的端口号;

好像使用别的端口号会发生错误;


3.查看hadoop配置文件并配置Map/Reduce(v2) Master


找到yarn-site.xml--->yarn.resourcemanager.scheduler.address

找到其对应的host与端口号;

  <property>
    <description>The address of the scheduler interface.</description>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
  </property>
${yarn.resourcemanager.hostname}
这里是host,其值即是yarn.resourcemanager.hostname属性的值,内容是host;

如同127.0.0.1

之后将对应的host与post填入Map/Reduce(v2) Master;

然后保存,转到Project Explorer,点击你新建的名称,这里是180;然后点击F5刷新下,就出出现hdfs的目录界面;


4.注意

如果发生java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
java代码,在连接hadoop或者执行MapReduce之前,执行
System.setProperty("hadoop.home.dir","D:/hadoop-2.6.4");
D:/hadoop-2.6.4为hadoop解压目录;
,同时将相关的winutils.exe文件复制到hadoop的bin目录下面即可以;


使用Eclipse插件连接配置Mapreduce说明与教程(hadoop-eclipse-plugin 2.6) https://www.cppentry.com/bencandy.php?fid=114&id=213887

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇Hadoop入门及安装 下一篇Ubuntu——详细部署Hadoop(伪分布..