设为首页 加入收藏

TOP

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.4.1
2015-02-15 13:01:14 来源: 作者: 【 】 浏览:32
Tags:使用 命令 编译 打包 运行 自己 MapReduce 程序 Hadoop2.4.1

本文以 Hadoop 2.4.1 环境下的WordCount实例来介绍 2.x 版本中如何编辑自己的MapReduce程序。


Hadoop 2.x 版本中jar不再集中在一个 hadoop-core*.jar 中,而是分成多个 jar,如运行WordCount实例需要如下三个 jar:


将上述 jar 添加至 classpath 路径:


?


接着就可以编译 WordCount.java 了(使用的是 2.4.1 源码中的 WordCount.java,源码在文本最后面):


编译时会有警告,可以忽略。编译后可以看到生成了几个.class文件。


使用Javac编译自己的MapReduce程序使用Javac编译自己的MapReduce程序


接着把 .class 文件打包成 jar,才能在 Hadoop 中运行:


打包完成后,运行试试,创建几个输入文件:


创建WordCount的输入创建WordCount的输入


开始运行:


不过这边可能会遇到如下的提示 Exception in thread "main" java.lang.NoClassDefFoundError: WordCount


提示找不到 WordCount 类提示找不到 WordCount 类


因为程序中声明了 package ,所以在命令中也要 org.apache.hadoop.examples 写完整:


正确运行后的结果如下:


WordCount 运行结果WordCount 运行结果


文件位于 hadoop-2.4.1-src\hadoop-mapreduce-project\hadoop-mapreduce-examples\src\main\java\org\apache\hadoop\examples 中:


】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇Python计算两个日期时间差 下一篇使用Eclipse编译运行MapReduce程..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: