设为首页 加入收藏

TOP

hadoop2.2.0 自带jar 包和 MR程序所使用的第三方包冲突 解决
2018-12-07 00:40:28 】 浏览:7
Tags:hadoop2.2.0 自带 jar 程序 使用 第三方 冲突 解决

经过两天的摸索终于找到处理hadoop2.2.2 中已经存在的jar 包和MR里面调用的jar包冲突的问题;

比如hadoop2.2.2 里面用的guava 是11.2的,我的工程的MR程序里面用的是16.0.1版本的;两个版本里面方法不同会导致MR的程序出现 异常;我们的目的是让hadoop运行MR的时候时候优先使用我们给项目打进去的lib包;在这里就是要使用guava.16.0.1.jar

解决:

只需要在hadoop/etc/mapred-site.xml 里面加上下面配置信息就ok

<property>
<name>mapreduce.job.user.classpath.first</name>
<value>true</value>
</property>


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop学习之hadoop集群功能简单.. 下一篇hadoop统计文件行数

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }