设为首页 加入收藏

TOP

hadoop统计文件行数
2018-12-07 00:40:26 】 浏览:8
Tags:hadoop 统计 文件

hadoop中有自带的计数器,原理及定义,网上到处都是解释,这里不再班门弄斧。

介绍使用方法:

context有一个方法getCounter,参数类型为(Enum)枚举类型。


1、定义枚举


static enum AA{

A

}

如果有多种计数类型,可以继续定义。


2、在Mapper或reduce中写入:


context.getCounter(AA.A).increment(1);


3、在job执行完以后,

Counters counters = job.getCounters();


Counter counter = counters.findCounter(AA.A);


System.out.println(counter.getValue());



Counter也可用来统计指定字符串出现的次数等。


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇hadoop2.2.0 自带jar 包和 MR程序.. 下一篇R语言和hadoop

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }