设为首页 加入收藏

TOP

MongoDBMapReduce实战<5)
2015-11-21 02:04:15 来源: 作者: 【 】 浏览:1
Tags:MongoDBMapReduce 实战 <
开始真正的实战了,表数据约100w条,今天先解决第一个需求,也就是求平均记录产生的时间,直接运行《实战 2》已经编写的MapReduce。出现异常, 无结果,只要加入{sort},就无结果,查找资料,说必须要建立索引才可加入sort(但是之前数据量小的时候,程序运行良好),建立索引后,在sort处,输入{'CREATE_DATE':-1},出现结果,问题解决结果中,许多记录的TIMES字段中的日期并没有排序,且呈不规则,比如这次运行完MapReduce是这条记录的Times排序有问题,但是再次运行MapReduce后,这条记录的Times排序又没有问题, 怀疑与多线程有关?只能在Finalize中对结果重新进行排序操作 增加Finalize,对日期进行排序
function Finalize(key, reduced) {
	if(reduced.times){  
		reduced.times.sort(function(x, y){
			return x < y ? 1 : -1;
		});
    }  
	return reduced;
}
In & Out 也作出相应的修改,去掉没用的排序操作了 \
好,继续运行第二个求平均值的MapReduce(《实战3》中),继续报异常 NaN,非数字异常,导致这个问题的原因很简单,但是却花了我不少时间,原因为超过了数据类型的最大范围,需要修改MapReduce,不做整体累加后除整个次数,改为两个数一加后,直接就求平均值 修改Map
function Map() {
	var temp = 0.0;
	var times = this.value.times;
	if(times){
		if(times.length > 1){
			for(var i = 0;i < times.length;i++){
				if(i != times.length - 1){
					temp += times[i] - times[i+1];
					temp = temp / 2
				}
			}
		}
		emit(
			'Result', 
			temp
		); 
	}
}
修改Reduce
function Reduce(key, values) {
	var ret = {msg:key};
	var temp = 0.0;
	for(var i = 0;i < values.length;i++){
		if(i > 0){
			temp += values[i];
			temp = temp / 2
		}
	}
	ret.arv_time = temp;
	return ret;
}
由于出现了双精度,所以Finalize也需要稍微修改
function Finalize(key, reduced) {
	// 转成秒 
	var second = parseInt(reduced.arv_time / 1000.00);
    // 转分钟
	var minute = parseInt(second / 60);
	// 剩余秒
	var s = second % 60;
	// 转小时
	var hour = parseInt(minute / 60);
	// 剩余分
	var m = minute % 60;
	// 转天
	var day = parseInt(hour / 24);
	// 剩余小时
	var h = hour % 24;
    return day + " 天 " + h + " 小时 " + m + " 分钟 " + s + " 秒 ";
}
最终结果
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
分享到: 
上一篇SQL必知必会笔记第十七章创建和操.. 下一篇heartbeat+DRBD+mysql+LVS集群实战

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容: