TOP

特征服务典型场景-离线与实时统计
2020-06-22 18:09:25 】 浏览:26次 本网站的内容取自网络,仅供学习参考之用,绝无侵犯任何人知识产权之意。如有侵犯请您及时与本人取得联系,万分感谢。
Tags:特征 服务 典型 场景 实时 统计

例如有这样一个需求:业务方希望获取司机实时更新的累计完单量,需保证收到完单事件后秒级更新。由于滴滴订单量很大,单个司机的完单量从几单到几万单不等,直接查询底层存储如MySQL、ElasticSearch等存储,会对底层存储造成很大查询压力,并且延时也较高,在高并发等情况下容易出现各种问题。在特征服务这边采用批处理+流处理这样的Lambda架构来实现这类需求,整个的数据流如下:

可以看到这是一个典型的Lambda架构,不了解的可以参考维基百科:Lambda architecture

在统计特征汇总历史完单量和实时完单量,需要注意以下情况:当T-1天未准备就绪时,需要使用T-2天的历史数据、T-1天实时数据、T天实时数据相加。举例如下:

假设批处理计算司机历史完单量的任务平均在上午6点完成并导入KV存储系统。

  • 在6月10日0到6时期间,计算逻辑如下:截止到6月8日(含)的历史完单量 + 6月9日的实时完单量 + 6月10日的实时完单量。
  • 在6月10日6到24时期间,计算逻辑如下:截止到6月9日(含)的历史完单量 + 6月10日的实时完单量。

请关注公众号获取更多资料


特征服务典型场景-离线与实时统计 https://www.cppentry.com/bencandy.php?fid=97&id=293078

】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇谈谈我对C# 多态的理解 下一篇为何要搭建港股交易平台?

评论

验 证 码:
表  情:
内  容: