设为首页 加入收藏

TOP

Spark电商用户行为分析
2018-12-06 17:11:44 】 浏览:8
Tags:Spark 电商 用户 行为分析

项目介绍

1. 技术框架
spark core spark sql 以及spark streaming 进行离线和实时计算业务模块
2. 功能模块 4个
用户session分析

  • 用户session统计分析
  • session聚合指标计算
  • 按比例随机抽取session
  • 获取每天点击
  • 下单和购买排名前10的品类
  • top10品类的点击量
  • 排名前10的session

页面单跳转化率统计:

  • 计算关键页面之间的单步跳转转化率
  • 页面流匹配算法

热门商品离线统计:

  • 每天统计出各个区域的top3热门商品
  • 使用Oozie进行离线统计任务的定时调度
  • 使用Zeppeline进行数据可视化的报表展示

广告流量实时统计:Spark Streaming

  • 实时统计公司的广告流量
  • 广告展现流量和广告点击流量
  • 实现动态黑名单机制,以及黑名单过滤
  • 实现滑动窗口内的各城市的广告展现流量和广告点击流量的统计
  • 实现每个区域每个广告的点击流量实时统计;
  • 实现每个区域top3点击量的广告的统

3. 开发流程
需求分析
方案设计
数据设计
编码实现
测试
性能调优

4. 所能学到的知识?
性能调优、troubleshooting以及数据倾斜等知识


编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇spark IDE:   System memory.. 下一篇Spark学习(捌)- Spark Streamin..

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }