项目介绍

1. 技术框架
spark core spark sql 以及spark streaming 进行离线和实时计算业务模块
2. 功能模块 4个
用户session分析

• 用户session统计分析
• session聚合指标计算
• 按比例随机抽取session
• 获取每天点击
• 下单和购买排名前10的品类
• top10品类的点击量
• 排名前10的session

页面单跳转化率统计：

• 计算关键页面之间的单步跳转转化率
• 页面流匹配算法

热门商品离线统计:

• 每天统计出各个区域的top3热门商品
• 使用Oozie进行离线统计任务的定时调度
• 使用Zeppeline进行数据可视化的报表展示

广告流量实时统计：Spark Streaming

• 实时统计公司的广告流量
• 广告展现流量和广告点击流量
• 实现动态黑名单机制，以及黑名单过滤
• 实现滑动窗口内的各城市的广告展现流量和广告点击流量的统计
• 实现每个区域每个广告的点击流量实时统计；
• 实现每个区域top3点击量的广告的统

3. 开发流程
需求分析
方案设计
数据设计
编码实现
测试
性能调优

4. 所能学到的知识？
性能调优、troubleshooting以及数据倾斜等知识