设为首页 加入收藏

TOP

第121课: Spark Streaming性能优化:通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数测试
2019-01-06 01:29:15 】 浏览:12
Tags:121 Spark Streaming 性能 优化 通过 摄像头 图像处理 案例 说明 处理 评估 方法 参数 测试
版权声明:王家林大咖2018年新书《SPARK大数据商业实战三部曲》清华大学出版,清华大学出版社官方旗舰店(天猫)https://qhdx.tmall.com/spm=a220o.1000855.1997427721.d4918089.4b2a2e5dT6bUsM https://blog.csdn.net/duan_zhihua/article/details/51628795
第121课:SparkStreaming性能优化:通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数测试


对于图像处理,数据肯定是在RDD中的,Receiver接受到数据后放在缓存中,然后按照特定的时间周期通过BlockManager存储数据,对于图像处理而言,数据肯定是有特定格式的,在处理的时候HOG进行特征的提取与检测等

在做这个项目的时候,我们采用了自己实现的算法来对于性能进行评估,这里主要是写了一个自己的算法实现对CPU使用率的监控,并且通过调优一些参数来提升对SparkStreaming性能的优化。

假设Spark Streaming可以使用n个Core,我们设定每个Core在特定时间里使用的状态

Spark Streaming总共使用的Cores总数 = concurrentJobs * receivers* batchDuration / blockInterval



编程开发网
】【打印繁体】【投稿】【收藏】 【推荐】【举报】【评论】 【关闭】 【返回顶部
上一篇基于Spark的机器学习经验 下一篇查看Spark进程的JVM配置及内存使用

评论

帐  号: 密码: (新用户注册)
验 证 码:
表  情:
内  容:

array(4) { ["type"]=> int(8) ["message"]=> string(24) "Undefined variable: jobs" ["file"]=> string(32) "/mnt/wp/cppentry/do/bencandy.php" ["line"]=> int(214) }