版权声明：王家林大咖2018年新书《SPARK大数据商业实战三部曲》清华大学出版，清华大学出版社官方旗舰店（天猫）https://qhdx.tmall.com/spm=a220o.1000855.1997427721.d4918089.4b2a2e5dT6bUsM https://blog.csdn.net/duan_zhihua/article/details/51628795
第121课：SparkStreaming性能优化：通过摄像头图像处理案例来说明Spark流处理性能评估新方法及性能调优参数测试
对于图像处理，数据肯定是在RDD中的，Receiver接受到数据后放在缓存中，然后按照特定的时间周期通过BlockManager存储数据，对于图像处理而言，数据肯定是有特定格式的，在处理的时候HOG进行特征的提取与检测等
在做这个项目的时候，我们采用了自己实现的算法来对于性能进行评估，这里主要是写了一个自己的算法实现对CPU使用率的监控，并且通过调优一些参数来提升对SparkStreaming性能的优化。
假设Spark Streaming可以使用n个Core，我们设定每个Core在特定时间里使用的状态
Spark Streaming总共使用的Cores总数
= concurrentJobs * receivers* batchDuration / blockInterval