标签：批处理 Batch Streaming job Duration Spark sparkConf

Spark Streaming 是微批处理。

SparkConf sparkConf = new SparkConf().setAppName("SparkStreaming").setMaster("local[*]"); 
JavaStreamingContext javaStreamingContext = new JavaStreamingContext(sparkConf, Durations.seconds(1000));

Durations.seconds(1000)设置的是sparkstreaming批处理的时间间隔，每个Batch Duration时间去提交一次job，如果job的处理时间超过Batch Duration，会使得job无法按时提交，随着时间推移，越来越多的作业被拖延，最后导致整个Streaming作业被阻塞，无法做到实时处理数据

这种情况

1. 可以观察CPU，内存占用情况，判断是否可以通过提高硬件配置来保证性能
2. 优化SparkStreaming的处理代码，缩短流程的执行时间
3. 当然最简单的是试试改动batch Duration的大小，看看可不可以有所改善，一般这个值的大小如果能够使得Streaming作业刚好处理好上一个的批处理的数据，那么这个就是最优值

转载于：https://blog.csdn.net/qq_32635069/article/details/82286696

END

标签：批处理,Batch,Streaming,job,Duration,Spark,sparkConf
来源： https://www.cnblogs.com/it-deepinmind/p/14276705.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。