标签：11 06 17 watermark timestamp Structured Streaming 2021

博客园首发，转载请注明地址：https://www.cnblogs.com/tzxxh/p/15545264.html

 上图来自官方文档中对于watermark的描述。

刚开始以为只要数据的event_time大于watermark时间，就会被处理，小于watermark就不会被处理。实际测试发现并不是这样。

下面开始验证：

数据：{"timestamp":"2021-11-10T17:18:00.164+8","queryText":"aaa"}

处理结果为：

再次增加数据：

{"timestamp":"2021-11-10T16:18:00.164+8","queryText":"bbb"}
{"timestamp":"2021-11-10T17:01:00.164+8","queryText":"ccc"}
{"timestamp":"2021-11-10T17:06:00.164+8","queryText":"ddd"}

处理结果为：

 问题来了，为什么上一个batch的max event_time已经是17:18了，watermark阈值设置10分钟，则watermark当前值为17:08。那为何17:06的数据比watermark要早还会被处理呢。

实际是这样：

17:06的数据根据时间窗口设置，会落入 17:03-17:09 和 17:06-17:12窗口。而watermark当前为17:08，在这两个窗口之内，所以会正常计算。

由此得出结论：使用watermark时，数据是否会被计算，是根据数据落入的时间窗口包不包含watermark决定的。watermark之后的数据肯定会被计算，watermark之前的可能会被计算

因此官方文档有这句话：

标签：11,06,17,watermark,timestamp,Structured,Streaming,2021
来源： https://www.cnblogs.com/tzxxh/p/15545264.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。