ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

reduce 算子底层

2022-01-07 19:01:54  阅读:148  来源: 互联网

标签:调用 reduce value values 状态值 算子 底层


debug一下找到reduce算子的调用链,进到下图这个类里面

主要去看下图这个函数

1. 先拿到 这次进入的value 

2.判断是不是在历史状态values里面,拿到历史聚合过的状态值。(这里就已经初步可以看出flink的基于状态是怎么回事了)

2.如果在的话,就调用你new 的reduceFunction里面实现的reduce函数逻辑,将历史状态值和这次进入的value进行聚合,然后调用outpur.collect进行输出(凡是算子最后调用这个函数来进行输出)

4 如果不在的话,也就是 新value,把它放入历史状态values中,等待下次进入的value进行上述操作。

标签:调用,reduce,value,values,状态值,算子,底层
来源: https://www.cnblogs.com/xstCoding/p/15776476.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有