标签：conf Flink TaskManager 并发 设置 并行度 级别

task的parallelism可以在Flink的不同级别上指定。四种级别是：算子级别、执行环境（ExecutionEnvironment）级别、客户端（命令行）级别、配置文件（flink-conf.yaml）级别

* 每个operator、data source或者data sink都可以通过调用setParallelism()方法来指定

* 运行环境的默认并发数可以通过调用setParallelism()方法来指定。env.setParallelism(3);运行环境的并发数可以被每个算子确切的并发数配置所覆盖。

* 对于CLI客户端，并发参数可以通过-p来指定

* 影响所有运行环境的系统级别的默认并发度可以在./conf/flink-conf.yaml的parallelism.defaul项中指定。不建议

当然，你也可以设置最大的并行度

* 你可以通过调用setMaxParallelism()方法来设置最大并发度。

Flink如何确定TaskManager个数？答案：Job的最大并行度除以每个TaskManager分配的任务槽数

Flink on YARN时，TaskManager的数量就是：max(parallelism) / yarnslots（向上取整）。例如，一个最大并行度为10，每个TaskManager有两个任务槽的作业，就会启动5个TaskManager

参考：

https://cloud.tencent.com/developer/article/1500184

https://www.jianshu.com/p/9c301ff1a9b2

标签：conf,Flink,TaskManager,并发,设置,并行度,级别
来源： https://www.cnblogs.com/maoxiangyi/p/11856045.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。