标签：slot tm flink yarn 并行度 调优 ui 动态分配 cpu

由于yarn默认容器资源为最小核心数，即一个cpu，

所以我们要根据并行度去调整分配的cpu资源

程序如下:指定并行度为5，指定每个TM的slot数为2

-p 5 \

 -Dtaskmanager.numberOfTaskSlots=2 \

所以虽然配置了2个slot(并发度为2)，但是两个task不能同时运行，因为只有一个cpu

查看yarn的ui，可以看到只用到了4个cpu。

因为我们是5个并行度，所以需要至少3个tm才能运行(3个tm有6个slot)。所以用到的cpu=tm的数量*tm分配的核心数+一个jm使用的cpu=3*1+1=4

打开配置文件capacity-scheduler.xml，将defaultResourceCalculator注释掉，将下面的DominantResourceCalculator的注释去掉。yarn将动态调整容器内的cpu资源，由于我们设置了slot为2，yarn会调整成2个

重启程序，打开ui查看，使用的cpu核心数变成了7个   ，因为是  3*2+1

我们还可以强行指定yarn的核心数，这里指定为3

-Dyarn.containers.vcores=3 \  

ui如下：

 使用的cpu变成了10个，因为每个tm被分配了3个核心，3*3+1=10

标签：slot,tm,flink,yarn,并行度,调优,ui,动态分配,cpu
来源： https://www.cnblogs.com/feizaijiawenzhu/p/16084171.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。