标签：hdfs IO CDH diskbalancer Balancer cbp9 数据量 磁盘 Disk

前提：
CDH5.16.2

由于数据量过多，磁盘大小太小，导致磁盘使用率高达90%以上，于是新增磁盘，可问题来了，如何将这两块磁盘上的数据进行均衡呢？
本次基于CDH来做

1.设置dfs.disk.balancer.enabled 为true

2.hdfs diskbalancer -plan cbp9.chinaoly.com(需要均衡的机器) 会生成一个*.plan.json的文件

3.hdfs diskbalancer -execute /system/diskbalancer/2021-Feb-2-20-11-14/cbp9.chinaoly.com.plan.json

4.hdfs diskbalancer -query cbp9.chinaoly.com
DONE的时候表示已经执行完毕

备注：
此过程由于数据量相对比较大，磁盘IO、网络IO占用都会比较高，虽然有参数可以配置，如dfs.datanode.balance.bandwidthPerSec，但仍然建议在集群负载不高时进行，特别是生产集群。另外执行时间的长度取决于：数据量、网络IO、磁盘IO及新写入的数据量大小
可同时配置dfs.datanode.fsdataset.volume.choosing.policy(磁盘的选择策略)

标签：hdfs,IO,CDH,diskbalancer,Balancer,cbp9,数据量,磁盘,Disk
来源： https://www.cnblogs.com/hackerer/p/14420304.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。