标签：训练 swapfile m.2 train 关于 ssd 速度 硬盘

1, dataloader :

        a.  数据加载的部分可以用accimage或者opencv,  online aug 的时候尽量保证不要大图做图像 变换, 先做好resize, 这样cpu 的负载会降低，处理速度会加快。

        b.  使用多gpu dist train 的时候，将num_work 写多一点，perfetch_factor 也设置大一点（pytorch 1.7 +）， 在我们使用这种方式训练的时候通常会遇到 singnal kill 的问题，这种时候如果没钱加内存，可以用虚拟内存(swap)的方式，这种方式会产生一个交换文件，最好生成在ssd 上，如果是机械硬盘就还不如不搞。具体操作看 《如何在ubuntu-1804中增加swapfile》，文章里的swapfile 可以放在别的盘上，我放在我挂载的目录， 路径如 : /train/sawpfile， 添加后的效果如下图所示：

2, 硬件

1, gpu 就不详述了

2, 比较关键的 ssd 选择 :  在 选择ssd 时候应该优先考虑 nvme 协议的 m.2接口的ssd 硬盘， 本人公司采购的三星 m.2， 实际测的速度平均在1.8 Gb/s 的速度，仅将训练数据放进来就ok , 会大大加快训练速度， 如上述的swapfile 也可以放到这个硬盘里，毕竟服务器 内存条太贵了。 重中之重： 买前请确认自己的服务器主板是否有m.2 的接口！

标签：训练,swapfile,m.2,train,关于,ssd,速度,硬盘
来源： https://blog.csdn.net/u013565669/article/details/121137478

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。