最近，多人反映在torch框架的模型加速后耗时相差不大甚至不如加速前。
首先，可以肯定的是，这种结果存在误判，torch的模型加速以后肯定是有加速效果。那么问题出在耗时方法的统计不正确。
正确的耗时统计应该是这样：
（1）先测试一个batch的数据，使用加速和不加速模型测试推理时间，注意推理时间一定不能够包含数据拷贝时间，这样才能测试真实的模型性能。得出的两个推理耗时也就是直观模型的提速。通过这一步来证实你的加速有效果的，在真实测试时，依旧只统计所有数据的推理时间之和，torch不加速模型一定要同步数据流以后在统计时间。
（2）在用测试集进行测试加速和不加速的模型时，两者的耗时相差不大，是因为加速模型的耗时花费在了数据等待上，也就是没有给模型足够的数据，这并没有测试出模型的真正速度。相比之下（1）中的测试方法就是最简单的消除这种影响。
实践证明，上述的两种方法可以解决上述疑虑。
标签：模型,torch,加速,耗时,测试,推理,trt 来源： https://www.cnblogs.com/chentiao/p/16336239.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。