标签：function returned 0th 梯度 模型 torch NAN nan its

Error:function ‘LogSoftmaxBackward’ returned nan values in its 0th output.

原因分析

产生这个问题的原因可能有几种：
1.数据中出现NAN——数据清洗
2.梯度出现NAN——梯度裁减

解决方案

模型参数出现NAN,其实也是由梯度导致的，因为初始化你不可能就NAN把，那就是更新过程出现的，那肯定是梯度导致的模型参数NAN了，所以那些：让你重新初始化、降低学习率和加正则化约束模型参数、以及往log下加1e-9（其实我感觉这个不科学，logsoftmax分母为0，除非你没有数据～）的方法都没啥用。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)就可以解决了。

这个问题可能是因为多层网络梯度传播爆炸了，我是训练着训练着模型就bug了,然后我把查过的方法都试过了没啥用，用torch.isnan(param).int().sum() !=0这个判断准则把输入、梯度都检查了一遍，最后得到的解决方案。

标签：function,returned,0th,梯度,模型,torch,NAN,nan,its
来源： https://blog.csdn.net/qq_41694504/article/details/122440116

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。