利用一些饱和激活函数的如sigmoid激活时，假如利用均方误差损失，那么损失函数向最后一层的权重传递梯度时，梯度公式为
可见梯度与最后一层的激活函数的导数成正比，因此，如果起始输出值比较大，也即激活函数的导数比较小，那么整个梯度幅度更新幅度都比较小，收敛时间很长。若一开始输出值比较小那么更新速度比较好，收敛也快，因此不稳定。且与输出值a与真实值的误差成正比。
再看损失函数改成交叉熵损失时：
此时损失函数对于最后一层权重的梯度不再跟激活函数的导数相关，只跟输出值和真实值的差值成正比，此时收敛较快。又反向传播是连乘的，因此整个权重矩阵的更新都会加快。
另外，多分类交叉熵损失求导更简单，损失仅与正确类别的概率有关。而且损失对于softmax激活层的输入求导很简单。
————————————————
版权声明：本文为CSDN博主「无它，唯手熟尔」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_42422981/article/details/90645074
标签：输出,函数,导数,交叉,梯度,损失,优点,激活,转载 来源： https://www.cnblogs.com/hugh2006/p/11691369.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。