标签：torch 函数 sigmoid 梯度 tanh 激活

1：常见函数的梯度

 

 【注】

导数：一维函数的导数（梯度）没有方向是一个标量

梯度：有方向的向量

2：激活函数的梯度

 

 (2.1)激活函数：Sigmoid/Logistic

 

 

 

[注]sigmoid函数输出范围为【0，1】，多用于概率，图像的rgb通道等。

[注]sigmoid函数在torch中的使用有两种方式：

torch.sigmoid()

torch.nn.functional as F F.sigmoid()

（2.2）激活函数：tanh

 

 

 

 

 

 [注]:Tanh函数输出范围为【-1，1】多用于RNN循环神经网络。

[注]:Tanh函数在torch中的使用方式：

torch.tanh()

 

标签：torch,函数,sigmoid,梯度,tanh,激活
来源： https://www.cnblogs.com/jiafeng1996/p/15017354.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。