常用激活函数总结
1.Sigmoid 函数
基本概念：Sigmoid函数，它能够把x属于R的输入“压缩”到x属于（0，1）区间内。
表达式：
缺点：sigmoid函数容易出现梯度弥散现象，当网络的层数增加时，较前层的参数无法及时更新，所以无法训练深层神经网络。
用法：tf.nn.Sigmoid(x) 属于概率输出
延伸：梯度弥散是指梯度值接近0的现象。
2.ReLU函数 （修正线性单元）
基本概念：ReLU(修正线性单元)，它对于小于0的值全部抑制为0，对于正数则直接输出。又叫单边抑制特性。
表达式：
优点：在反向传播时，它既不会放大梯度，不会造成梯度爆炸；也不会造成梯度弥散。
用法：tf.nn.relu(x)
3.LeakyReLU 函数
基本概念：添加了一个用户超参数，避免了ReLU造成梯度弥散现象。
表达式：
LeakyReLU函数的导数，当x小于零时，LeakyReLU函数导数值为p，p一般是认为设置的一个较小数值（如0.01或0.02）
用法：tf.nn.leaky_relu(x, alpha=…)
4.Tanh函数
基本概念：Tanh函数，能将x属于R的输入“压缩”到区间[-1，1]区间。
表达式：
用法：tf.nn,tanh(x)
参考文章
[1] https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book
标签：总结,函数,nn,梯度,弥散,tf,激活,表达式 来源： https://blog.csdn.net/weixin_44312422/article/details/115213516
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。