标签：总结 CReLU 函数 ReLU 激活 小结 operatorname

深度学习之激活函数小结

激活函数的作用和意义：引入非线性，增加网络表达能力；

基本激活函数介绍

首先看一下一些常见的激活函数：

• Sigmoid：

总结：第一个出现的激活函数，存在以下问题，所以后面基本不使用了

1、梯度消失的情况

2、不是以0为对称中心（梯度下降比较慢）

3、计算公式相对复杂，比较慢

• tanh：

总结：为了解决Sigmoid中不以0为对称中心的问题，但还是没能解决梯度消失的问题；

• ReLU：

总结：最经常使用的激活函数，计算简单，小于0的情况下神经元会失活；

• Leaky ReLU：

总结：对于ReLU激活函数的改进，在小于0部分取0.1x，小于0时不完全失活；（提升不大）

• Maxout：

总结：不常见，训练两个表达式，计算量大；

• ELU：

总结：也是对ReLU的改进，在小于0部分采用幂函数的方式；

• CRelu：

简介：这是一个作用在网络中间的一个小trick，利用网络在浅层信息有重复的特点，将其ReLU的正反结果进行concat；

计算公式： CReLU ⁡ ( x ) = [ ReLU ⁡ ( x ) , ReLU ⁡ ( − x ) ] \operatorname{CReLU}(x)=[\operatorname{ReLU}(x), \operatorname{ReLU}(-x)] CReLU(x)=[ReLU(x),ReLU(−x)]

总结：能够减少一个卷积层的计算量，从而达到压缩模型的作用，并且精度也有一定提升（也需要看具体任务和模型）

• ReLU6

总结：Relu的改进，将最大值限制到6，在mobilenet中使用，一般用于轻量级网络中；

激活函数关于0对称的问题

激活函数的特征

• 非线性
• 几乎处处可微
• 计算简单
• 非饱和性
• 单调性
• 输出范围有限
• 参数少
• 归一化

标签：总结,CReLU,函数,ReLU,激活,小结,operatorname
来源： https://blog.csdn.net/weixin_40620310/article/details/123643982

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。