一、激活函数作用
激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。
一、激活函数分类
1）阶跃函数
2）sigmoid
3）RELU
4）tanh 函数
5）恒等函数
6）softmax
1）阶跃函数
阶跃函数的导数在绝大多数地方（除了0之外）的导数都是0。所以用它做激活函数的话，参数们的微小变化所引起的输出的变化就会直接被阶跃函数抹杀掉，在输出端完全体现不出来，训练时使用的损失函数的值就不会有任何变化，这是不利于训练过程的参数更新的。
**参考代码和结果如下：**
2）sigmoid
sigmoid 函数是一条平滑的曲线，输出随着输入发生连续性的变化。而阶跃函数以 0 为界，输出发生急剧性的变化
sigmoid 函数的导数在任何地方都不为0（这对NN的学习非常重要。参数们的一点微小的变化也会引起输出的微小的连续的变化，从而使得损失函数可以连续地变化，从而使得参数的更新正常进行，使得NN的学习正确进行）。
**参考代码和结果如下：**
3）ReLU
NN的历史上，sigmoid最早被使用。但relu最近用的更多>
**参考代码和结果如下：**
4）tanh
tanh函数的输出结果是零中心数据（输出值以零为中心），所以解决了激活函数在模型优化过程中收敛速度变慢的问题.
**结果如下：**
5）恒等函数
机器学习任务通常分为回归和分类两种任务。回归任务是要求出具体的预测值，所以输出层不再使用激活函数进行非线性转换，或者说使用恒等函数作为激活函数，它什么都没做。
6）softmax函数
分类的类别数目等于输出层神经元的数目。
假设输出层有n个神经元，第k个的输出yk：
分母是所有输入信号的指数函数的和，所以输出层的每个神经元都要受到所有输入信号的影响。
重要性质：
这使得我们可以把softmax的输出解释为概率。
**参考代码和结果如下：**
标签：输出,阶跃,函数,sigmoid,激活,变化 来源： https://blog.csdn.net/weixin_42277332/article/details/114661541
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。