标签：函数 Neural sigmoid relu --- 神经网络 激活 神经元 Network

1. 神经网络的基本概念

• 神经网络的分层：神经网络由输入层、隐藏层、输出层组成。
• 神经元之间的连接：层与层之间有神经元连接、而层内之间没有神经元连接。连接的神经元都有对应的权重。
• 输入层：负责接收输入的数据。
• 输出层：从这层获取神经网络输出数据。
• 隐藏层：输入层与输出层之间的是隐藏层。

隐藏层可以有多层。

2. 激活函数

 激活函数可以使神经网络逼近任意非线性函数，使得神经网络可以应用到众多的非线性模型中。

 常用的激活函数

• sigmoid
• relu

最开始，神经网络中经常使用的一个激活函数就是sigmoid函数，函数公式如下：

sign={−1+1​x<0xgeq0​

函数图像如下图所示：

sigmoid函数是一条平滑的曲线，输出随着输入发生连续的变化。而阶跃函数以0为界，输出发生急剧兴的变化。sigmoid函数的平滑性对神经网络的学习具有重要意义。

sigmoid函数在x过大或过小时，函数变化非常小，即梯度非常接近0，随着神经网络的加深，在使用梯度下降方法的时候，由于梯度接近0，参数更新接近0，网络开始学不到东西，即梯度消失。所以现在常使用relu激活函数，函数公式如下：

relu(x)={0x​x<0xgeq0​

函数图像如下图所示：

relu函数在x大于等于0时，输出的是x本身，函数变化率恒为1，这样就避免了梯度消失的情况。当x小于0时，输出为0，即神经元不被激活，这样也符合人脑内并不是所有神经元同时被激活的情况。并且，relu函数计算成本非常低，所以在神经网络过深时常使用relu函数作为激活函数。

3. 反向传播算法

4. 使用pytorch搭建卷积神经网络识别手写数字

标签：函数,Neural,sigmoid,relu,---,神经网络,激活,神经元,Network
来源： https://www.cnblogs.com/yuanyuanyuan2022/p/16468432.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。