标签：学习 映射 网络层 网络 ResNet 堆叠 神经网络 残差 部分
当类似VGG结构的网络层数过深的时候会产生退化，如下图所示，56层的网络效果要比20层的差，ResNet的提出就是解决退化问题，继续加深网络层数。
ResNet的基本思想是将原来一层一层堆叠在一起的网络结构变换成一种新的结构，这个结构如下所示
右部的含义是直接将输入按照原样映射到输出，左部分就和VGG一样是堆叠的卷积层等，新的网络结构可以这样去理解，假设原来的网络不包含左部分，仅包含右部分，这可以理解为一个较浅的网络，这个时候加入右部分，整个网络的深度可以认为“没有加深”，而是在右部分直接映射的基础上增加了学习能力（因为网络参数更多，可以认为学习到了更多的信息），这样左右结合网络的学习能力就不会比仅有右部分的网络差。
这同样也可以换一个角度，用公式化的方式去理解，假设我们需要上述左右结合网络将输入x映射为H(x)，右部分是直接映射为x，那么左部分需要映射的值为F(x)=H(x)-x，作者认为通过训练网络学习残差F(x)要比学习H(x)简单，通过一个极端的例子，假如我们需要学习的H(x)就是输入到输出直接映射( H(x)=x )，那么左部分堆叠的网络层可以直接置0( F(x)=0 )，如果需要这种堆叠的网络层去学习直接映射的话是很困难的，因为激活函数会导致非线性（sigmoid激活函数）。
作者在数据集上做了测试，测试结果验证了实验假设，残差网络确实是一种更有效的假设。
kking_edc
发布了40 篇原创文章 · 获赞 0 · 访问量 5736
私信
关注
标签：学习,映射,网络层,网络,ResNet,堆叠,神经网络,残差,部分 来源： https://blog.csdn.net/kking_edc/article/details/104131330
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。