标签：机器 Wa dropout 噪声 augmentation 防止 拟合 集上 模型
过拟合的表现：模型在训练集上表现很好，但是在测试集上表现较差。模型泛化能力弱
获取更多数据，data augmentation
data augmentation :图像剪裁，旋转，扭曲，平移，反转，缩放。
选择合适的模型，限制模型的复杂度
正则化
dropout
dropout: rescale 要保证输出的期望不会变
Z = Wa + b ,如果20% a被dropout了，那么Wa 只是原来期望值的80%,所以需要Wa/prob_keep. 反向传播的时候也需要。inference的时候不需要。
dropout 为什么能够work
- 相当于训练多个网络，是一种集成，或者平均。
- 参数不会同时出现，避免学习到一个局部特征。避免共适应。
easy stop
验证集先降后升，在低点停掉。
增加噪声，提高抗干扰能力
输入增加噪声，网络参数增加噪声
集成的方法
1.bagging
2.boosting
标签：机器,Wa,dropout,噪声,augmentation,防止,拟合,集上,模型 来源： https://www.cnblogs.com/Lzqayx/p/14488580.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。