标签：权重 Figure L1 正则 L2 拟合

L1和L2正则化的基本思想

在进入正则化概念之前。仔细查看图 1，我们知道欠拟合或过拟合对我们的模型不利。因此，保持理想平衡的一种方法是减小维度。

Figure 1

什么是正则化？

• 这是一种解决机器学习中过度拟合的方法
• 过拟合模型无法泛化对测试数据的估计
• 正则化降低了模型的方差

我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点，即 L1 和 L2。

套索回归 (L1)

它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零，从而降低所有权重的平均大小。同样，在 L2 中，它强制权重要小得多。

Figure 2

其中 Lambda 是一个超参数。

我们怎样才能使权重为零？

这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。

Figure 3

• 如果 lambda 值太高——欠拟合
• 如果 lambda 值低——过拟合

岭回归 (L2)

Figure 4

这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。

Figure 5

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/18548/22460609

标签：权重,Figure,L1,正则,L2,拟合
来源： https://www.cnblogs.com/amboke/p/16660613.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。