支持向量机公式(2)-----机器学习

2020-03-10 21:40:41 阅读：255 来源： 互联网

上篇博客中我们讲到了支持向量机的基本型：

那么我们如何解出参数 $\textbf{w}$ 和 $b$ 。很明显上述是带有约束条件求最小值，这个时候我们想到拉格朗日乘子法（博主没记错的话，高数中有）。

拉格朗日乘子法

问题描述：

这是在等式的情况下，求出函数的最小值，具体的意义可以详细见：https://zhuanlan.zhihu.com/p/76501152，博主直接说方法和步骤，说来惭愧，在我学习拉格朗日乘子法的时候只知道如何去解，具体的数学意义并不清楚，但是看了提供的这个链接，会发现并不难理解，有兴趣的可以去看看，如果只是想知道步骤就没必要看了。

拉格朗日乘子法的做法就是定义一个新的拉格朗日函数： $L(x,\lambda ) = f(x)+\lambda h(x)$ ，然后我们对其中的 $x,\lambda$ 分别求偏导，然后让其导数等于0，就可以解出 $x,\lambda$ ，将这样求解出的 $x$ 代入 $f(x)$ ，这个时候的 $f(x)$ 的值就是我们要的最小值。这个是在等式约束条件下的解法，但是我们的支持向量机的基本型是在不等式的约束条件下，那么如何去解呢？？？

这个时候我们看个例子：

如上图，假设我们要求当 $h(x)\leqslant 0$ 的时候，原点离h(x)的最短距离的那个点，假设原点到 $h(x)\leqslant 0$ 平面的这个距离函数为f(x)，我们要求f(x)的最小值。其中蓝色部分为 $h(x)\leqslant 0$ 的可行域（这个词要知道了，高中时候的知识），那么我们分为两种情况。

第一种情况，所求的点在 $h(x)< 0$ 的内部，这个时候很明显我们其实是找不到最优解的，那么这个时候最优解就相当于没有了这个约束条件。此时的拉格朗日函数 $L(x,\lambda ) = f(x)+\lambda h(x)$ ，其中 $\lambda =0$ 。

第二种情况，所求的点在 $h(x)=0$ 的边界上，这个时候的约束条件就是等式的约束条件，回到了我们最开始的解题步骤，将 $L(x,\lambda ) = f(x)+\lambda h(x)$ 求导，然后令其等于0，可以得到：

博主看到的是说这种情况下f(x)的梯度和h(x)的梯度相反，这样的话如果要满足上面的等式， $\lambda$ 必须大于0。我们看下个例子帮助我们理解：

如图所示，要想求出原点到h(x)的最短距离，我们只需要以原点为圆心，画圆直到与h(x)相切，那个切点就是我们求的点，博主的个人理解就是 $h(x)\leq 0$ 的梯度是红色箭头，指向可行域，而f(x)的梯度指向原点，因为我们希望求的是f(x)的最小值，以原点为中心作的切线圆越接近原点越好，当然不希望是个扩大的形式，所以从这样看

标签：约束条件,拉格朗,机器,原点,公式,最小值,博主,我们,向量
来源： https://blog.csdn.net/kidchildcsdn/article/details/104782146

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

支持向量机公式(2)-----机器学习

拉格朗日乘子法