标签：SVM 函数 支持 cost Theta theta 向量

此系列笔记来源于

Coursera上吴恩达老师的机器学习课程

---

支持向量机

优化目标

我们将逻辑回归中的曲线，变为紫色的线，由一条斜的直线和一条水平直线组成，并将其对应的函数变为\(cost_0(z)\) 和 \(cost_1(z)\)

在逻辑回归中，这个是我们要优化的代价函数，我们按上面所述的更改函数，同时去掉 \(\lambda\) 部分，并在前一项之前加常数 C作为更改权重的参数。

即：\(A + \lambda B\;\rightarrow\;CA+B\)

C可以理解为\(\frac{1}{\lambda}\)

由此我们便能得到SVM中我们所要优化的函数：

这里的假设函数:

\[h_{\Theta}(x)=\left\{ \begin{aligned} 1,\;\;\Theta^TX\ge0 \\ 0,\;\;\Theta^TX<0 \end{aligned} \right. \]

大间隔分类器

对于SVM的假设函数，我们当然希望其cost函数为0，由图像可知，

SVM是一种大间隔分类器，即其所绘决策边界与各类之间有着较大的间隔

例：图中黑线，而非绿线和紫线

由于此特性，SVM具有鲁棒性（面对异常时的具有更高的稳定性、容错率）

数学原理：

因为在满足上面的我们希望的条件时，代价函数的前半部分基本等于 0，因此只用讨论第二项 \(\frac{1}{2}\sum^n_{j=1}\theta_j^2\)

首先我们可以将公式 用线性代数的方法如下表示，\(p^{(i)}\)是\(x^{(i)}\)在向量\(\theta\)上的投影，同时我们进行简单化，令 \(\theta_0 = 0\)

首先，向量\(\theta\)因为作为系数，且方程等于0，所以他与决策边界垂直（即点积为0）

蓝色的即为向量\(\theta\)，绿色的是决策边界。

我们的目的是最小化 \(||\theta||\)

那么根据图一，此时\(p^{(i)}\)很小，因此为了满足条件，\(||\theta||\)就很大，则矛盾

因此，如图二，此时决策边界是大间距的，向量\(\theta\)与x轴平行 此时\(p^{(i)}\)比起图一显然增大了许多，对应的则\(||\theta||\)就可以变得更小了

标签：SVM,函数,支持,cost,Theta,theta,向量
来源： https://www.cnblogs.com/yramvj/p/16288834.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。