标签：yi xi sum 支持 right 线性 alpha 向量 left

1. 线性可分支持向量机
   （1）线性可分支持向量机如下图示：
   （2）分割超平面：
      设C和D是两个不相交的凸集，则存在超平面P使得C和D分离。
      两个集合的距离定义为两个集合间元素的最短距离，做集合C和D最短线段的垂直平分线。
      如何定义两个集合的最优分割超平面，找到集合“边界”上的若干点，以这些点为基础计算超平面的方向，以两个集合边界上的这些点的平均作为超平面的截距。
   （3）线性分类问题：
   
      输入数据：假设给定一个特征空间上的训练数据集，$T=\{ (\vec{x}_1,y_1),(\vec{x}_2,y_2),\cdots,(\vec{x}_n,y_n) \}$T={(x1​,y1​),(x2​,y2​),⋯,(xn​,yn​)}，其中$\vec{x} \in R^n$x∈Rn,$y_i\in \{ +1,-1 \}$yi​∈{+1,−1}，$y_i$yi​为$\vec{x}_i$xi​的类标记，当$y_i=+1$yi​=+1时，称$\vec{x}_1$x1​为正例，当$y_i=-1$yi​=−1时，称$\vec{x}_1$x1​为负例。
      线性可分支持向量机：给定线性可分训练集，通过间隔最大化得到的分离超平面为$y(x)=w^T\Phi(x)+b$y(x)=wTΦ(x)+b，相应的决策函数为$f(x)=sign(w^T\Phi(x)+b)$f(x)=sign(wTΦ(x)+b)，该决策函数称为线性可分支持向量机。$\Phi(x)$Φ(x)是某个确定的特征空间转换函数，它的作用是将x映射到（更高的）维度。求解分离超平面问题可以等价求解相应的凸二次规划问题。
   （4）推导目标函数
      根据题设$y(x)=w^T\Phi(x)+b$y(x)=wTΦ(x)+b，有:
   $\begin{cases} y(x_i)>0 \Leftrightarrow y_i=+1 \\ y(x_i)<0 \Leftrightarrow y_i=-1\\ \end{cases} \Rightarrow y_i \cdot y(x_i)>0${y(xi​)>0⇔yi​=+1y(xi​)<0⇔yi​=−1​⇒yi​⋅y(xi​)>0
      $w,b$w,b等比例缩放，则$t*y$t∗y的值同样缩放，从而：
   $\frac{y_i \cdot y(x_i)}{||w||}=\frac{y_i\cdot (x^T\cdot \Phi(x_i) +b)}{||w||}$∣∣w∣∣yi​⋅y(xi​)​=∣∣w∣∣yi​⋅(xT⋅Φ(xi​)+b)​
      目标函数为
   $\underset{w, b}{\arg \max }\left\{\frac{1}{\|w\|} \min _{i}\left[y_{i} \cdot\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right)\right]\right\}$w,bargmax​{∥w∥1​imin​[yi​⋅(wT⋅Φ(xi​)+b)]}
         含义为最大间隔分离超平面，如下图示意
      建立目标函数：总可以通过等比例缩放w的方法，使得两类点的函数值都满足$|y| \geq 1$∣y∣≥1。约束条件：$y_{i} \cdot\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right) \geq 1$yi​⋅(wT⋅Φ(xi​)+b)≥1，原目标函数为$\underset{w, b}{\arg \max }\left\{\frac{1}{\|w\|} \min _{i}\left[y_{i} \cdot\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right)\right]\right\}$w,bargmax​{∥w∥1​mini​[yi​⋅(wT⋅Φ(xi​)+b)]},新的目标函数为:$\underset{w, b}{\arg \max } \frac{1}{\|w\|}$w,bargmax​∥w∥1​，也就是为
   $\min _{w, b} \frac{1}{2}\|w\|^{2}$w,bmin​21​∥w∥2$\text { s.t. } \quad y_{i}\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right) \geq 1, \quad i=1,2, \cdots, n$ s.t. yi​(wT⋅Φ(xi​)+b)≥1,i=1,2,⋯,n
   （4）拉格朗日乘数法求解目标函数
   $L(w, b, \alpha)=\frac{1}{2}\|w\|^{2}-\sum_{i=1}^{n} \alpha_{i}\left(y_{i}\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right)-1\right)$L(w,b,α)=21​∥w∥2−i=1∑n​αi​(yi​(wT⋅Φ(xi​)+b)−1)
      原问题是极小极大问题
   $\min _{w, b} \max _{\alpha} L(w, b, \alpha)$w,bmin​αmax​L(w,b,α)
      原问题的对偶问题，是极大极小问题
   $\max _{\alpha} \min _{w, b} L(w, b, \alpha)$αmax​w,bmin​L(w,b,α)
      将拉格朗日函数$\mathrm{L}(\mathbf{w}, \mathrm{b}, \mathbf{a})$L(w,b,a)分别对$\mathbf{w}, \quad \mathbf{b}$w,b求偏导，并令其等于0
   $\frac{\partial L}{\partial w}=0 \Rightarrow w=\sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)$∂w∂L​=0⇒w=i=1∑n​αi​yi​Φ(xi​)
   $\frac{\partial L}{\partial b}=0 \Rightarrow 0=\sum_{i=1}^{n} \alpha_{i} y_{i}$∂b∂L​=0⇒0=i=1∑n​αi​yi​
      将上式带入并且计算拉格朗日对偶函数:
   $\begin{aligned} &L(w, b, \alpha)=\frac{1}{2}\|w\|^{2}-\sum_{i=1}^{n} \alpha_{i}\left(y_{i}\left(w^{T} \cdot \Phi\left(x_{i}\right)+b\right)-1\right)\\ &=\frac{1}{2} w^{T} w-w^{T} \sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)-b \sum_{i=1}^{n} \alpha_{i} y_{i}+\sum_{i=1}^{n} \alpha_{i}\\ &=\frac{1}{2} w^{T} \sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)-w^{T} \sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)-b \cdot 0+\sum_{i=1}^{n} \alpha_{i}\\ &=\sum_{i=1}^{n} \alpha_{i}-\frac{1}{2}\left(\sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)\right)^{T} \sum_{i=1}^{n} \alpha_{i} y_{i} \Phi\left(x_{i}\right)\\ &=\sum_{i=1}^{n} \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{n} \alpha_{i} \alpha_{j} y_{i} y_{j} \Phi^{T}\left(x_{i}\right) \Phi\left(x_{j}\right) \end{aligned}$​L(w,b,α)=21​∥w∥2−i=1∑n​αi​(yi​(wT⋅Φ(xi​)+b)−1)=21​wTw−wTi=1∑n​αi​yi​Φ(xi​)−bi=1∑n​αi​yi​+i=1∑n​αi​=21​wTi=1∑n​αi​yi​Φ(xi​)−wTi=1∑n​αi​yi​Φ(xi​)−b⋅0+i=1∑n​αi​=i=1∑n​αi​−21​(i=1∑n​αi​yi​Φ(xi​))Ti=1∑n​αi​yi​Φ(xi​)=i=1∑n​αi​−21​i,j=1∑n​αi​αj​yi​yj​ΦT(xi​)Φ(xj​)​
   $a^{*}=\underset{\alpha}{\arg \max }\left(\sum_{i=1}^{n} \alpha_{i}-\frac{1}{2} \sum_{i, j=1}^{n} \alpha_{i} \alpha_{j} y_{i} y_{j} \Phi^{T}\left(x_{i}\right) \Phi\left(x_{j}\right)\right)$a∗=αargmax​(i=1∑n​αi​−21​i,j=1∑n​αi​αj​yi​yj​ΦT(xi​)Φ(xj​))
      继续求$\min _{\mathrm{w}, \mathrm{b}} \mathrm{L}(\mathrm{w}, \mathrm{b}, \alpha)$minw,b​L(w,b,α)对$\alpha$α的极大值
   $\begin{aligned} &\max _{\alpha} \sum_{i=1}^{n} \alpha_{i}-\frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(\Phi\left(x_{i}\right) \cdot \Phi\left(x_{j}\right)\right)\\ &\text { s.t. } \sum_{i=1}^{n} \alpha_{i} y_{i}=0\\ &\alpha_{i} \geq 0, \quad i=1,2, \dots, n \end{aligned}$​αmax​i=1∑n​αi​−21​i=1∑n​j=1∑n​αi​αj​yi​yj​(Φ(xi​)⋅Φ(xj​)) s.t. i=1∑n​αi​yi​=0αi​≥0,i=1,2,…,n​
      整理目标函数：添加负号
   $\min _{\alpha} \frac{1}{2} \sum_{i=1}^{n} \sum_{j=1}^{n} \alpha_{i} \alpha_{j} y_{i} y_{j}\left(\Phi\left(x_{i}\right) \cdot \Phi\left(x_{j}\right)\right)-\sum_{i=1}^{n} \alpha_{i}$αmin​21​i=1∑n​j=1∑n​αi​αj​yi​yj​(Φ(xi​)⋅Φ(xj​))−i=1∑n​αi​
   $\text { s.t. } \sum_{i=1}^{n} \alpha_{i} y_{i}=0$ s.t. i=1∑n​αi​yi​=0
   $\alpha_{i} \geq 0, \quad i=1,2, \dots, n$αi​≥0,i=1,2,…,n
      求得最优解$\alpha^{*}$α∗
   （5）举例
   
   
   
   

• 点赞
• 收藏
• 分享
• • 文章举报

bingxiash 发布了31 篇原创文章 · 获赞 0 · 访问量 1507 私信 关注

标签：yi,xi,sum,支持,right,线性,alpha,向量,left
来源： https://blog.csdn.net/u014168855/article/details/104531063

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。