ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

手撕SVM

2022-04-21 22:33:04  阅读:133  来源: 互联网

标签:1195588 SVM frac Tx 超平面 向量


首先了解一下SVM是干什么的,SVM用来分类样本的。SVM的目标是寻找到一个最佳的超平面使得(超平面可能有很多,最佳超平面和支持向量之间的间隔最可能大)。划分超平面可以通过线性方程来描述:

$$ w^Tx+b = 0 $$

$w=(w_1;w_2;...;w_d)$为法向量,决定了超平面的方向,$b$为位移项,据定了超平面与原点之间的距离,$w,b$是确定超平面的两个唯一的重要因素,记为$(w,b)$,样本空间中任意点$x$到超平面$(w,b)$的距离可写为:

$$ r = \frac{|w^Tx+b|}{||w||} $$

假设超平面$(w,b)$能够训练样本正确分类,即对于$(x_i, y_i) \in D$,若$y_i = +1$,则有$w^Tx_i+b>0$;若$y_i=-1$,则有$w^Tx_i+b<0$,根据切比雪夫不等于,我们一定可以找到一个$\epsilon$ 满足$w^Tx_i+b≤\epsilon<0$,$\epsilon<0$

$$ w^Tx_i+b≤\epsilon<0 $$ $$ 两边同时除以-\epsilon, \frac{-w^Tx_i}{-\epsilon}-\frac{b}{\epsilon}≤-1$$ $$ w^Tx_i+b≤-1, y_i=-1 (1)$$ $$同理,w^Tx_i+b≥+1, y_i=+1(2)$$

距离超平面最近的这几个样本点使得(1)(2)成立,它们被称为“支持向量”(support vector),两个异类支持向量到超平面的距离之和为$\gamma$,$\gamma$也被称为“间隔”(margin)

$$\gamma = \frac{2}{||w||}=\frac{1}{||w||}+\frac{1}{||w||}$$ ![image](https://www.icode9.com/i/l/?n=22&i=blog/1195588/202204/1195588-20220419235341591-1027609089.png)

 

 

![](https://www.icode9.com/i/l/?n=22&i=blog/1195588/202204/1195588-20220420091903333-1827856908.png)

标签:1195588,SVM,frac,Tx,超平面,向量
来源: https://www.cnblogs.com/z-712/p/16101833.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有