标签：问题 SVM 求解 更新 SMO 针对 参数 线性 优化

一、SMO算法

　　 我们回顾一下上一篇文章推出来的公式：

 

 

 　　为了和代码对应，我们替换了一下字母。。。

　　上述式子是一个二次规划问题，我们选用SMO算法来解决。

　  1.SMO的基本思路

　　（1）先固定除λi之外的所有参数，然后求λi上的极值

　　  由于存在约束条件，不可以只固定一个，所以我们选择一对需要更新的两个变量αi和αj 

　　（2）固定αi和αj以外的参数，求解总式获得更新后的αi和αj

　　 不断执行上述两个步骤直至收敛

　　 这样把原始问题的求解 n个参数二次规划问题分解成多个二次规划问题求解，每个子问题只需要求解2个参数，节省了时间成本和内存需求。

　　2.算法原理

　　（1）获得没有修剪的原始解

　　   假设我们选取的两个需要优化的参数α1和α2，剩下的α3，α4，……，αn则固定，作为常数处理

　　   将SVM优化问题展开可得：

 　　  将<xi,xj>内积定义为Ki,j，将要优化的公式定义为T，将与α1，α2无关的项合并为常数C

　　   于是目标函数就被我们转换为一个二元函数的优化问题：

 

　　   方法是更新迭代。

 

 

 

 

 

 

 

 

　　（2）对原始解进行修剪

 

 

 

 

　　（3）更新阈值b

 

 

 

 

 

标签：问题,SVM,求解,更新,SMO,针对,参数,线性,优化
来源： https://www.cnblogs.com/hm0419/p/16176652.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。