标签：xi 机器 分类器 算法 Adaboost alpha hat partial

• 什么是Adaboost?
  AdaBoost算法: 通过迭代弱分类器而产生最终的强分类器的算法，可以理解为在弱分类器之上增加了权重配置，使误差率小的分类器拥有更高的权重。

文章目录

• 提升概念
• 提升算法
• Adaboost
• 举例
• Adaboost误差上限
• AdaBoost总结

我们已经学习过决策树这种分类器，并且知道可以通过随机森林的方式完成样本加权、分类器加权，从而使得由弱分类器得到强分类器。Adaboost就是分类器加权的一种方式，即多个分类器的集成。

提升概念

提升算法

• 预测值：$F(x_i)$F(xi​)，实际值：$y_i$yi​，二者差值就是一个残差
• 将所有残差累加：
  $当L(F)=\frac{1}{m}\sum_{i=1}^m(F(x_i)-y_i)^2$当L(F)=m1​i=1∑m​(F(xi​)−yi​)2
  $\frac{\partial L}{\partial F}=\frac{2}{m}\sum_{1=i}^m(F(x_i)-y_i)$∂F∂L​=m2​1=i∑m​(F(xi​)−yi​)
• 实际的损失函数不见得是这个，所以称为伪残差

参照牛顿法（梯度下降法）可知，使用一阶导绕不过去的$\gamma$γ学习率。

树	1	2	3	…	t-1
T	$T_1(x)$T1​(x)	$T_2(x)$T2​(x)	$T_3(x)$T3​(x)	…	$T_{t-1}(x)$Tt−1​(x)
权值	$\alpha_1$α1​	$\alpha_2$α2​	$\alpha_3$α3​	…	$\alpha_{t-1}$αt−1​

计算第i个样本的预测值$y_i$yi​，输入样本$x_i$xi​：
$x_i \longrightarrow \alpha_1T_1(x_i)+\alpha_2T_2(x_i)+\alpha_3T_3(x_i)+...+\alpha_{t-1}T_{t-1}(x_i)=\hat{y}_i$xi​⟶α1​T1​(xi​)+α2​T2​(xi​)+α3​T3​(xi​)+...+αt−1​Tt−1​(xi​)=y^​i​

样本	预测值
$x^{(1)}$x(1)	$\hat{y}_{t-1}^{(1)}$y^​t−1(1)​
$x^{(2)}$x(2)	$\hat{y}_{t-1}^{(2)}$y^​t−1(2)​
$x^{(3)}$x(3)	$\hat{y}_{t-1}^{(3)}$y^​t−1(3)​
…	…
$x^{(m)}$x(m)	$\hat{y}_{t-1}^{(m)}$y^​t−1(m)​

在已知样本和预测值$T(t-1),\hat{y}_{(t-1)}$T(t−1),y^​(t−1)​的前提下，如何算$T(x)和\alpha_t$T(x)和αt​。考虑使用二阶导信息。

$\frac{\partial J}{\partial f_t}=\sum_{i=1}^n(g_i+h_if_t(x_i))+\frac{\partial \Omega}{\partial f_t}$∂ft​∂J​=i=1∑n​(gi​+hi​ft​(xi​))+∂ft​∂Ω​

Adaboost

$通常e_m < 0.5$通常em​<0.5，$e_m越小，\alpha_m越大。谁的误差率越小，谁的权值就越大。（e_m=0.5 \rightarrow \alpha_m=0）$em​越小，αm​越大。谁的误差率越小，谁的权值就越大。（em​=0.5→αm​=0）

有了$w_{m+1, i}$wm+1,i​，就可以算$G_{m+1}$Gm+1​，就可以算$w_{m+2}$wm+2​…

举例

Adaboost误差上限

AdaBoost总结

• 点赞
• 收藏
• 分享
• • 文章举报

不可描述的两脚兽 发布了45 篇原创文章 · 获赞 2 · 访问量 1万+ 私信 关注

标签：xi,机器,分类器,算法,Adaboost,alpha,hat,partial
来源： https://blog.csdn.net/qq_22096121/article/details/104437087

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。