标签：Bagging 偏差 方差 Stacking 模型 分类器 Boosting

1、什么是集成学习算法？

2、集成学习主要有哪几种框架，并简述它们的工作过程？

3、Boosting算法有哪两类，它们之间的区别是什么？

4、什么是偏差和方差？

5、为什么说Bagging可以减少弱分类器的方差，而Boosting可以减少弱分类器的偏差？

---

1、什么是集成学习算法？

通过训练多个弱分类器，并通过学习组合这些分类器，使得组合后的模型达到较好效果。

---

2、集成学习主要有哪几种框架，并简述它们的工作过程？

基本有三种框架Bagging、Stacking、Boosting

Bagging、Boosting集成同类型的模型（同质集成）

Stacking集成不同类型的模型（异质集成）

Bagging：同一个模型不同的样本（有放回的采样），得到多个模型，然后通过投票、平均等方式融合。

Stacking：第一阶段：训练不同模型；第二阶段：训练第二阶段的融合模型。第一阶段模型训练好以后，固定这些模型的参数，后面再接第二阶段的融合模型。训练集还是之前模型的训练集，只是第二阶段融合模型的输入以第一阶段模型结果作为输入。

Boosting：通过集成前后关联的同类模型，残差式学习。后面的模型用来校准之前模型的误差。

---

3、Boosting算法有哪两类，它们之间的区别是什么？

Adaboosting(adaptive boosting)：增加上一轮错误样本的权重

Gradient boosting：下一轮通过拟合残差或负梯度，纠正之前的模型犯错较大的地方

---

4、什么是偏差和方差？

偏差（bias）：衡量了模型的预测值与实际值之间的偏离关系。

方差（variance）：预测值的变化波动情况（或称之为离散情况）。

低偏差，低方差：训练的理想模型，预测结果准确率高且泛化性好输出结果稳定没有太大波动；

低偏差，高方差：这是深度学习面临的最大问题，过拟合，导致其泛化（或通用）能力差，若遇到没见过的样本，结果变化差异大；

高偏差，低方差：模型刚训练、欠拟合阶段；

高偏差，高方差：训练最糟糕的情况，准确度低，稳定性差。

---

5、为什么说Bagging可以减少弱分类器的方差，而Boosting可以减少弱分类器的偏差？

Bagging方法（1）增加模型的独立性 （2）对模型结果取平均 能够减少方差

Boosting方法本身就是每一步减少拟合的损失，用以减少偏差

标签：Bagging,偏差,方差,Stacking,模型,分类器,Boosting
来源： https://blog.csdn.net/chen10314/article/details/122532928

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。