标签：函数 Gradient 模型 笔记 学习 算法 GBDT Boosting

GBDT(Gradient Boosting Decision Tree，Friedman，1999)算法自提出以来，在各个领域广泛使用。从名字里可以看到，该算法主要涉及了三类知识，Gradient梯度、Boosting集成算法和 Decision Tree决策树。

该算法是GREEDY FUNCTION APPROXIMATION A GRADIENT BOOSTING MACHINE一文提出来的，它既可以看成是一种 Ensemble 模型，也可以看成是一种基于 Gradient 的 Boosting 模型。该算法底层基于 CART（GBDT 主要基于回归树） 和函数空间的梯度降算法，除了具有树模型的可解释性强、有效处理混合类型的特征、伸缩不变性（不需要对数据标准化）、对缺失值鲁棒等优点，还具有预测能力强、稳定性好等优势。相比于它的后继算法 XGboost/LightGBM ， GBDT 只要求模型损失函数一阶可导，凸或非凸都适用;而 XGboost/LightGBM 对损失函数的要求更为苛刻，必须一阶二阶都可导，而且要求损失函数为严格的凸函数。

https://www.sohu.com/a/227107019_505779

https://www.cnblogs.com/pinard/p/6140514.html

标签：函数,Gradient,模型,笔记,学习,算法,GBDT,Boosting
来源： https://www.cnblogs.com/bnuvincent/p/11221393.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。