首页> 算法/机器学习校招面试题目合集> 说一下gbdt的全部算法过程
93

问答题 93 /392

说一下gbdt的全部算法过程

参考答案

参考回答:

GBDT(Gradient Boosting Decision Tree) 又叫 MART（Multiple Additive Regression Tree)，是一种用于回归的机器学习算法，该算法由多棵回归决策树组成，所有树的结论累加起来做最终答案。当把目标函数做变换后，该算法亦可用于分类或排序。
1）明确损失函数是误差最小

2）构建第一棵回归树

3）学习多棵回归树

迭代：计算梯度/残差gm(如果是均方误差为损失函数即为残差)

步长/缩放因子p,用 a single Newton-Raphson step 去近似求解下降方向步长,通常的实现中 Step3 被省略,采用 shrinkage 的策略通过参数设置步长,避免过拟合

第m棵树fm=p*gm

模型Fm=Fm-1+p*gm

4）F(x)等于所有树结果累加

纠错 收藏
查看讨论
上一题 下一题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号