92

问答题 92 /392

gbdt推导和适用场景

参考答案

参考回答:

1)明确损失函数是误差最小

2)构建第一棵回归树

3)学习多棵回归树

迭代:计算梯度/残差gm(如果是均方误差为损失函数即为残差)

步长/缩放因子p,用 a single Newton-Raphson step 去近似求解下降方向步长,通常的实现中 Step3 被省略,采用 shrinkage 的策略通过参数设置步长,避免过拟合:第m棵树fm=p*gm;模型Fm=Fm-1+p*gm

4)F(x)等于所有树结果累加

适用场景:GBDT几乎可用于所有回归问题(线性/非线性),GBDT的适用面非常广。亦可用于二分类问题(设定阈值,大于阈值为正例,反之为负例)。