大佬们面试的时候怎么介绍gbdt,xgboost
我介绍gbdt的时候说在函数空间中做梯度下降，xgboost是对目标函数关于当前模型做二阶泰勒展开，但是貌似效果不好？面试官期待 "每一步是拟合上一步的残差”的答案，我说拟合残差是一般的boosting方法，拟合残差可以看作是gbdt的特例，面试官：… 大家来讨论一下，面试的时候怎么说比较好？
2017-08-30 17:08 已编辑 南京航空航天大学 算法工程师
关注
全部评论
LancelotHolmes
百度_商业场景营销研发部_员工
不能说拟合残差是一般的boosting方法，boosting的思想是每一个基分类器纠正前一个基分类器的错误，至于纠正的方式不同所以有不同的boosting算法，比如通过调整样本权值分布训练基分类器对应的AdaBoost，通过拟合前一个基分类器与目标值的误差的负梯度(也不能说是残差，只有在损失函数是平方损失时才能叫残差，一般的损失函数是近似残差)来学习下一个基分类器的方法是gradient boosting
我是这么理解的，adaboost是前向分布算法+指数损失函数，gbdt是前向分布算法在较难优化的损失函数情况时的一种近似的优化，用损失函数的负梯度作为残差的近似值，用到泰勒一阶展开，xgb支持任意损失函数，只要一阶二阶可导即可，用到泰勒二阶展开。
冰乐
浙江大学 算法工程师
...
牛客9786796号
华东师范大学 算法工程师
拟合残差是对应于平方loss
_卡
北京理工大学 算法工程师
拟合上一步的残差
相关推荐
不愿透露姓名的神秘牛友
07-01 13:49
点赞 评论 收藏
分享
06-30 15:54
湖北文理学院 Java 
点赞 评论 收藏
分享
