GBDT 全称gradient boost descion tree 梯度上升决策树 既可以解决回归问题也可以解决分类问题(解决分类问题的时候也是按回归问题来处理的,把分类换成One-hot向量,然后对每一维作回归) 基模型一般用回归树 模型的计算是根据加法模型和前向分布算法,根据当前学习到的模型的和与标签定义损失函数(支持自定义损失),然后类似梯度上升的做法,只不过这里不进行梯度上升,更新原模型参数,而是用一个新的模型去拟合这部分的梯度。 当使用均方损失时,梯度即为残差,即y-y'。 具体做法是假设当前的模型F(x),标签值为y,根据自定义的损失函数Loss(y-F(x)...