XGBOOST

有监督机器学习：
集成学习效果已经非常不错
集成学习也许和机器学习和深度学习并列
目标函数包括：损失函数和正则函数
L1正则是欧米伽的绝对值之和
L2正则是平方和
mse+L1 Ridge回归
mse+L2 Lasso回归

XGBOOT是在做回归或者分类的，
回归树是什么
GBDT没有考虑正则项
在XGBOOST里边，目标函数之所以不再叫loss函数，是因为多了正则项。

第t时刻的预测值，等于第t-1时刻的预测值加一棵小树
梯度下降的本质，就是泰勒展开的一阶近似
XGBOOST的优势在于，搞到了二阶泰勒展开，而且考虑了正则项。这两项也具体体现在了目标函数中

XGBOOST一直在讲目标函数，应为就是目标函数不一样所以有所不同。

对目标函数求导，求一阶导得到的梯度，得到负梯度才是要拟合的，与前边提到的gi不是一回事

对目标函数简化，引入了gi（上一时刻的一阶导）和hi（上一时刻的二阶导），

如果已经有了一棵树的结构，一棵树就是，把x穿进去，返回一个值。
什么是树的复杂度呢？复杂度和叶子节点数量有关系，叶子节点里边的数值期望也有关系

小树无非就是复杂度和叶子节点的数值

gi和hi是可以计算出来的，G和H分别是gi和hi的总和，所以G和H也是可以算出来的。
gi和hi分别是对上一时刻的一阶导和二阶导。

如何对单棵树进行训练：

通过上式判断哪个树结构好

gain其实就是前一次的obj减后一次的obj
目标函数随着分裂的进行，一直在变小

gbdt用树做基模型
XGBOOST以树、逻辑回归、线性回归都可以作为基模型