bagging和boosting与偏差和方差、强模型、弱模型

参考https://blog.csdn.net/shenxiaoming77/article/details/53894973

bagging的偏差和方差

图片说明

整体模型的期望近似于基模型的期望,这也就意味着整体模型的偏差和基模型的偏差近似。同时,整体模型的方差小于等于基模型的方差(当相关性为1时取等号),随着基模型数(m)的增多,整体模型的方差减少。

boosting的偏差和方差

图片说明

若基模型不是弱模型,其方差相对较大,这将导致整体模型的方差很大,即无法达到防止过拟合的效果。因此,boosting框架中的基模型必须为弱模型。
因为基模型为弱模型,导致了每个基模型的准确度都不是很高(因为其在训练集上的准确度不高)。随着基模型数的增多,整体模型的期望值增加,更接近真实值,因此,整体模型的准确度提高。

全部评论

相关推荐

点赞 收藏 评论
分享
牛客网
牛客企业服务