首页 > 试题广场 >

以下哪个不属于过拟合解决方式

[单选题]
以下哪个不属于过拟合解决方式
  • bagging/boosting
  • batch normalization
  • L2范式
  • cross validation

在训练神经网络时,标准化输入可以提高训练的速度。方法是对训练数据集进行归一化的操作,即将原始数据减去其均值  后,再除以其方差  。

但是标准化输入只是对输入进行了处理,那么对于神经网络,又该如何对各隐藏层的输入进行标准化处理呢?

其实在神经网络中,第 l 层隐藏层的输入就是第 l-1 层隐藏层的输出  。对  进行标准化处理,从原理上来说可以提高  和  的训练速度和准确度。这种对各隐藏层的标准化处理就是Batch Normalization。值得注意的是,实际应用中,一般是对  进行标准化处理而不是 ,其实差别不是很大。

发表于 2019-01-08 18:07:03 回复(0)
BN算法也可以防止过拟合啊,为了使数据不至于偏向极端,进行的归一化操作
发表于 2020-03-07 22:05:48 回复(0)

首先,集成学习分为两大类,bagging和boosting。bagging用于解决过拟合问题,是一种将基分类器并行训练然后通过投票或者取均值的方式求得最终结果,而boosting用于解决欠拟合问题,是一种串行训练方式,每次训练都是基于上一次基分类器的输出与标签的残差而进行的。

那么,为什么说bagging可以解决过拟合问题?而boosting用于解决欠拟合问题?bagging的思想是通过有放回选取数据构成数据集,然后在该数据集上每次训练一个基分类器,最终将各个基分类的结果根据少数服从多数的原则得到投票一半以上的结果。假设某个样本被判错的概率一定,各个基分类器是独立的,因此被所有基分类器都判错的概率会随着基分类的数目增加而指数的减小,所以bagging可以防止过拟合,减少模型的方差。boosting是串行训练,每次都是根据上一个基分类的结果和标签的残差来训练,所以一步一步的串行训练后最终的偏差越来越小,可以防止欠拟合。

发表于 2021-12-17 11:21:31 回复(0)

交叉验证的作用是建立模型和验证模型,对样本数进行切割,组成不同的训练集和测试集。


发表于 2019-09-01 16:55:37 回复(0)

boosting?

发表于 2019-07-19 17:11:46 回复(0)