首页 > 试题广场 >

假如使用一个较复杂的脊回归模型 (Ridge Regress

[单选题]
假如使用一个较复杂的脊回归模型 (Ridge Regression),来拟合样本数据时,通过调整正则化参数λ,来调整模型复杂度。当λ较大时,关于偏差(bias)和方差(variance),下列说法正确的是?()
  • 当λ增大时,偏差减小,方差减小
  • 当λ增大时,偏差减小,方差增大
  • 当λ增大时,偏差增大,方差减小
  • 当λ增大时,偏差增大,方差增大
1.λ越大,对模型中参数的惩罚力度越大,因此会有更多的参数被训练为0,模型也就变得更加简单了。模型复杂度越低,方差小,但偏差大。

2.下图为不同λ下“训练误差”和“交叉验证误差”的变化
  • 当λ很小时,模型处于“高方差”状态,“训练误差”很小,“交叉验证误差”较大
  • 当λ很大时,模型处于“高偏差”状态,“训练误差”和“交叉验证误差”都很大

发表于 2019-03-24 19:32:23 回复(1)
换个思路,正则化是为了防止过拟合,因此可以假设模型过拟合,如用9阶多项式拟合训练10个数据点,在测试集上的表现,模型方差大,偏差小。增加lamda,可认为高阶项被置0,当lamda过大,可能只剩常数项占主导,此时方差减小,偏差增大
发表于 2022-01-02 15:07:21 回复(0)
λ越大,对模型中参数的惩罚力度越大,模型的复杂度越低,特征变化越简单,方差越小。
发表于 2019-12-27 15:44:32 回复(0)
过拟合 代表 特征多 容易打出不同而的结果,所以方差大,偏差小。
发表于 2019-09-17 21:07:47 回复(0)
当 λ 过大时,此时高次项的存在感被减小,使得成本函数趋于低次项(比如直线),此时出现欠拟合情况,也就是偏差(bias)过大; 当 λ 过小时,此时高次项的存在感被拉大,使得成本函数趋于高次项(比如4次多项式),此时出现过拟合情况,也就是方差(variance)过大; 此时,我们可以发现,是存在一个 λ 值,使得方差(variance)和偏差(bias)都是“刚刚好”的情况.
发表于 2021-12-22 08:58:24 回复(0)
过拟合,鲁棒性低,方差小。
发表于 2020-09-03 09:46:10 回复(0)