首页 > 试题广场 > L1和L2正则化的区别
[问答题]

请你简要讲一下,L1和L2正则化有什么区别?

L1正则化具有稀疏性,L2正则化具有鲁棒性;
例如:J = arg min X1*X2
            L1正则化X1 +X2 = 1
解上述目标,可知当X1= 1,X2=0(或者反过来)时 J最小,这时就突出稀疏性,即将某一个变量解置为0,另外一个变量的解就是1。拓展到n个变量时,L1正则化让大部分变量解为0,这就让有效的变量的解减少,从而达到一种稀疏的目的。
             L2正则化:X12 +X22 = 1 情况下
解上述目标,由詹森不等式可知,当X1= X2时 J最小,此时为什么可以突出鲁棒性呢,我们可以理解为这就是相关于给每个变量相同的权值,不强调某一个(些)变量,考虑每个变量(即考虑全局特性),当然比较有鲁棒性。比如你L1正则化时,没有把噪点值置为0,此时由于比较稀疏,噪点对模型影响会比较大,但是L2正则化考虑每个点,对于会将噪点影响减弱(想一下求平均值),让模型“光滑化”,比较鲁棒
发表于 2019-01-11 21:33:26 回复(0)