首页 > 试题广场 > L1和L2正则化的区别
[问答题]

请你简要讲一下,L1和L2正则化有什么区别?

1个回答

添加回答
L1正则化具有稀疏性,L2正则化具有鲁棒性;
例如:J = arg min X1*X2
            L1正则化X1 +X2 = 1
解上述目标,可知当X1= 1,X2=0(或者反过来)时 J最小,这时就突出稀疏性,即将某一个变量解置为0,另外一个变量的解就是1。拓展到n个变量时,L1正则化让大部分变量解为0,这就让有效的变量的解减少,从而达到一种稀疏的目的。
             L2正则化:X12 +X22 = 1 情况下
解上述目标,由詹森不等式可知,当X1= X2时 J最小,此时为什么可以突出鲁棒性呢,我们可以理解为这就是相关于给每个变量相同的权值,不强调某一个(些)变量,考虑每个变量(即考虑全局特性),当然比较有鲁棒性。比如你L1正则化时,没有把噪点值置为0,此时由于比较稀疏,噪点对模型影响会比较大,但是L2正则化考虑每个点,对于会将噪点影响减弱(想一下求平均值),让模型“光滑化”,比较鲁棒
发表于 2019-01-11 21:33:26 回复(0)

扫一扫,把题目装进口袋

牛客网,程序员必备求职神器

扫描二维码,进入QQ群

扫描二维码,关注牛客网公众号

  • 公司地址:北京市朝阳区大屯路东金泉时代3-2708北京牛客科技有限公司
  • 联系方式:010-60728802(电话) admin@nowcoder.com
  • 牛客科技©2018 All rights reserved
  • 京ICP备14055008号-4
  • 京公网安备 11010502036488号