首页 > 试题广场 >

L1不可导的时候该怎么办

[问答题]

L1不可导的时候该怎么办

查看答案及解析
添加回答
和峰峰一起编程头像 和峰峰一起编程

当目标函数不可导时，loss不会再下降。使用的方法为坐标轴下降法，对于有m个特征的目标函数，可以先固定m-1个特征，只对其中一个特征求局部最优解，避免不可导的问题

编辑于 2019-07-20 08:07:07 回复(0)
Leeguohui头像 Leeguohui

L1不可导，说明不能使用梯度下降的方法，我们可以使用坐标下降法，假设有m个参数，先固定m-1个参数，然后优化最后一个参数到最优，再调整第二个参数

发表于 2019-10-29 23:54:21 回复(0)
Better-M头像 Better-M
为什么是上界结果呢?
发表于 2019-04-09 10:40:27 回复(0)
上善若风头像 上善若风
<p>使用平滑L1</p>
发表于 2021-04-05 12:39:41 回复(0)
龙小川头像 龙小川

使用坐标轴下降法。假如有m个参数需要更新，那么固定m-1个参数，更新另外一个。

使用approximal algorithm

编辑于 2019-09-03 20:52:51 回复(0)
death&love&robot头像 death&love&robot
用proximal gradient descent 方法从目标函数展开泰勒公式
发表于 2019-07-18 12:40:02 回复(0)
hhjudbi头像 hhjudbi
https://www.zhihu.com/question/38426074
发表于 2019-04-18 15:43:13 回复(0)
牛客878327618号头像 牛客878327618号
proximal gradient descent
发表于 2021-03-09 09:59:01 回复(0)
kry525头像 kry525
当L1不可导说明梯度下降无效，采用其他非梯度下降法即坐标下降法，主要步骤首先假设有m个特征先固定m-1个特征参数 ，在调整最后一个的参数，重复类推
发表于 2021-06-20 00:42:44 回复(0)
F-newcoder头像 F-newcoder
计算机中极小概率会得到真实0.0，不是多一点就是少一点，不会不可导
发表于 2021-06-12 21:06:08 回复(0)
低调小学生来了头像 低调小学生来了
使用非梯度算法吧，坐标下降算法。
发表于 2021-01-31 20:57:52 回复(0)
阿达里西头像 阿达里西
smoon l1
发表于 2020-09-27 23:20:27 回复(0)
牛客575015095号头像 牛客575015095号
<p>坐标轴下降法</p>
发表于 2020-08-28 06:58:59 回复(0)
Synge头像 Synge
<p>使用平滑L1</p>
发表于 2020-06-23 18:34:10 回复(0)
牛客732803708号头像 牛客732803708号
<p>利用smooth L1代替L1，可以吗？</p>
发表于 2020-04-23 09:08:30 回复(0)
牛客487106736号头像 牛客487106736号

当损失函数不可导的时候，梯度无法下降，可采用坐标轴下降法。梯度下降法是沿着梯度负方向进行迭代更新，坐标轴下降法是沿着坐标轴进行的。

发表于 2020-04-19 09:32:04 回复(0)
Crzsy201903182303577头像 Crzsy201903182303577

使用近端下降法

发表于 2020-03-29 01:18:40 回复(0)
牛客471305338号头像 牛客471305338号

一般对于L1norm，其不可导在原点处，好像是取正半轴一样的梯度？固定其余参数，对单一变量优化，以此来优化其余参数


发表于 2020-01-31 02:30:12 回复(0)
未20191022094704头像 未20191022094704

损失函数不可导，梯度不再下降，可以采用坐标轴下降法

发表于 2020-01-06 09:36:03 回复(0)
没有奇迹头像 没有奇迹
                           
            
                
                    
                        

参考回答:当损失函数不可导,梯度下降不再有效,可以使用坐标轴下降法,梯度下降是沿着 当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向,假设有 m 个特征个数, 坐标轴下降法进参数更新的时候,先固定 m-1 个值,然后再求另外一个的局部最优解,从而避免损 失函数不可导问题。

                        

使用 Proximal Algorithm 对 L1 进行求解,此方法是去优化损失函数上界结果。

                    
                
            
        
发表于 2019-10-07 17:49:57 回复(0)
提交观点

问题信息

上传者：小小
难度：
24条回答 6728浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号