首页 > 试题广场 >

（机器学习理论）梯度下降法求解最优化问题的原理与步骤

[问答题]
（机器学习理论）梯度下降法求解最优化问题的原理与步骤
添加回答
DengJc头像 DengJc
函数的梯度是函数上升的最大方向。 如果要对一个目标函数做最小化，每次只需将目标函数对各个parameters 做偏导，得到梯度，然后用当前parameter加上负梯度乘以一个步长进行更新。 步长太大可能跳出局部最优点。 常用的梯度下降方法有batch gd（使用全部数据计算梯度），SGD(对每个sample计算梯度)。 SGD计算更快，并且能取得不错的效果，而且有时能跳出局部最优，去explore其他更优 的极值点
发表于 2018-02-15 05:16:55 回复(0)
bexvan头像 bexvan
原理：
如果待求解问题是个凸优化的问题，那么只有一个最优解，就好像只有一个你是一致蚂蚁在碗里走动，因为只有一个碗底，你无论从那个初始点触发，只要玩下走，就会到达碗底。
如果待求解的问题不是凸优化问题，而是多极值点的问题（神经网络就是这种情形），那么就是有多个山谷，你玩下走，能走到那个山谷，具体依赖于初始位置。

步骤：
一个赋值操作：
新变量<—旧变量  - 学习率 * （优化函数对变量的求导）
发表于 2018-03-24 01:40:34 回复(0)
提交观点

问题信息

数据挖掘工程师 算法工程师 唯品会 2018
来自：唯品会2018校招数据...
上传者：小小
难度：
2条回答 3856浏览

热门推荐

相关试题

扫一扫，把题目装进口袋

求职之前，先上牛客

扫描二维码，进入QQ群

扫描二维码，关注牛客公众号