（问答题分"图像基础","机器学习"和"3D视觉"三个部分，

[问答题]

（问答题分"图像基础","机器学习"和"3D视觉"三个部分，请任选其中一个方向作答，多答有神秘加分）

（本题为"机器学习"部分）

使用momentum 的SGD比不使用momentum的SGD优势在哪里？

xiao_coco

SGD(随机梯度下降法)的限制：

1.会卡在局部最优的位置

2.会卡在微分值为0的位置

momentum（动量），它模拟的是物体运动的惯性。

采用momentum的SGD更新的时候，在一定程度上会保留之前的更新方向，同时利用当前的梯度微调最终更新方向。因而，采用momentum的SGD会学习的更快，且在一定程度上可以避免局部最优

发表于 2018-06-25 17:50:59 回复(0)

Sesenn

动量算法在每次更新梯度是，都会考虑上一次额梯度更新，使得梯度振荡幅度减小，使用动量的SGD能够在相关方向加速SGD，抑制振荡幅度，加快收敛。

发表于 2019-08-05 22:07:34 回复(0)

提交观点

问题信息

网易算法工程师 2018

上传者：小小

难度：

2条回答 10收藏 1441浏览

扫一扫，把题目装进口袋