<p>梯度下降算法</p>计算loss的梯度，使参数向梯度负方向移动，直到最优。
<p>牛顿法</p>考虑了loss的二阶导，即梯度的变化趋势，可以更全面的确定搜索方向，具有二阶的收敛速度。
<p>随机梯度下降算法</p>随机选取一个样本来计算梯度，计算速度快，但可能不收敛，因为一个样本的梯度可能并不是真正的梯度。
<p>mini batch梯度下降算法</p>选取小批量样本计算梯度，即考虑了计算速度也考虑了收敛问题。
<p>动量梯度下降</p>在梯度更新项加一个原来梯度的动量项，使其保持一定的移动惯性，从而冲出局部极小点，还可克服线路震荡，加快收敛。
<p>NAG</p>在动量梯度下降基础上，其梯度计算，从原x点处改为从x点按惯性前进一步处计算，在每一步都多走一小步，有时可加快收敛。
<p>步长优化</p>随着迭代次数增加使步长越来越小，可以防止其在极值点处震荡。
Adam：结合了步长优化和NAG
发表于 2021-06-14 22:54:52
回复(0)
<p>梯度下降算法</p><p>牛顿法</p><p>随机梯度下降算法</p><p>mini batch梯度下降算法</p><p>动量梯度下降</p><p>RMSprop</p><p>Adam</p>
发表于 2021-01-20 21:52:27
回复(0)
问题信息
-
扫描二维码，关注牛客网
- 意见反馈
-
下载牛客APP，随时随地刷题
扫一扫，把题目装进口袋
- 求职之前，先上牛客
-
扫描二维码，进入QQ群
扫描二维码，关注牛客公众号
- 公司地址：北京市朝阳区北苑路北美国际商务中心K1座一层-北京牛客科技有限公司
- 联系方式：010-60728802 投诉举报电话：010-57596212（朝阳人力社保局）
- 牛客科技© All rights reserved admin@nowcoder.com
- 京ICP备14055008号-4 增值电信业务经营许可证 营业执照 人力资源服务许可证
-
京公网安备
11010502036488号
