首页 > 试题广场 >

关于神经网络中经典使用的优化器，以下说法正确的是

[单选题]

相比于SGD或RMSprop等优化器，Adam的收敛效果是最好的

对于轻量级神经网络，使用Adam比使用RMSprop更合适

相比于Adam或RMSprop等优化器，SGD的收敛效果是最好的

查看正确选项

卷子清

随着梯度变的稀疏，Adam 比 RMSprop 效果会好。

整体来讲，Adam 是最好的选择。

很多论文里都会用 SGD，没有 momentum 等。SGD 虽然能达到极小值，但是比其它算法用的时间长，而且可能会被困在鞍点。

如果需要更快的收敛，或者是训练更深更复杂的神经网络，需要用一种自适应的算法。

发表于 2019-03-08 15:09:00 回复(3)

已注销

SGD通常训练时间更长，容易陷入鞍点，但是在好的初始化和学习率调度方案的情况下，结果更可靠。
如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。

发表于 2019-04-21 15:46:34 回复(0)

提交观点

问题信息

快手算法工程师 2019

上传者：小小

难度：

2条回答 33收藏 2238浏览

扫一扫，把题目装进口袋