学习资料（讲的很细很清楚）：一个框架看懂优化算法之异同 SGD/AdaGrad/AdamAdam那么棒，为什么还对SGD念念不忘 (3)—— 优化算法的选择与使用策略(1条消息) 机器学习11种优化器推导过程详解(SGD,BGD,MBGD,Momentum,NAG,Adagrad,Adadelta,RMSprop,Adam,Nadma,Adamx)_日拱一两卒的博客-CSDN博客_机器学习优化器总结优化器的作用：更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化（或最大化）损失函数。发展路径：SGD -> SGDM -> NAG -> AdaGrad -> AdaDelta / RMSProp -> Adam -> Nadam -> AdamW发展阶段：没有动量：梯度下降<计算所有样本的梯度平均> / SGD<随机选择一个样本计算梯度> / 小批量随机梯度下降<每次处理一批样本>一阶动量（惯性）：SGDM<梯度更新方向由历史梯度更新方向和当前梯度更新方向共同决定> / NAG<假设参数先按上一轮梯度更新方向变化，再计算当前梯度更新方向> 二阶动量（自适应学习率）：AdaGrad<迄今为止所有梯度的平方和> / AdaDelta / RMSProp<只关注过去一段时间内的梯度更新频率> 一阶动量+二阶动量：Adam<SGDM+AdaDelta> / Nadam<NAG+AdaDelta> / AdamW<Adam+L2正则化>各种优化器如何选择刚入门选NAG或Adam如果模型非常稀疏，优先考虑自适应学习率的算法随机梯度下降算法的收敛速度和数据集大小的关系不大。因此，可以先用一个具有代表性的小数据集进行实验，测试一下最好的优化算法，然后通过参数搜索的方式寻找最优的训练参数。等等。BERT使用的优化器是什么？Adam相较于传统的SGD的优点是什么？（超参数一面）BERT使用的是Adam优化器。Adam结合SGDM和AdaDelta两种优化算法的优点。对梯度的一阶动量（惯性）和二阶动量（更新频率）进行综合考虑，计算出更新步长。一阶动量的优势在于他能够学习到历史梯度下降的惯性，避免受到单个样本分布的干扰，减少震荡，加快收敛；二阶动量的优势在于是自适应学习率，为参数的不同维分配不同的学习率，在模型稀疏的情况下效果很好。PS：Notion的笔记复制过来格式会变，这次就用截图吧，希望能看清楚。。。