关注
在学习率默认1e-3的情况下,batchsize取100更好,10000太大了。正常来说batchsize肯定是越大收敛速度越快,大的batchsize需要的batch数目少,1个小时就可以训练完imageNet。而且大的batchsize梯度更稳定,loss曲线更平滑。但是如果batchsize过大,会导致效果变差(大的batchsize收敛到sharp minimum, 小的batchsize收敛到flat minimum,后者泛化能力更好)。论文中目前研究batchsize超过8000之后,效果就不好了。当然如果能够增大学习率,可能10000是最优的(因为样本量也挺大的)。我觉得面试官这个题目应该多给些条件,比如学习率固定为多少?
查看原帖
1 评论
牛客热帖
更多
正在热议
更多
# 在大厂上班是一种什么样的体验 #
10439次浏览 131人参与
# 你认为工作的意义是什么 #
249112次浏览 1498人参与
# 程序员找工作至少要刷多少题? #
18052次浏览 246人参与
# 为了减少AI幻觉,你注入过哪些设定? #
4407次浏览 147人参与
# 我现在比当时_,你想录用我吗 #
8575次浏览 111人参与
# 机械人避雷的岗位/公司 #
43317次浏览 298人参与
# 一张图晒一下你的AI员工 #
4910次浏览 113人参与
# 论秋招对个人心气的改变 #
10580次浏览 154人参与
# 关于春招/暑期实习,你想知道哪些信息? #
7297次浏览 119人参与
# 刚入职的你踩过哪些坑 #
6676次浏览 127人参与
# AI Coding的使用心得 #
4536次浏览 101人参与
# 晒晒你司的新年福利 #
8352次浏览 104人参与
# 牛客AI体验站 #
6616次浏览 185人参与
# 12306一秒售罄,你抢到回家的票了吗? #
1890次浏览 47人参与
# 柠檬微趣工作体验 #
14762次浏览 83人参与
# 总结:哪家公司面试体验感最差 #
92947次浏览 430人参与
# 程序员能干到多少岁? #
8460次浏览 115人参与
# 你认为小厂实习有用吗? #
117991次浏览 679人参与
# 互联网公司评价 #
485509次浏览 4109人参与
# 应届生进小公司有什么影响吗 #
118242次浏览 1159人参与
查看34道真题和解析