关注
在学习率默认1e-3的情况下,batchsize取100更好,10000太大了。正常来说batchsize肯定是越大收敛速度越快,大的batchsize需要的batch数目少,1个小时就可以训练完imageNet。而且大的batchsize梯度更稳定,loss曲线更平滑。但是如果batchsize过大,会导致效果变差(大的batchsize收敛到sharp minimum, 小的batchsize收敛到flat minimum,后者泛化能力更好)。论文中目前研究batchsize超过8000之后,效果就不好了。当然如果能够增大学习率,可能10000是最优的(因为样本量也挺大的)。我觉得面试官这个题目应该多给些条件,比如学习率固定为多少?
查看原帖
1 评论
相关推荐
点赞 评论 收藏
转发
昨天 23:56
华中科技大学 土木类 点赞 评论 收藏
转发
牛客热帖
正在热议
# 牛客帮帮团来啦!有问必答 #
376449次浏览 7555人参与
# 应届生初入职场,求建议 #
21671次浏览 535人参与
# 晒一晒我的offer #
2790845次浏览 49668人参与
# 在国企工作的人,躺平了吗? #
71202次浏览 859人参与
# 简历中的项目经历要怎么写 #
377273次浏览 6352人参与
# 非技术岗薪资爆料 #
6528次浏览 132人参与
# 你更愿意参加线上面试还是线下面试? #
6247次浏览 90人参与
# 非技术薪资爆料 #
63526次浏览 954人参与
# 华为求职进展汇总 #
437576次浏览 4405人参与
# 租房前辈的忠告 #
20537次浏览 1626人参与
# 第一次面试 #
15332次浏览 236人参与
# 应届生应该先就业还是先择业 #
11886次浏览 113人参与
# 安利/避雷我的岗位 #
121917次浏览 2747人参与
# 机械人怎么评价今年的华为 #
53511次浏览 439人参与
# 谈薪时HR压价该怎么应对 #
32850次浏览 202人参与
# 通信硬件薪资爆料 #
143907次浏览 1062人参与
# 毕业租房也有小确幸 #
19678次浏览 1243人参与
# 除了offer,现在你还缺点啥? #
2488次浏览 50人参与
# 找工作,你会甘心进小厂还是猛冲大厂 #
22588次浏览 217人参与
# 来聊聊机械薪资天花板是哪家 #
20244次浏览 162人参与