神经网络调节超参数的时候,有没有必要确保不同超参数的验证集结果,对应的初始化权重相同呢?如果不固定的话,感觉不同超参数对应的验证集结果差异会受到每次权重随机初始化的影响,不能完全反映是不同组超参数之间性能的好坏,这个怎么理解呢??希望能得到大家的解答。
全部评论
就算你超参数不变,每次随机初始化,训练的结果都不一样。梯度下降法相当于下山,随机初始化权重相当于随机选择起点,不同的超参数是不同的下山方法,有的超参数能帮你快速到达山谷最低点,有的则很慢。调参就是找到最快到达最低点的参数。随机初始化权重就是随机选择起点,尝试不同的路径去试探。所以我觉得不用固定初始化权重。
点赞 回复 分享
发布于 2021-03-23 14:38

相关推荐

点赞 评论 收藏
分享
06-04 09:27
门头沟学院 Java
点赞 评论 收藏
分享
06-23 17:45
门头沟学院 Java
里面的项目啥的真的有用吗? 这些人是割韭菜吗?
HellowordX:很简单,如果你有自己稳定的学习路线和获取知识的方式就没必要,如果你啥都不懂的小白或者里边有你感兴趣的知识,我觉得挺值,我也经常为知识付费,因为时间精力有限,很多东西我不可能自己重复造轮子
点赞 评论 收藏
分享
评论
1
收藏
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务