2020-04-26 23:31
华中科技大学 算法工程师 0 点赞 评论 收藏
分享
mars.Xyr:2. 从优化角度来讲 在分类任务上使用交叉熵而非均方误差的原因主要是:
分类任务上常用的激活函数是sigmoid,如果使用均方误差的话,在使用梯度下降算法更新时,权值w的偏导会含有sigmoid函数导数项(在输出接近0和1时会非常小),导致训练阶段学习速度会变得很慢,而如果用交叉熵的话,权值w的偏导时不含sigmoid函数的导数项的(可以自己推导一下),所以不会出现这个问题。所以在分类任务上,我们一般使用交叉熵。😊

0 点赞 评论 收藏
分享
创作者周榜
更多
关注他的用户也关注了: