首页
题库
面试
求职
学习
竞赛
More+
所有博客
搜索面经/职位/试题/公司
搜索
我要招人
去企业版
登录 / 注册
首页
>
试题广场
>
Batch Normalization层原理,作用
[问答题]
Batch Normalization
层原理,作用
添加笔记
求解答(0)
邀请回答
收藏(21)
分享
纠错
2个回答
添加回答
5
pein531
1. BN概念
传统的神经网络,只是在将样本x输入输入层之前对x进行标准化处理,以降低样本间的差异性。BN是在此基础上,不仅仅只对输入层的输入数据x进行标准化,还对每个隐藏层的输入进行标准化。
2. Covariate Shift问题
Convariate shift是BN论文作者提出来的概念,指的是具有不同分布的输入值对深度网络学习的影响。当神经网络的输入值的分布不同时,我们可以理解为输入特征值的scale差异较大,与权重进行矩阵相乘后,会产生一些偏离较大地差异值;而深度学习网络需要通过训练不断更新完善,那么差异值产生的些许变化都会深深影响后层,偏离越大表现越为明显;因此,对于反向传播来说,这些现象都会导致梯度发散,从而需要更多的训练步骤来抵消scale不同带来的影响,也就是说,这种分布不一致将减缓训练速度。
而BN的作用就是将这些输入值进行标准化,降低scale的差异至同一个范围内。这样做的好处在于一方面提高梯度的收敛程度,
加快模型的训练速度
;另一方面使得每一层可以尽量面对同一特征分布的输入值,减少了变化带来的不确定性,也降低了对后层网路的影响,各层网路变得相对独立,
缓解了训练中的梯度消失问题
。
3. BN的作用
(1) 缓解DNN训练中的梯度消失问题
(2) 加快模型的训练速度
发表于 2021-01-15 10:32:37
回复(0)
0
水上漂
<p>极快速度,剃度消失</p>
发表于 2021-01-17 23:35:12
回复(0)
这道题你会答吗?花几分钟告诉大家答案吧!
提交观点
问题信息
算法工程师
阅文集团
2021
来自:
2021届阅文机器学习...
上传者:
小小
难度:
2条回答
21收藏
1227浏览
热门推荐
相关试题
有三个企业的年利润额分别是5000...
数据分析师
途虎
2021
评论
(10)
来自
途虎养车2021秋招数据...
下面描述中,符合结构化程序设计风格...
搜狐
Java工程师
C++工程师
iOS工程师
安卓工程师
运维工程师
前端工程师
算法工程师
PHP工程师
2018
评论
(1)
五月份的商品销售额为60万元,该月...
数据分析师
途虎
2021
评论
(2)
来自
途虎养车2021秋招数据...
请简介word2vec的原理,以及...
算法工程师
阅文集团
2021
评论
(1)
来自
2021届阅文机器学习方...
请简述生成式模型与判别式模型的区别...
算法工程师
阅文集团
2021
评论
(1)
来自
2021届阅文机器学习方...
扫描二维码,关注牛客网
意见反馈
下载牛客APP,随时随地刷题