把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同

[问答题]

把 BN 讲透：原理是什么；训练期和推理期用的统计量有何不同；跟 LN、GN 比，分别什么时候用、怎么取舍。

Raymond_030927

BN在前馈传播中，深层网络的输入会随着上层的输入而漂移，此时就需要不断调整参数。BN就是强制让每层输入在Batch里就保持稳定分布，归一化。 LN是跨层独立，无依赖，适合语言推理 GN是每组独立，适合目标检测等

发表于 2026-03-14 02:50:16 回复(0)

在考古的三文鱼很糊涂

BN Batch Normalization，是为了缓解模型的内部协变量偏移问题，即上层网络给下层网络的输入一直在变化，导致下层网络难以学习的问题。训练时使用当前batch的均值方差做标准化，再进行缩放和平移；推理时用全部样本累计的滑动平均进行

发表于 2025-09-21 17:15:17 回复(0)

牛客936040679号

BN的原理是由于数据的分布成正态分布，bn先用均值为0，方差为1的正态分布函数将一批次的数据控制到0-1之间，避免的数据的连续性被破坏，BN是在图像处理中使用，LN一般是在自然语言处理中使用

发表于 2025-09-11 17:07:42 回复(0)

Jerryyyytse

let the current batch to do the normalization, (x - mean) / sd BN的原理是由于数据的分布成正态分布，bn先用均值为0，方差为1的正态分布函数将一批次的数据控制到0-1之间，避免的数据的连续性被破坏，BN是在图像处理中使用，LN一般是在自然语言处理中使用

发表于 2026-04-12 10:50:09 回复(1)

牛客499956214号

BN的原理就是在一个batch内对数据进行，标准化，首先计算均值和方差，再进行归一化，主要是为了解决内部协变量偏移问题。训练时运用当前batch的均值与方差，预测时运用全局的。BN适合于图像分类使用一般是大Batch。LN一般在自然语言处理或者时序数据、序列数据中使用；GN一般每组独立，适合目标检测一般是小Batch 。

发表于 2026-03-18 21:26:53 回复(0)