人工智能:理论、算法与系统 · 第 12 课

BatchNorm、LayerNorm 与 Pre-Norm / Post-Norm:归一化为何能帮助训练?

2026 年 10 月 31 日|第 2 周第 5 课|约 18 分钟

上一课推导了 Xavier 与 He 初始化如何控制初始信号的二阶矩。但初始化只处理训练起点:参数更新后,各层分布仍会改变;即使二阶矩近似稳定,Jacobian 的奇异值也不一定集中在 1 附近。今天从归一化的算子本身入手。

学习目标: (1) 不混淆 BN 与 LN 的统计轴;(2) 由链式法则推导 LN 的反向梯度;(3) 理解 RMSNorm 与 LayerNorm 的准确差别;(4) 写出 Pre-/Post-Norm 残差块的 Jacobian,解释它们何以改变深层训练;(5) 从批量依赖和内存访存分析系统取舍。

一、归一化究竟归一化了什么?

设需要归一化的一个向量为 $x=(x_1,\ldots,x_m)$。定义

\[\mu=\frac1m\sum_{i=1}^m x_i,\qquad v=\frac1m\sum_{i=1}^m(x_i-\mu)^2,\qquad s=\sqrt{v+\varepsilon},\]

其中 $\varepsilon>0$ 用于数值稳定,实际使用时还要考虑数据类型和实现。标准化后:

\[\widehat x_i=\frac{x_i-\mu}{s}.\]

若要恢复可学习表达能力,再做仿射变换:

\[\boxed{y_i=\gamma_i\widehat x_i+\beta_i.}\]

$\gamma$ 和 $\beta$ 是可学习的缩放、平移参数。关键不在“减均值、除标准差”这句话,而在:哪几个元素被放进同一组计算 $\mu,v$? 不同的统计轴,意味着完全不同的样本依赖、梯度耦合和推理行为。

另一个常见误区:当 $\varepsilon>0$ 时,标准化结果的组内方差为 $v/(v+\varepsilon)$,不是严格的 1。若 $v=0$,所有 $\widehat x_i=0$,输出为 $\beta_i$;不会因为方差为零而允许除以零。

二、BatchNorm:训练时样本之间为什么会相互影响?

先看一个普通全连接批次 $X\in\mathbb R^{B\times D}$。BatchNorm 通常按每个特征通道 $j$ 对批量中 $B$ 个样本求统计量:

\[\mu_j^{\rm BN}=\frac1B\sum_{b=1}^B X_{bj},\qquad v_j^{\rm BN}=\frac1B\sum_{b=1}^B(X_{bj}-\mu_j^{\rm BN})^2.\]

然后

\[Y_{bj}=\gamma_j\frac{X_{bj}-\mu_j^{\rm BN}}{\sqrt{v_j^{\rm BN}+\varepsilon}}+\beta_j.\]

如果修改样本 2 的 $X_{2j}$,它会改变该通道的 $\mu_j^{\rm BN},v_j^{\rm BN}$,从而改变样本 1 的 $Y_{1j}$。这是 BN 的跨样本耦合。

卷积 BN 往往对每通道沿 batch 和空间维计算统计量;序列数据若采用 BN,必须明确定义哪些维度参与聚合,并正确处理 padding/mask,不能假定任何 $B\times T\times D$ 实现都完全相同。

训练与推理两种行为: 标准 BN 的训练模式用当前 mini-batch 统计量,并常用动量更新 running mean/variance;在标准推理模式中通常改用已累计的 running statistics,而不是测试 batch 的均值方差。因此 BN 对 batch size 及训练/推理切换较敏感。不同框架对 running variance 的估计和动量参数约定可能不同,不能把某个框架的具体行为当作所有实现的定理。

三、LayerNorm:为什么序列模型通常更喜欢它?

对形状 $X\in\mathbb R^{B\times T\times D}$ 的序列表示,常见 LayerNorm 对每个样本的每个 token 沿最后一维 $D$ 计算统计量:

\[\mu_{bt}^{\rm LN}=\frac1D\sum_{j=1}^D X_{btj},\qquad v_{bt}^{\rm LN}=\frac1D\sum_{j=1}^D(X_{btj}-\mu_{bt}^{\rm LN})^2.\]

于是

\[Y_{btj}=\gamma_j\frac{X_{btj}-\mu_{bt}^{\rm LN}}{\sqrt{v_{bt}^{\rm LN}+\varepsilon}}+\beta_j.\]

LN 的归一化统计量只取决于当前 token 的 $D$ 个特征,不依赖其他 batch 样本,也不需要用历史 mini-batch 积累 running mean/variance。它天然支持 batch size 为 1,也适用于变长序列的逐 token 表示。

但不能由此推断“Transformer 的一个 token 完全不依赖其他 token”。注意力层仍可跨位置交换信息;这里只是 LN 算子的统计量不跨 token。

同一组数字,BN 与 LN 会产生不同输出。 设 $B=D=2,\ T=1$,关闭仿射变换($\gamma=1,\beta=0$),为手算暂取 $\varepsilon=0$,且所有相关方差非零:

\[X=\begin{bmatrix}1&3\\3&5\end{bmatrix}.\]

BN 按列统计,列均值为 $(2,4)$,列方差均为 $1$:

\[{\rm BN}(X)=\begin{bmatrix}-1&-1\\1&1\end{bmatrix}.\]

LN 按行统计,行均值为 $2,4$,行方差均为 $1$:

\[{\rm LN}(X)=\begin{bmatrix}-1&1\\-1&1\end{bmatrix}.\]

数字相同、计算公式相似,但统计轴一变,输出就不同。真实代码一般设置 $\varepsilon>0$,这些整数输出就会有微小的尺度变化。

四、为什么 LN 不只是逐元素除法?完整反传推导

考虑单个 token 的 $D$ 维向量。写成:

\[\mu=\frac1D\sum_i x_i,\quad v=\frac1D\sum_i(x_i-\mu)^2,\quad s=\sqrt{v+\varepsilon},\quad z_i=\frac{x_i-\mu}{s},\quad y_i=\gamma_i z_i+\beta_i.\]

设上游梯度 $a_i=\partial\mathcal L/\partial y_i$,记 $g_i=a_i\gamma_i$。因为 $\mu$ 与 $v$ 都取决于全部 $x_i$,一个输出坐标的梯度并非只回传给对应输入坐标。

先求微分:

\[d\mu=\frac1D\sum_i dx_i.\]

由于 $\sum_i(x_i-\mu)=0$,

\[dv=\frac2D\sum_i(x_i-\mu)dx_i,\qquad ds=\frac{dv}{2s}.\]

标准化微分:

\[dz_i=\frac{dx_i-d\mu}{s}-\frac{x_i-\mu}{s^2}\,ds.\]

将它代入 $d\mathcal L=\sum_i g_i\,dz_i$,收集每个 $dx_i$ 的系数,得到:

\[\boxed{ \frac{\partial\mathcal L}{\partial x_i} =\frac1s\left[g_i-\overline g-z_i\overline{gz}\right], \qquad \overline g=\frac1D\sum_jg_j,\quad \overline{gz}=\frac1D\sum_jg_jz_j. }\]

同时,若只看单个 token:

\[\boxed{ \frac{\partial\mathcal L}{\partial\gamma_i}=a_i z_i,\qquad \frac{\partial\mathcal L}{\partial\beta_i}=a_i. }\]

在实际序列中,$\gamma,\beta$ 往往由所有 token 共享,所以对这些参数的梯度还要跨 token 求和。

反向公式的三项是什么意思? $g_i$ 是原始上游梯度;减去 $\overline g$ 对应均值中心化的反传;再减 $z_i\overline{gz}$ 对应方差/尺度约束的反传。最后乘 $1/s$。这说明 LN 的 backward 需要归约,不是独立的 $D$ 次逐元素除法。

易错反例: 当某个 token 的特征近乎相同、$v\approx0$,$s\approx\sqrt\varepsilon$,反向中的 $1/s$ 可能很大。$\varepsilon$ 防止除零,但不代表梯度天然有界或整个网络必然稳定。

五、RMSNorm:少做一步中心化,意味着什么?

RMSNorm 用 root-mean-square 而不是减去均值后的标准差。一个常见形式是:

\[r(x)=\sqrt{\frac1D\sum_{j=1}^D x_j^2+\varepsilon},\qquad \boxed{y_i=\gamma_i\frac{x_i}{r(x)}}.\]

它通常没有 LN 中的中心化,也经常不设置单独的 $\beta$,但实现细节可能不同。

与 LN 相比,RMSNorm 不需要计算并减去均值,可降低部分约简/算术开销,适合硬件融合实现;但最终端到端速度仍依赖带宽、kernel、模型结构和 batch 形状,不能仅凭少一次归约就断言固定百分比加速。

两者一个极重要的区别是平移不变性。对所有坐标加同一常数 $c$:

\[{\rm LN}(x+c\mathbf1)={\rm LN}(x)\]

这里假设 $\gamma,\beta,\varepsilon$ 不变,且统计维度一致;等式在 $\varepsilon>0$ 时仍精确成立,因为减去的均值同步增加 $c$。而 RMSNorm 一般不满足这个等式:它没有减去均值。

尺度不变性也要看 $\varepsilon$。 对 $a>0$:

\[\frac{a(x-\mu)}{\sqrt{a^2v+\varepsilon}} \ne \frac{x-\mu}{\sqrt{v+\varepsilon}}\]

通常不严格相等。只有在 $\varepsilon=0$ 且方差非零(或 $\varepsilon$ 可忽略的近似意义下)才能说 LN 对正比例缩放不变。RMSNorm 的相应缩放性质也受 $\varepsilon$ 影响。

六、残差与归一化顺序:Pre-Norm 和 Post-Norm

设 $F$ 是一个 Transformer 子层,例如注意力或 MLP;$N$ 是 LN/RMSNorm,暂时忽略 dropout、门控及额外残差缩放。两种常见残差排列为:

Pre-Norm:

\[\boxed{y=x+F(N(x)).}\]

Post-Norm:

\[\boxed{y=N(x+F(x)).}\]

画成计算图:

flowchart TB
 subgraph PRE["Pre-Norm"]
  p["x"] --> pn["Norm N"]
  pn --> pf["子层 F"]
  pf --> pa["加法 +"]
  p --> pa
  pa --> py["y"]
 end
 subgraph POST["Post-Norm"]
  q["x"] --> qf["子层 F"]
  qf --> qa["加法 +"]
  q --> qa
  qa --> qn["Norm N"]
  qn --> qy["y"]
 end

对 Pre-Norm 应用链式法则:

\[\boxed{ J_{\rm pre} =\frac{\partial y}{\partial x} =I+J_F(N(x))J_N(x). }\]

而 Post-Norm:

\[\boxed{ J_{\rm post} =J_N(x+F(x))\left(I+J_F(x)\right). }\]

它们不是简单交换位置就没有区别。

Pre-Norm 在每个残差块内有显式 $I$ 项:即使 $F$ 的局部 Jacobian 很小,还保留一条不穿过该块 $F$ 和 $N$ 的梯度通路。Post-Norm 的加法之后还有一次归一化,来自 identity 的梯度也必须乘上 $J_N$。

这解释了为什么在很多深层 Transformer 设置中 Pre-Norm 更容易优化,也为深度扩展提供了一种设计思路。但不能推出“Pre-Norm 的整个模型 Jacobian 都是 $I$”或“Post-Norm 一定不能训练”:实际模型有多个块连乘、初始化与残差缩放、学习率 warmup、最后的归一化及其他结构细节。

七、系统视角:归一化有没有明显的计算瓶颈?

对输入 $X\in\mathbb R^{B\times T\times D}$,沿 $D$ 做 LN 的均值、方差与标准化,需要访问每个元素;计算量规模为:

\[\boxed{O(BTD).}\]

它并非 $O(BT^2)$ 的注意力矩阵计算。RMSNorm 的主要规模同样为 $O(BTD)$,只是约简内容更少。

归一化通常不像大型矩阵乘法那样有大量可复用乘加,实际 kernel 可能受到 HBM 带宽、读取/写回和归约效率限制,因此常与残差加法等操作融合以减少访存。注意 kernel 是否真正融合、是否需要保存中间值用于反向、是否使用 FP32 累积统计量,这些都会影响性能与数值误差。

为什么小 batch 对 BN 更麻烦? 对普通 $B\times D$ BN 而言,$B=1$ 时单个通道沿 batch 只有一个元素,样本方差为零,训练统计量没有有效的样本差异;某些实现会直接拒绝这种训练形状。LN 沿每个 token 的 $D$ 维特征归一化,不依赖 batch 数量;当然如果 $D=1$,它也会退化,不能说任何张量形状都毫无问题。

八、用一个实验把理论和工程连起来

取相同的 MLP 或 Transformer-like 残差网络,分别替换 BN、LN、RMSNorm。对照时固定模型宽深、数据划分、优化器、训练样本预算、随机种子集合、硬件与混合精度,并明确 BN 统计轴;因为统计维度不同,有些 BN 设计并不能直接作为完全等价替代。

分开观察:

  1. 统计与质量: 各层输出 RMS/均值、梯度 RMS、训练/验证 loss、是否出现非有限值;
  2. 依赖与数值: 改变 batch 中其他样本是否影响当前样本输出;train()/eval() 输出是否不同;低方差 token 的行为;
  3. 性能: batch size = 1、32,各种序列长度的 tokens/s、端到端延迟、归一化 kernel 时间、峰值显存,分别测 prefill/training 等适用场景。

教学伪代码(不同规范化策略需适配真实模型维度):

for norm in ["batchnorm", "layernorm", "rmsnorm"]:
    for batch_size in [1, 32]:
        for seq_len in [128, 1024]:
            model = build_controlled_model(norm)
            model.train()
            train_step_and_log_gradients(model, batch_size, seq_len)
            model.eval()
            measure_latency_throughput_memory(model, batch_size, seq_len)

特别注意:BN 的 train()/eval() 统计策略不同,应独立记录;只做 train() 比较不能替代真实推理性能报告。LN 和 RMSNorm 在常规实现中不需要 BN 那样的运行均值/方差。

九、本课的理论边界与总结

BN、LN、RMSNorm、残差和 Pre-/Post-Norm 的算子定义与链式法则属于经典机制和可直接验证的数学事实。哪种归一化在某个大模型上更快、更稳定、更好泛化,则要看训练配置、算子实现与实验数据,不是数学定义本身给出的无条件结论。

本课最应记住四句话:

  • 统计轴决定耦合方式: BN 通常跨 batch,LN 通常逐 token 跨特征。
  • 归一化的反向是有耦合的: 一个特征的梯度还要考虑整组的均值与方差。
  • RMSNorm 不中心化: 少一些统计操作,但不拥有 LN 的平移不变性。
  • 残差路径与归一化位置共同影响 Jacobian: Pre-Norm 提供显式 identity 路径,不能保证所有深度都稳定。

十、四级递进自测(总分 100)

前 3 题可客观判分,第 4 题是综合推导与实验设计。首次只给不泄题提示,不展示标准答案。 作答后逐题解释评分:80 分及以上继续,60–79 分针对性补练,低于 60 分先复习再练。

Lv1|归一化统计维度与训练/推理差异(15 分,预计 2 分钟,单选)

对于输入形状为 B×T×D 的序列模型,采用“每个 token 沿 D 个特征归一化”的 LayerNorm,以及“训练时按 batch 维估计特征统计量”的 BatchNorm。下列哪项最准确?

A. 单独执行这些归一化算子时,训练模式 BN 的样本输出可能依赖同批其他样本;LN 的归一化统计量只依赖该 token 自身的 D 维特征。

B. LN 的均值和方差必须跨 batch 估计,因此 batch size 为 1 时无法使用。

C. 标准 BN 在训练和推理阶段始终使用当前 batch 的统计量,因此无需运行均值、运行方差。

D. 只要把 Transformer 改成 Pre-Norm,无论残差分支参数怎样变化,端到端 Jacobian 的全部奇异值都必为 1。

提示:先区分“统计量沿哪个维度算”与“整个网络是否包含注意力等跨 token 计算”;再比较 BN 的训练模式和标准推理模式。

Lv2|LayerNorm 的前向数值计算(20 分,预计 4 分钟,数值)

对单个 token 的向量 x=(2,4,6) 做 LayerNorm。使用总体方差 v=(1/3)Σᵢ(xᵢ−μ)²,令 ε=0、γ=(1,1,3)、β=(0,0,1)。计算第三个输出坐标 y₃=γ₃(x₃−μ)/√v+β₃,填写小数(至少保留 4 位)。

提示:先算三个分量的平均值,再用 1/3 而不是 1/2 算方差;最后别忘了第三坐标的 γ、β。

Lv3|复杂度、Jacobian 路径及归一化不变性边界(25 分,预计 6 分钟,多选)

输入为 B×T×D,F 表示可微残差分支,N 表示归一化;忽略 dropout 等额外操作。关于常见 LayerNorm、RMSNorm 和 Pre-/Post-Norm,选择所有正确项。

A. 每个 token 沿 D 维执行 LN 时,计算均值、方差和逐元素标准化的算术复杂度为 O(BTD),不因 LN 算子本身引入跨 token 的二次复杂度。

B. 对 Pre-Norm 块 y=x+F(N(x)),其 Jacobian 是 J=I+J_F(N(x))J_N(x),因此具有一条显式的单位映射导数路径。

C. 对 Post-Norm 块 y=N(x+F(x)),其 Jacobian 总是 I+J_F(x)J_N(x),与 Pre-Norm 完全相同。

D. 标准 RMSNorm 对任意常数平移 x↦x+c·1 严格不变,因为它也会减去均值。

E. 只要 ε>0,LN 在任意正尺度缩放 x↦ax(a>0)下仍严格保持输出不变,不需要其他条件。

F. 标准 BN 的推理模式使用固定 running statistics 时,一条样本的归一化输出不会因同 batch 的其他样本数值改变而改变。

提示:分别写出 LN 的统计量循环量级、两种残差块的链式法则,以及 RMSNorm 有无中心化;注意 ε 是否破坏精确尺度不变性。

Lv4|LayerNorm 反传推导、残差拓扑与公平实验设计(40 分,预计 15 分钟,开放题)

综合研究题(40 分)。A(12 分):对一个 D 维 token,令 μ=(1/D)Σxᵢ,v=(1/D)Σ(xᵢ−μ)²,s=√(v+ε),zᵢ=(xᵢ−μ)/s,yᵢ=γᵢzᵢ+βᵢ。设上游梯度 aᵢ=∂L/∂yᵢ、gᵢ=aᵢγᵢ,推导 ∂L/∂xᵢ 的简化表达,并写出 ∂L/∂γᵢ、∂L/∂βᵢ(单 token)。 B(10 分):分别写出 Pre-Norm y=x+F(N(x)) 与 Post-Norm y=N(x+F(x)) 的 Jacobian,解释为什么 Pre-Norm 有显式 identity 梯度路径,但不能保证整个深网络梯度永不爆炸/消失。 C(10 分):设计一个对照实验,比较 BN、LN、RMSNorm 在 batch size=1/32、不同序列长度 T 下的训练/推理表现;说明哪些变量必须固定,哪些指标要记录,并解释为何 BN 的训练与推理模式必须分开测。 D(8 分):利用 x=(1,3)、ε=1、γ=(1,1)、β=(0,0) 举出“LN 对正比例放大总是精确不变”的反例。计算 LN(x) 与 LN(2x),指出在 ε→0 且非零方差时如何变化。

提示:A 从 dx−dμ 和 ds=dv/(2s) 出发收集上游梯度;B 用链式法则观察 I 在哪里;C 区分精度、吞吐、显存、数值稳定性与统计量来源;D 注意 √(v+ε)。

十一、下一课预告

第 13 课|2026 年 11 月 1 日:残差网络的梯度动力学、Pre-Norm 深度稳定性与残差缩放。 进一步用链式法则研究多层残差块的 Jacobian 连乘,讨论训练深层网络时如何初始化/缩放残差分支,并与 Transformer 结构连接;下一天仍是第 2 周的新知识课,第 14 课才是周复盘。