人工智能:理论、算法与系统 · 第 13 课
残差网络的梯度动力学:深度缩放、零初始化与 Pre-Norm 稳定性
2026 年 11 月 1 日|第 2 周第 6 课|约 18 分钟
上一课得到 Pre-Norm 单块的 Jacobian 为 (I+J_FJ_N)。但有一条 identity 路径,不等于整个深层网络的梯度永远稳定。今天研究深度真正带来的困难:很多接近单位阵的 Jacobian 连乘,究竟会怎样?
学习目标: 推导残差网络的端到端 Jacobian;区分“平均信号能量稳定”与“每个方向都稳定”;解释 (1/\sqrt L)、(1/L) 两种深度缩放出现的不同前提;理解零初始化残差分支的梯度代价;把这些结论应用到 Transformer 的 Pre-Norm 结构与可复现实验。
一、残差连接为什么提供直接梯度路径?
定义第 (l) 个残差块:
\[h_{l+1}=h_l+\alpha_l F_l(h_l),\]其中 (\alpha_l\ge0) 为残差分支尺度,(F_l) 可以是 MLP 或 Attention 子层。令 (A_l=J_{F_l}(h_l)),即分支对输入的 Jacobian。由链式法则,
\[\boxed{J_l=\frac{\partial h_{l+1}}{\partial h_l}=I+\alpha_l A_l.}\]假设有 (L) 个块。按函数复合顺序,整个网络的 Jacobian 是
\[\boxed{J_{\mathrm{total}}=J_{L-1}J_{L-2}\cdots J_0 =\prod_{l=L-1}^{0}(I+\alpha_l A_l).}\]这里的矩阵乘法不能随意交换次序。给定最终损失 (\mathcal L),反向梯度为
\[\boxed{\nabla_{h_0}\mathcal L=J_{\mathrm{total}}^\top\nabla_{h_L}\mathcal L.}\]对两层展开:
\[(I+\alpha_1A_1)(I+\alpha_0A_0) =I+\alpha_0A_0+\alpha_1A_1+\alpha_1\alpha_0A_1A_0.\]式子确实包含完全不经过残差分支的 (I) 项;但其他项可能与它相加抵消,因此不能得出“总梯度至少保留原大小”的结论。
反例: 取一维 (F(h)=-h)、(\alpha=1),则 (h^+=h-h=0),虽然存在 skip connection,但单块 Jacobian 为 (1-1=0)。梯度无法传回输入。残差连接提供的是一条代数路径,不是梯度下界。
二、数值例子:微小的单层偏差为什么会指数累积?
考虑每层同样的标量分支 (F_l(h)=ah),且 (\alpha_l=\alpha)。那么
\[h_L=(1+\alpha a)^Lh_0,\qquad \frac{\mathrm dh_L}{\mathrm dh_0}=(1+\alpha a)^L.\]取 (L=20,\alpha=0.1)。当 (a=0.5) 时,导数为 (1.05^{20}\approx2.653),梯度可能放大;当 (a=-0.5) 时,导数为 (0.95^{20}\approx0.358),梯度可能衰减。两个分支的单层偏离都只有 5%,但深度让差异持续累积。
它还说明:即使每个 (J_l) 都靠近 (I),也不能仅凭“靠近”二字判断乘积的尺度;需要定量考虑距离单位阵有多近、以及共有多少层。
三、平均信号能量:为什么经常出现 (1/\sqrt L)?
现在令每层隐状态为 (d) 维,并定义每坐标平均二阶矩
\[q_l=\frac1d\mathbb E\|h_l\|_2^2.\]为了聚焦机制,先令 (\alpha_l=\alpha),展开残差更新的平方:
\[\begin{aligned} q_{l+1} &=\frac1d\mathbb E\|h_l+\alpha F_l(h_l)\|^2\\ &=q_l+\frac{2\alpha}{d}\mathbb E[h_l^\top F_l(h_l)] +\frac{\alpha^2}{d}\mathbb E\|F_l(h_l)\|^2. \end{aligned}\]这一步是精确恒等式。 若额外假设残差分支与输入的内积期望为零(交叉项为零),以及分支能量满足
\[\frac1d\mathbb E\|F_l(h_l)\|^2=cq_l,\quad c\ge0,\]则得到理想化递推
\[\boxed{q_{l+1}=(1+c\alpha^2)q_l,\qquad \frac{q_L}{q_0}=(1+c\alpha^2)^L.}\]若 (\alpha=1) 且 (c>0),右侧随 (L) 指数增长。若 (\alpha=1/\sqrt L),则
\[\frac{q_L}{q_0}=\left(1+\frac cL\right)^L\le e^c,\]并在 (L) 增大时趋近 (e^c)。所以在交叉项抵消、分支能量按上述形式增长的均方分析里,(1/\sqrt L) 是合理的深度尺度。
例如 (L=100,c=1):不缩放的理想化增益为 (2^{100});取 (\alpha=0.1) 后为 (1.01^{100}\approx2.705)。这只是模型化的初始化统计预测,不应直接当成真实 Transformer 的激活测量结果。
关键反例: 若 (F_l(h_l)=ch_l),那么交叉项不为零,真实递推变为
\[q_{l+1}=(1+\alpha c)^2q_l.\]对固定正 (c),取 (\alpha=1/\sqrt L) 时,总增益 ((1+c/\sqrt L)^{2L}) 仍随深度增加而增长。由此可见 (1/\sqrt L) 绝不是对任意对齐分支的稳定性保证。
四、最坏情况 Jacobian:为什么还会出现 (1/L)?
现在不假设随机抵消,只假设任意层的分支 Jacobian 满足谱范数界:
\[\|A_l\|_2\le K.\]利用矩阵范数的次乘性和三角不等式:
\[\begin{aligned} \|J_{\mathrm{total}}\|_2 &\le\prod_{l=0}^{L-1}\|I+\alpha_l A_l\|_2\\ &\le\prod_{l=0}^{L-1}(1+\alpha_l K)\\ &\le\exp\left(K\sum_{l=0}^{L-1}\alpha_l\right). \end{aligned}\]最后一步用了 (1+x\le e^x)((x\ge0))。
若所有层取 (\alpha_l=c/L),则有一个与深度无关的上界:
\[\boxed{\|J_{\mathrm{total}}\|_2\le e^{Kc}.}\]反过来,若 (\alpha_l=c/\sqrt L),这个保守上界是 (e^{Kc\sqrt L}),随深度增长。均方稳定与任意方向最坏情况稳定,所需要的假设不同,不能混为一谈。
还要强调:上界不是下界。 上述式子只阻止推导中的最大奇异值无界增长,并不自动说明最小奇异值远离零。如果每层都满足 (\alpha_lK<1),可另用
\[\sigma_{\min}(I+\alpha_l A_l)\ge1-\alpha_lK\]推导乘积的相应下界;没有这个条件就可能出现之前的完全抵消反例。
五、Pre-Norm、Post-Norm 与深层 Transformer
对于 Pre-Norm 残差子层:
\[h_{l+1}=h_l+\alpha_l F_l(N_l(h_l)),\]对应
\[\boxed{J_l^{\mathrm{pre}}=I+\alpha_l J_{F_l}J_{N_l}.}\]对于 Post-Norm:
\[h_{l+1}=N_l(h_l+\alpha_lF_l(h_l)),\]对应
\[\boxed{J_l^{\mathrm{post}}=J_{N_l}(I+\alpha_lJ_{F_l}).}\]Pre-Norm 单块的显式 identity 项不穿过归一化 Jacobian;Post-Norm 的残差加法结果仍通过 (J_N)。但 Pre-Norm 的整体网络依然由许多矩阵连乘;最后若还有输出 Norm,最终损失梯度也要穿过它。因此“Pre-Norm 有直接路径”不等于“任意深度都自动稳定”。
Transformer 一层往往包含两次残差更新,可写成
\[u_l=h_l+\alpha_A\,\mathrm{Attn}(N_A(h_l)),\qquad h_{l+1}=u_l+\alpha_M\,\mathrm{MLP}(N_M(u_l)).\]因此讨论“网络深度缩放”时要说清 (L) 是 Transformer 层数还是残差子层数。如果每层有两个分支,两者并不相同。
flowchart TD
A["输入 h_l"] --> B["Pre-Norm N"]
B --> C["Attention / MLP 分支 F"]
C --> D["分支缩放 α"]
A --> E["Identity 直通"]
D --> F["相加得到 h_(l+1)"]
E --> F
F --> G["多层相乘:Π(I+αA_l)"]
G --> H{"分析目标"}
H --> I["均方能量:可能用 1/√L"]
H --> J["最坏 Jacobian 上界:可用 1/L"]
六、零初始化残差分支:起点是恒等映射,有什么代价?
令某残差分支为
\[F(x)=W_{\mathrm{out}}\,\phi(W_{\mathrm{in}}x)\]并将最后投影初始化为 (W_{\mathrm{out}}=0)。那么在初始时刻
\[F(x)=0,\qquad J_F(x)=0,\qquad h^+=h.\]所以该残差块一开始是精确 identity(忽略其他非残差操作)。这能避免初始化时残差分支立刻大幅改变主干信号。
但梯度也有代价。设 (a=\phi(W_{\mathrm{in}}x)),上游梯度为 (g),则
\[\frac{\partial\mathcal L}{\partial W_{\mathrm{out}}}=g\,a^\top, \qquad \frac{\partial\mathcal L}{\partial W_{\mathrm{in}}} \propto W_{\mathrm{out}}^\top g.\]因此当 (W_{\mathrm{out}}=0) 时,最后投影可能立即收到非零梯度,而它之前的分支层在第一次反传中通常收到零梯度。训练更新最后投影后,内部层才可能逐渐得到梯度。这里并不表示网络所有参数都被冻结。
另一个做法是设置小的非零残差缩放 (\alpha_l),或者使用随深度调整的初始化。它们的共同目标是控制分支对主干的初始扰动,但会改变优化初期的有效更新规模;不能只看初始化稳定性就断言最终质量更好。
七、连续深度视角:残差块像数值积分
若令同一向量场 (f(h,t)) 在深度方向平滑变化,并采用
\[h_{l+1}=h_l+\Delta t\, f(h_l,t_l),\quad \Delta t=1/L,\]那么这与常微分方程
\[\frac{\mathrm dh}{\mathrm dt}=f(h,t)\]的显式 Euler 离散形式相同。这个视角帮助理解为何 (1/L) 缩放可把深度变化控制在有限“时间”区间内。
但标准 Transformer 不一定满足共享向量场、平滑性、足够小离散误差等要求;残差网络长得像 Euler 步,并不自动意味着它就是收敛的神经 ODE。
八、训练与系统实验:怎样区分三类稳定性?
可在同一 Pre-Norm 网络中比较残差子层数 (L=24) 与 (L=96),以及 (\alpha=1)、(\alpha=1/\sqrt L)、(\alpha=1/L)、最后投影零初始化四种设置。固定数据划分、参数维度、初始随机种子、优化器、精度与实验预算;如改变深度导致参数量变化,应额外报告这种混杂因素。
在训练前后按层记录:
- 前向: 每层 (|h_l|_2^2/d)、均值与 RMS,检查是否存在随深度增大的能量漂移。
- 反向: (|\partial\mathcal L/\partial h_l|_2)、更新量与 NaN/Inf,检查实际损失梯度。
- 方向性: 用 JVP/VJP 或小模型精确 SVD 检查 Jacobian 的最大、最小奇异值;不能由激活 RMS 代替。
- 质量与系统: 验证损失、达到指定质量的墙钟时间、峰值显存、tokens/s;分开报告等 steps、等样本数、等时间的对照。
教学伪代码(展示实验结构,不是可直接运行的框架代码):
for depth in [24, 96]:
for scheme in ["alpha_1", "alpha_sqrt", "alpha_linear", "zero_out"]:
model = build_prenorm_model(depth=depth, seed=0)
initialize_residual_branches(model, scheme)
record_layer_activation_rms(model, fixed_batch)
record_hidden_gradient_norms(model, fixed_batch)
estimate_jacobian_gains(model, fixed_batch)
train_with_logged_steps_and_walltime(model)
evaluate_on_heldout_validation(model)
如何判断? 若激活 RMS 稳定但最小奇异值很小,说明平均能量稳定没有阻止某些方向消失;若训练起点是恒等映射但前几步更新很慢,应检查零初始化是否延迟了分支内部学习;若一种缩放方案收敛得更快,也要排除它只是使用了更有利的学习率或训练预算。
九、易错反例与结论
| 容易误解的说法 | 更准确的结论 |
|---|---|
| 有 skip,梯度必然不消失 | (I+A) 仍可能被抵消,矩阵乘积也可能压缩方向 |
| 残差都该用 (1/\sqrt L) | 该尺度依赖交叉项抵消等均方假设;不是任意方向的最坏保证 |
| 用 (1/L) 就一定训练最好 | 它有助于保守的谱范数上界,但可能让初期分支更新过小 |
| 零初始化会使整个网络无法训练 | 最后投影通常仍能更新,内部层可能有首步梯度延迟 |
| Pre-Norm 保证任意深度稳定 | 它提供有利的单块梯度路径,并非对端到端谱的无条件保证 |
本课的链式法则、矩阵范数不等式与 Euler 关系是经典数学事实;各种残差缩放、零初始化和架构取舍的实际模型表现则依赖结构、训练策略与实验。不要把理想化均方模型当成对真实大模型的测量结论。
十、四级递进自测(100 分)
首次授课仅给提示,不展示正确答案。 前三题客观判分;第四题按推导和实验方案评分。答题后逐题讲解;80 分及以上继续,60–79 分针对性补练,低于 60 分复习再练。
Lv1|Pre-Norm 与梯度路径的机制边界(15 分|预计 2 分钟|单选)
对于可微的 Pre-Norm 残差子层 y=x+F(N(x)),以下哪一项最准确?
A. 因存在 skip,端到端 Jacobian 的每个奇异值都至少为 1。
B. Pre-Norm 的 Jacobian 总是 J_N(I+J_F),因此直通路径必须经过归一化。
C. 单块 Jacobian 具有显式 I 项,但分支导数可能抵消它,多块 Jacobian 连乘也可能导致方向性放大或衰减。
D. 只要有残差,初始化、残差分支尺度和学习率对深层稳定性就不再重要。
可选提示:分别写出单块的链式法则,再想想 I 与其他矩阵相加是否保证最小奇异值大于零。
Lv2|残差链的 Jacobian 数值计算(20 分|预计 4 分钟|数值题)
四个一维残差层依次满足 (h_{l+1}=h_l+\alpha F_l(h_l)),其中 (\alpha=0.25),(F_l(h)=k_lh),四层的 (k_l) 依次为 (1,-1,2,0)。求整体输入输出 Jacobian (J=\mathrm dh_4/\mathrm dh_0),填写十进制数。
可选提示:先把每一层写成 h_(l+1)=(1+α k_l)h_l,再用链式法则相乘;不要把四个系数相加。
Lv3|均方深度缩放、谱范数边界与零初始化(25 分|预计 6 分钟|多选)
考虑 (L) 个残差子层 (h_{l+1}=h_l+\alpha F_l(h_l)),(q_l=\mathbb E|h_l|^2/d)。以下哪些陈述正确?(多选)
A. 若 (\mathbb E[h_l^\top F_l(h_l)]=0),且 (\mathbb E|F_l(h_l)|^2/d=cq_l),则 (q_{l+1}=(1+c\alpha^2)q_l)。
B. 在上述假设、(c\ge0)、(\alpha=1/\sqrt L) 下,(q_L/q_0=(1+c/L)^L\le e^c)。
C. 若每层 (|J_{F_l}|2\le K),且 (\alpha=1/L),则 (|J{\mathrm{total}}|_2\le e^K)。
D. 若残差分支最后一个线性投影权重初始化为零,则分支内部所有更早层在第一次反向传播时必然获得非零梯度。
E. 仅知道每层 (|J_{F_l}|_2\le K),采用 (\alpha=1/\sqrt L) 就必然得到与深度无关的最坏情况 Jacobian 范数上界。
可选提示:先展开平方范数,检查交叉项;然后用 1+x≤e^x;最后区分“均方抵消假设”和“方向完全对齐的最坏情况”。
Lv4|深层 Jacobian 与均方递推证明、对照实验(40 分|预计 15 分钟|开放题)
综合推导与实验设计(40 分)。A(10 分):对 (h_{l+1}=h_l+\alpha_lF_l(h_l)) 推导单块及 (L) 块的 Jacobian,并构造一个有 skip、但输入梯度可以为零的标量反例。B(12 分):令 (q_l=\mathbb E|h_l|^2/d),完整展开 (q_{l+1});在交叉项期望为零、残差分支能量为 (cq_l) 的假设下,分析固定 (\alpha) 与 (\alpha=1/\sqrt L) 时的深度依赖,并指出一种假设失效的反例。C(10 分):假设各层 (|J_{F_l}|_2\le K),推导恒定非负 (\alpha) 的端到端 Jacobian 谱范数上界,解释 (\alpha=1/L) 与 (\alpha=1/\sqrt L) 在最坏情况保证上的差别。D(8 分):针对 24 层和 96 层 Pre-Norm 网络设计残差缩放/零初始化对照实验,说明前向、反向、方向性与验证性能应分别测什么,以及必须控制哪些变量。
可选提示:A 用链式法则并注意矩阵乘法顺序;B 不要漏掉交叉项;C 用次乘性和 1+x≤e^x;D 把激活 RMS、实际梯度和 Jacobian 奇异值分开。
十一、下一课预告
第 14 课|2026 年 11 月 2 日|第 2 周复盘。 将 SGD 方差、动量与 Adam、Xavier/He 初始化、BN/LN/RMSNorm、Pre-/Post-Norm 和残差 Jacobian 串成一条完整的深度学习训练稳定性知识链。复盘后进入第三周 Transformer 与注意力专题。