人工智能:理论、算法与系统 · 第 14 课

第二周复盘:从梯度噪声到百层网络稳定性

2026 年 11 月 2 日|第 2 周复盘|约 18 分钟

前六节课分别学习了梯度下降与曲率(第 8 课)、小批量 SGD(第 9 课)、Momentum/AdamW(第 10 课)、Xavier/He 初始化(第 11 课)、BN/LN/RMSNorm(第 12 课)以及残差 Jacobian 与深度缩放(第 13 课)。

今天不再增加一个孤立的新优化算法,而是回答一个完整的问题:

训练一个 96 层 Transformer 时,为什么即使损失正确、优化器正确,模型仍可能不收敛?应该先检查什么、如何推导原因、怎样公平验证改进?

目标是形成一个从 损失 → 梯度估计 → 优化器状态 → 层内信号 → 深层 Jacobian → GPU 吞吐与验证质量 的统一诊断框架。下面所有理论等式都会注明必要假设;“在某些架构上效果更好”属于实验结论,不能由简单公式无限推广。

一、本周六节课如何连接?

flowchart TD
 A["目标 F(w):经验风险"] --> B["梯度与曲率:L-smooth / Hessian"]
 B --> C["更新:GD、SGD、Momentum、AdamW"]
 C --> D["层内传播:Xavier / He 初始化"]
 D --> E["统计尺度:BN、LN、RMSNorm"]
 E --> F["深度传播:Residual 与 Pre-Norm"]
 F --> G["验证:质量、稳定性、显存、吞吐"]
 G -. "诊断后调整并重测" .-> C

第一层:目标与更新是否合理。 训练损失、验证损失是不同对象;SGD 的梯度无偏也不等于每次训练损失都下降。

第二层:输入到每层的前向与反向尺度。 即使优化器设置合理,初始化或激活函数也可能使某些层梯度趋近于零。

第三层:大量残差块累积后的方向性稳定。 每层平均 RMS 正常,不代表端到端 Jacobian 的每个奇异值都正常。

第四层:训练完成所需的真实资源。 优化步数、消耗样本数、墙钟时间与最终验证质量必须分别报告。

二、从 GD 到 SGD:同一个下降引理,两种不同的保证

令经验目标为 (F(w)),假设它可微且具有 (L)-Lipschitz 梯度:

[ |\nabla F(u)-\nabla F(v)|\le L|u-v|. ]

由沿线段的积分和 Cauchy–Schwarz 不等式,可得下降引理:

[ F(w+\Delta)\le F(w)+\nabla F(w)^\top\Delta+\frac L2|\Delta|^2. ]

对于精确 GD,(\Delta=-\eta\nabla F(w)),于是:

[ \boxed{F(w^+)\le F(w)-\eta(1-L\eta/2)|\nabla F(w)|^2.} ]

所以在 (\nabla F(w)\ne0) 且 (0<\eta<2/L) 时,可以保证这次精确 GD 的目标下降。这并不要求凸性,但也没有保证找到非凸目标的全局最优解。

SGD 把真实梯度 (g=\nabla F(w)) 替换成随机小批量梯度 (G_B)。若给定当前参数时有放回独立均匀采样:

[ \mathbb E[G_B\mid w]=g,\qquad \mathbb E|G_B-g|^2\mid w=\frac{\sigma_w^2}{B}. ]

其中 (\sigma_w^2) 是单样本梯度向量的总方差。无放回采样会出现有限总体修正,不能随意照搬这条精确等式。

代入下降引理并取条件期望:

[ \boxed{ \mathbb E[F(w^+)\mid w] \le F(w)-\eta(1-L\eta/2)|g|^2 +\frac{L\eta^2\sigma_w^2}{2B}. } ]

推导中的关键一步是:

[ \mathbb E|G_B|^2=|\mathbb EG_B|^2+\mathbb E|G_B-\mathbb EG_B|^2. ]

系统直觉: 小 batch 计算更频繁、梯度噪声更大;大 batch 可能提高 GPU 利用率,却减少固定 epoch 内的 optimizer updates。噪声方差变小,不保证 time-to-quality 必然缩短。

若再假设 (F\ge F_{\inf}),固定 (0<\eta\le1/L) 和条件方差上界 (\sigma^2/B),对 (T) 步望远镜求和:

[ \boxed{ \frac1T\sum_{t=0}^{T-1}\mathbb E|\nabla F(w_t)|^2 \le \frac{2[F(w_0)-F_{\inf}]}{\eta T} +\frac{L\eta\sigma^2}{B}. } ]

这是对平均预期梯度范数平方的控制,不等于逐步下降、全局最优或测试误差保证。

三、Momentum 与 AdamW:为什么“更会走”不等于“保证走对”?

Heavy-ball Momentum 使用历史梯度:

[ u_{t+1}=\mu u_t+g_t,\qquad w_{t+1}=w_t-\eta u_{t+1}. ]

展开为:

[ u_{t+1}=\sum_{k=0}^{t}\mu^{t-k}g_k\quad (u_0=0). ]

对一维正定二次目标 (F(x)=\lambda x^2/2),消去动量得到:

[ x_{t+1}=(1+\mu-\eta\lambda)x_t-\mu x_{t-1}. ]

因此稳定性取决于特征方程

[ r^2-(1+\mu-\eta\lambda)r+\mu=0 ]

的根是否位于单位圆内。Momentum 会改变对不同曲率方向和噪声的响应,不是简单地“把噪声平均掉”。

Adam 使用梯度一阶与未中心化二阶矩:

[ m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\quad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2. ]

零初始化引入权重和偏差,因此修正为:

[ \widehat m_t=\frac{m_t}{1-\beta_1^t},\qquad \widehat v_t=\frac{v_t}{1-\beta_2^t}. ]

对于 AdamW,解耦的参数更新写作:

[ \boxed{ w_{t+1}=(1-\eta\lambda_{\rm wd})w_t -\eta\frac{\widehat m_t}{\sqrt{\widehat v_t}+\varepsilon}. } ]

注意 (v_t) 不是中心化方差;偏差修正也不意味着动态训练中的 (\widehat m_t) 总是当前梯度的无偏估计。AdamW 也不同于把 L2 正则梯度直接送进 Adam 的矩估计。

系统代价: 如果参数有 (P) 个,且状态均为 FP32,那么 Momentum 的一个缓存约占 (4P) bytes;Adam/AdamW 的 (m,v) 合计约 (8P) bytes。这个数字不含权重、梯度、激活和其他缓存。因此只比较训练 loss/step,可能忽略了内存与真实吞吐差异。

四、从初始化到归一化:先保平均尺度,再辨方向风险

考虑无偏置线性层 (z=Wh),假设权重独立、均值零、方差 (s^2),与输入独立,输入每坐标二阶矩为 (q)。展开平方并使交叉项消失:

[ \boxed{\mathbb E[z_i^2]=fan_{\rm in}\,s^2q.} ]

对于关于零对称的预激活,

[ \mathbb E[\operatorname{ReLU}(z)^2]=\tfrac12\mathbb E[z^2]. ]

于是经典 ReLU 前向 He 初始化选择

[ \boxed{\operatorname{Var}(W)=\frac2{fan_{\rm in}}.} ]

线性或近线性层常用的 Xavier 折中形式为

[ \boxed{\operatorname{Var}(W)=\frac2{fan_{\rm in}+fan_{\rm out}}.} ]

反向计算按 (fan_{\rm out}) 汇总梯度,所以输入与输出维度不同时,前后向的理想保幅条件一般不能同时精确满足。并且 ReLU 后的二阶矩不等于方差:因为 ReLU 输出通常有非零均值。

初始化只约束起始统计尺度。随后还常使用归一化:

算子 典型统计轴 本质边界
BatchNorm 训练时同一通道上的 batch(卷积还常包含空间轴) 样本可能相互耦合;推理通常用 running statistics
LayerNorm 每个 token 自身的特征维 (D) 与其他 batch 样本无关,但反向有特征内耦合
RMSNorm 每个 token 自身的平方均值 不减均值,因此一般不具有公共平移不变性

LayerNorm 形式:

[ \operatorname{LN}(x)_i=\gamma_i\frac{x_i-\bar x}{\sqrt{v+\varepsilon}}+\beta_i. ]

令 (z_i=(x_i-\bar x)/\sqrt{v+\varepsilon}),上游乘以缩放系数后的梯度为 (g_i),其输入梯度是:

[ \boxed{ \frac{\partial\mathcal L}{\partial x_i} =\frac1{\sqrt{v+\varepsilon}} \bigl(g_i-\overline g-z_i\overline{gz}\bigr). } ]

说明 LN backward 不只是逐元素除标准差,还要进行两次组内归约。保平均信号尺度并不意味着整个 Jacobian 奇异值接近 1。

五、残差与深度:两种缩放来自两类不同假设

对残差块

[ h_{l+1}=h_l+\alpha F_l(h_l) ]

定义 (q_l=\mathbb E|h_l|^2/d),精确展开:

[ q_{l+1}=q_l+\frac{2\alpha}{d}\mathbb E[h_l^\top F_l(h_l)] +\frac{\alpha^2}{d}\mathbb E|F_l(h_l)|^2. ]

在补充统计假设后,例如交叉项期望为零、残差分支能量为 (cq_l),可得到:

[ q_L/q_0=(1+c\alpha^2)^L. ]

取 (\alpha=1/\sqrt L) 时,得到 ((1+c/L)^L\le e^c)。这解释了均方分析中的平方根深度缩放,但不是对任意相关分支的证明。

另一方面,令 (A_l=J_{F_l}(h_l)) 且 (|A_l|_2\le K),由矩阵范数次乘性:

[ \boxed{ |J_{\rm total}|_2 \le\prod_l(1+\alpha K) =(1+\alpha K)^L \le e^{\alpha KL}. } ]

在最坏情况谱范数上界意义下,(\alpha=1/L) 才可直接得到不随深度增长的 (e^K) 上界。它并未提供最小奇异值的正下界。

Pre-Norm 与 Post-Norm 的区别可直接写为:

[ \boxed{J_{\rm pre}=I+J_FJ_N,\qquad J_{\rm post}=J_N(I+J_F).} ]

Pre-Norm 单块保留显式的 identity 导数项,但 (I+A) 仍可能抵消。例如 (F(h)=-h) 且 (\alpha=1) 时,输出恒为零,输入梯度也为零。

六、一个故障排查的完整案例

假设 96 层 Pre-Norm 模型训练中观察到:前几个 step 损失剧烈波动;前向各层 RMS 大致正常,但较浅层的梯度极小;GPU tokens/s 不低,验证损失却几乎不改善。

不应立即判定“AdamW 不好”或“一定要调大 batch”。更合理的诊断路径是:

flowchart TD
 A["训练不稳定或质量不提升"] --> B{"只在随机小批量时波动?"}
 B -->|"是"| C["控制 batch / 学习率 / 方差"]
 B -->|"否"| D["检查 full-batch 更新与 Hessian 尺度"]
 C --> E["记录梯度 RMS 与每层激活 RMS"]
 D --> E
 E --> F{"平均尺度稳定但浅层梯度异常?"}
 F -->|"是"| G["检查残差 Jacobian 增益、Norm 位置、分支缩放"]
 F -->|"否"| H["检查初始化、失活单元、数值精度"]
 G --> I["同预算多种子复现实验"]
 H --> I
 I --> J["报告验证质量、steps、samples、wall-clock"]

一个最小实验矩阵可以先固定模型、数据和硬件,分别只改变一个因素:精确 GD 与 mini-batch SGD;He 与不匹配的初始化;Pre-Norm 与 Post-Norm;不同残差缩放;SGD 与 AdamW。

需要记录三组不同信号。 前向:各层激活均值、RMS 和二阶矩;反向:各层梯度范数、更新范数,以及小模型上 Jacobian 奇异值或大模型的 JVP/VJP 方向增益;系统与质量:峰值显存、tokens/s、wall-clock、验证损失以及 time-to-quality。

做比较时必须同时说清固定的是更新次数、样本处理量,还是实际时间。哪一种优化器“更好”需要附带对应预算,不能只给一条最有利的曲线。

七、六个最重要的易错边界

直觉说法 应当替换成的严谨结论
损失每步下降,说明能泛化 训练下降与独立测试风险是两个不同问题
梯度无偏,所以每一步都下降 只对随机梯度期望有约束,损失还受曲率与噪声影响
Momentum 把噪声彻底消掉 它改变动态响应,历史噪声也会积累
He 初始化让所有梯度稳定 它主要在假设下控制平均二阶矩,不约束全部奇异值
LayerNorm 后方差严格为 1 固定 (\varepsilon>0) 时一般是 (v/(v+\varepsilon))
Pre-Norm 有 skip,所以不会梯度消失 Identity 可被其他导数项抵消,深度连乘仍可能病态

本周总原则: 优化器、初始化、归一化、残差是相互作用但并不互相替代的机制。遇到训练困难,先判断故障发生在梯度估计、参数更新、单层尺度、端到端方向,还是 GPU 系统预算。

八、四级综合自测(100 分)

本课为第二周复盘,四题覆盖不同能力:优化器机制、随机梯度数值计算、初始化与归一化边界、深度 Jacobian 综合证明与实验。首版不公开标准答案,提示不泄题。 按 80 分及以上继续、60–79 分补练、低于 60 分复习再练的规则处理后续作答。

Lv1|Momentum、AdamW 与优化保证的机制辨析(15 分|预计 2 分钟|单选题)

某非凸神经网络用小批量梯度训练,研究者考虑从 SGD 改为 Momentum 或 AdamW。下列哪项判断最严谨?

A. 小批量梯度只要无偏,每次更新后的经验损失就必然下降。

B. Adam 的二阶矩状态是中心化的梯度方差,而偏差修正保证其更新方向等于当前完整梯度。

C. Momentum 利用历史梯度改变更新动态;AdamW 将权重衰减与自适应矩估计解耦,但二者都不能无条件保证非凸全局最优。

D. 只要目标函数 L-smooth,采用 η<2/L 的任何随机梯度优化器就能保证每一步严格下降。

可选提示:区分梯度估计的期望、实际一步的损失变化,以及算法状态在参数更新中的作用。

Lv2|SGD 单步期望下降上界的数值计算(20 分|预计 4 分钟|数值题)

在固定参数 (w) 处,经验目标 (F) 为 (L=4)-smooth,(|\nabla F(w)|^2=4)。独立有放回抽样的 mini-batch 大小 (B=4),梯度估计条件无偏,且单样本梯度的总方差 (\sigma^2=8)。学习率 (\eta=0.125)。利用下降引理计算 [ -\eta(1-L\eta/2)|\nabla F(w)|^2+\frac{L\eta^2\sigma^2}{2B} ] 的数值(即 (\mathbb E[F(w^+)\mid w]-F(w)) 的一个上界)。填写十进制数,可为负。

可选提示:先单独计算梯度下降项和方差项;不要把“期望变化的上界”误读为实际变化的精确值。

Lv3|初始化与归一化统计轴的多步比较(25 分|预计 6 分钟|多选题)

某 ReLU 线性层 (fan_{\mathrm{in}}=256)、(fan_{\mathrm{out}}=1024),随后处理形状 ([B,T,D]) 的序列。初始化使用独立零均值权重,按本周的对称性与独立性近似分析;LN 定义为每个 token 沿特征维 (D) 归一化。选出所有正确陈述(多选)。

A. 该 ReLU 层若采用经典 He fan-in 前向二阶矩保幅条件,权重方差应为 (2/256)。

B. 由于 (fan_{\mathrm{in}}\ne fan_{\mathrm{out}}),Xavier 方差 (2/(256+1024)) 仍能严格同时满足前向 He fan-in 与反向 He fan-out 两种条件。

C. 该 LN 算子的归一化统计量取自当前 token 的特征,不需要同一个 batch 的其他样本才能计算。

D. RMSNorm 与 LN 一样先减均值,因此都对任意公共平移严格不变。

E. 标准 BatchNorm 训练模式一般用当前批次统计量;推理模式通常使用预先维护的 running statistics。

可选提示:先比较 fan-in、fan-out 和 ReLU 门控的系数,再检查 BN、LN、RMSNorm 分别对哪些轴求统计量。

Lv4|残差链深度缩放证明与训练稳定性实验设计(40 分|预计 15 分钟|开放题)

针对 (L) 个残差块 (h_{l+1}=h_l+\alpha F_l(h_l)),设 (q_l=\mathbb E|h_l|^2/d)。

A(12 分) 展开 (q_{l+1}) 的精确等式。在 (\mathbb E[h_l^\top F_l(h_l)]=0)、(\mathbb E|F_l(h_l)|^2/d=cq_l)((c\ge0))下推导 (q_L/q_0),并分析 (\alpha=1/\sqrt L)。

B(10 分) 令 (A_l=J_{F_l}(h_l)),假设 (|A_l|_2\le K)。推导端到端 Jacobian 的谱范数上界,并说明 (\alpha=1/L) 的作用。构造一个残差连接仍使输入梯度为零的标量反例。

C(10 分) 分别写出 Pre-Norm (y=x+F(N(x))) 和 Post-Norm (y=N(x+F(x))) 的 Jacobian,并解释为什么显式 identity 项不等于任意深度方向稳定。

D(8 分) 设计一个小型可复现实验,比较深度、初始化/残差缩放、优化器对训练稳定性的影响。说明需控制的条件、要记录的三类信号(前向、反向、系统/质量)及如何区分等 updates 与等 wall-clock 的结论。

可选提示:A 先展开平方并保留交叉项;B 用谱范数次乘性和 1+x≤e^x;C 按链式法则注意矩阵顺序;D 不要用激活 RMS 代替 Jacobian 的全部奇异值。

九、下一课预告

第 15 课|2026 年 11 月 3 日|第 3 周第 1 课:Transformer 注意力从何而来?

我们将从固定长度表示与信息瓶颈出发,推导 Query、Key、Value、缩放点积 Attention 与 Softmax 的机制,手算一个小型 Attention 矩阵,并从计算复杂度与显存访问理解 (O(T^2)) 的来源。第三周后续依次学习多头注意力、位置编码与 Transformer 整体结构。

经典理论与新研究边界: 本周涉及的下降引理、SGD 方差、Heavy-ball、Adam、Xavier/He、归一化和残差链式法则均有明确的经典定义与假设;特定大模型初始化方案、训练 recipe 和系统性能优劣必须通过对应论文或可复现实验验证,不能由本课理想化公式直接宣称普遍成立。