人工智能:理论、算法与系统 · 第 11 课

初始化、梯度传播与信号方差:为什么深层网络难训练?

2026 年 10 月 30 日|第 2 周第 4 课|约 18 分钟

上一课讨论 Momentum、Nesterov、Adam/AdamW 怎样改变参数更新。但是即使优化器完全正确,如果深层网络在初始化时已经使信号或梯度缩小到近乎零,训练仍会困难。今天从最简单的全连接层逐步推导 Xavier 和 He 初始化,解释它们为何不是“魔法公式”。

学习目标: 能推导前向二阶矩 $q_l$ 和反向梯度规模的逐层递推;掌握 Xavier 与 He 的适用假设;清楚区分二阶矩 $E[h^2]$、方差 $\operatorname{Var}(h)$ 和网络 Jacobian 的奇异值;知道残差与归一化能解决什么、不能保证什么。

一、信号是怎样穿过深层网络的?

考虑第 $l$ 层:

\[z^{(l)}=W^{(l)}h^{(l-1)}+b^{(l)},\qquad h^{(l)}=\phi(z^{(l)}).\]

设输入维度 $n_{\rm in}$,输出维度 $n_{\rm out}$。先做如下初始化时的理想化假设:

  1. 偏置为 0,权重 $W_{ij}$ 相互独立、均值为 0、方差为 $s^2$;
  2. 本层权重与输入 $h$ 独立,各输入坐标具有相同二阶矩 $q=E[h_j^2]$;
  3. 分析 ReLU 时,预激活 $z_i$ 关于 0 对称(例如独立对称权重的情况);
  4. 讨论反向传播的平均尺度时,还要采用梯度、权重和激活门控近似独立的 mean-field 假设。

这些假设不意味着实际训练过程中永久成立,更不意味着所有网络宽度都足够大。

为什么从二阶矩入手?我们想跟踪一个典型坐标的信号能量:

\[q_l=E[(h_i^{(l)})^2].\]

注意:若 $E[h_i]\ne0$,则 $q_l\ne\operatorname{Var}(h_i)$。

二、推导前向传播:为何 fan_in 进入初始化公式?

取某个输出神经元:

\[z_i=\sum_{j=1}^{n_{\rm in}}W_{ij}h_j.\]

平方:

\[z_i^2=\sum_j W_{ij}^2h_j^2 +\sum_{j\ne k}W_{ij}W_{ik}h_jh_k.\]

求期望:由于权重零均值、彼此独立且独立于输入,交叉项期望为 0。于是

\[\begin{aligned} E[z_i^2] &=\sum_j E[W_{ij}^2]E[h_j^2]\\ &=\boxed{n_{\rm in}s^2 q}. \end{aligned}\]

即:

\[\boxed{q_z=n_{\rm in}\operatorname{Var}(W)\,q_{\rm input}}.\]

这里的关键是 输入求和项数 $n_{\rm in}$。输入维度越大,如果权重方差不缩小,输出信号二阶矩就越大。

线性激活 $\phi(z)=z$: 想让 $q_{\rm out}=q_{\rm input}$,应取

\[\boxed{s^2=\frac1{n_{\rm in}}}.\]

例如 $n_{\rm in}=256$、输入 $q=1$ 时:

  • 若每个权重方差都为 1,则 $E[z_i^2]=256$,一层就放大信号。
  • 若取 $s^2=1/256$,则 $E[z_i^2]=1$,前向二阶矩保持。

记住“权重方差为 $1/n$”与“权重标准差为 $1/\sqrt n$”不是一回事。

三、ReLU 为什么改变了公式?

现在用

\[\phi(z)=\max(0,z).\]

如果 $z$ 关于 0 对称,并且二阶矩有限,那么

\[E[z^2\mathbf1_{z>0}] =\frac12E[z^2].\]

理由:正、负半轴对平方的贡献相等;即便 $z=0$ 有概率质量,它对平方贡献也是 0。

于是:

\[\boxed{E[\operatorname{ReLU}(z)^2]=\frac12E[z^2]}.\]

将上一节的前向式代入:

\[\boxed{ q_l=\frac12n_{\rm in}s^2q_{l-1} }.\]

要使初始化时典型激活的二阶矩逐层不放大、不衰减,令该因子约为 1:

\[\frac12n_{\rm in}s^2=1 \quad\Rightarrow\quad \boxed{\operatorname{Var}(W)=\frac2{n_{\rm in}}}.\]

这就是 ReLU 网络经典的 He / Kaiming fan-in 初始化。若权重从高斯分布采样,标准差是:

\[\boxed{\operatorname{Std}(W)=\sqrt{\frac2{n_{\rm in}}}}.\]

例如 $n_{\rm in}=128$,权重方差是 $2/128=1/64$,标准差是 $1/8=0.125$。

容易错的一点: 上述推导保持的是 $E[h^2]$,不是严格保持 $\operatorname{Var}(h)$。ReLU 输出的均值通常为正:

\[\operatorname{Var}(h)=E[h^2]-E[h]^2.\]

如果 $z\sim\mathcal N(0,\tau^2)$,则还有:

\[E[\operatorname{ReLU}(z)]=\frac{\tau}{\sqrt{2\pi}}, \qquad \operatorname{Var}(\operatorname{ReLU}(z)) =\tau^2\left(\frac12-\frac1{2\pi}\right).\]

所以“ReLU 把方差恰好减半”通常是不严谨的;它把对称预激活的二阶矩减半才是这里使用的结论。

四、深度为什么放大一个微小的尺度错误?

设每层 fan_in 固定为 $n$,每层使用 ReLU,且理想化假设在初始化时逐层适用。

若错误地使用线性 fan-in 初始化:

\[s^2=\frac1n,\]

那么每层:

\[q_l=\frac12q_{l-1}.\]

深度 $L$ 后:

\[\boxed{q_L=2^{-L}q_0}.\]

例如 20 层后信号二阶矩缩小为:

\[2^{-20}\approx9.54\times10^{-7}\]

倍;40 层后更小。对比 He 初始化 $s^2=2/n$,在上述模型下有

\[q_l\approx q_{l-1},\]

因而避免了由这一平均乘法因子引起的指数衰减。

这不是在承诺实际 40 层 ReLU 网络的任意输入、每个神经元激活都不会衰减。有限宽度、激活相关性、权重训练后的变化、非零偏置和死亡 ReLU 都可能破坏近似。

五、反向传播:为什么还会出现 fan_out?

正向有:

\[z^{(l)}=W^{(l)}h^{(l-1)}.\]

反向若记 $\delta_z^{(l)}=\partial\mathcal L/\partial z^{(l)}$,则

\[\boxed{ \delta_h^{(l-1)}=(W^{(l)})^\top\delta_z^{(l)} }.\]

第 $j$ 个输入坐标的梯度是:

\[(\delta_h^{(l-1)})_j =\sum_{i=1}^{n_{\rm out}}W_{ij}(\delta_z^{(l)})_i.\]

对权重和梯度采用类似的独立、各向同性近似,有:

\[\boxed{ E[(\delta_h^{(l-1)})_j^2] \approx n_{\rm out}s^2 E[(\delta_z^{(l)})_i^2] }.\]

这里出现的不是 fan_in,而是 fan_out,因为反向每个输入坐标要汇总 $n_{\rm out}$ 个输出梯度。

对于 ReLU,

\[\delta_z^{(l)} =\delta_h^{(l)}\mathbf1_{z^{(l)}>0}.\]

若门控与上游梯度平方近似独立且开门概率约 $1/2$,就会得到额外的 $1/2$ 因子:

\[\boxed{ q_{\delta,\rm prev} \approx \frac12n_{\rm out}s^2q_{\delta,\rm next} }.\]

因此,单看反向梯度二阶矩,ReLU 层需要的近似保幅条件是:

\[\boxed{s^2=\frac2{n_{\rm out}}}.\]

前向 He fan-in 要求 $2/n_{\rm in}$;反向要求 $2/n_{\rm out}$。当宽度变化很大时,两者一般无法由同一个权重方差同时精确满足。

这里的反向结论比线性前向更依赖独立性近似。 例如实际网络中,反向梯度可能与同层门控或权重相关,不能把 $\tfrac12$ 理解成无条件恒等式。

六、Xavier 为什么使用 fan_in 与 fan_out 的平均?

先讨论线性层,或在激活近似线性时的传统推导。

前向希望:

\[n_{\rm in}s^2\approx1\quad\Rightarrow\quad s^2\approx1/n_{\rm in}.\]

反向希望:

\[n_{\rm out}s^2\approx1\quad\Rightarrow\quad s^2\approx1/n_{\rm out}.\]

若输入输出维度不同,两个条件冲突。

经典 Xavier / Glorot 初始化采取折中尺度:

\[\boxed{ \operatorname{Var}(W)=\frac2{n_{\rm in}+n_{\rm out}} }.\]

如果用均匀分布 $W\sim U[-a,a]$,因为 $\operatorname{Var}(W)=a^2/3$,所以:

\[\boxed{ a=\sqrt{\frac6{n_{\rm in}+n_{\rm out}}} }.\]

对于 ReLU,可以用相应 gain 调整 Xavier 方案,但不能把“Xavier 标准公式”和“He fan-in 标准公式”直接混同。对 tanh 等激活,Xavier 常是有用的默认起点,但若激活大量进入饱和区,梯度仍可能严重衰减。

对比记忆:

目标或激活 常用初始化方差 侧重
线性层前向保幅 $1/n_{\rm in}$ 输入求和尺度
Xavier / Glorot $2/(n_{\rm in}+n_{\rm out})$ 线性/近线性前后向折中
He / Kaiming fan-in(ReLU) $2/n_{\rm in}$ ReLU 前向二阶矩
He fan-out(ReLU) $2/n_{\rm out}$ ReLU 反向梯度尺度

这些都是带假设的尺度规则,不是对任意架构的严格最优选择。

七、二阶矩稳定,Jacobian 就一定好吗?

不能。训练关心从深层输出传回输入的每个方向如何被拉伸:

\[J=\frac{\partial h^{(L)}}{\partial h^{(0)}} = D^{(L)}W^{(L)}\cdots D^{(1)}W^{(1)},\]

其中 $D^{(l)}=\operatorname{diag}(\phi’(z^{(l)}))$。

梯度通过 $J^\top$ 传播。若 $J$ 有非常小的奇异值,某些方向的梯度接近消失;有很大的奇异值,则某些方向会被放大。

保持平均平方尺度,并不等于所有奇异值接近 1。

一个小反例:线性变换

\[W=\operatorname{diag}(\sqrt{1.99},0.1).\]

两个奇异值的平方平均值:

\[\frac{1.99+0.01}{2}=1.\]

但是两个方向的增益分别约为 1.41 和 0.1,差别很大。若重复多层,差异会被放大。

因此,除了平均信号二阶矩,人们还关心 dynamical isometry(动态等距):网络 Jacobian 的奇异值尽量集中在 1 附近。

对于无非线性的方形线性网络,如果每层权重矩阵严格正交,则整个 Jacobian 是正交矩阵的乘积,所有奇异值恰好为 1。然而,插入 ReLU 门控后,这个保证不再直接成立。

八、残差、LayerNorm 与下一课的连接

残差层写作:

\[\boxed{h^{(l+1)}=h^{(l)}+F_l(h^{(l)})}.\]

其 Jacobian 是:

\[\boxed{J_l=I+J_{F_l}}.\]

这里的单位阵 $I$ 为反向梯度提供一个不经过子网络 $F_l$ 的直接通路。因此,当残差分支开始时足够小,它有助于稳定深层信号传播。

但如果 $J_{F_l}$ 很大,或各层 Jacobian 乘积累积出极端尺度,残差网络仍可能发生梯度爆炸或消失。有 identity path ≠ 所有梯度都安全。

LayerNorm 则对特定维度的特征进行中心化与尺度归一:

\[\operatorname{LN}(h)_i= \gamma_i\frac{h_i-\mu(h)} {\sqrt{\operatorname{Var}(h)+\epsilon}} +\beta_i.\]

它帮助控制特征统计量,但其 Jacobian 仍依赖输入、归一化维度、$\gamma$ 等;归一化不意味着总网络 Jacobian 自动等距。

flowchart TD
  A["初始化权重方差 s²"] --> B["前向尺度: fan_in · s²"]
  A --> C["反向尺度: fan_out · s²"]
  B --> D["激活函数: ReLU 二阶矩约 ×1/2"]
  C --> E["ReLU 门控: 梯度平方约 ×1/2"]
  D --> F["Xavier / He 调整初始尺度"]
  E --> F
  F --> G["仍需检查 Jacobian 奇异值与有限宽度波动"]
  G --> H["残差直通路径 + LayerNorm 等结构"]

九、最小实验:怎样检验理论,而不是背公式?

用相同随机种子构造深度 24、宽度 256 的无偏置 ReLU MLP,分别对权重采用:标准差 $1/\sqrt{256}$、$\sqrt{2/256}$,以及带适当 gain 的正交初始化。

在尚未训练时记录每层:

  • 激活的 $E[h^2]$、均值 $E[h]$ 与方差;必须分别记录;
  • 预激活的二阶矩与正负比例;
  • 由同一标量损失回传的层级梯度 RMS;
  • 死亡 ReLU 比例(在当前数据批上长期没有正响应的单元);
  • 小模型时直接求 Jacobian SVD,大模型时用 JVP/VJP 或随机方向增益近似检查。

简化伪代码:

for init in ["fan_in_linear", "he_relu", "orthogonal_relu_gain"]:
    for seed in seeds:
        model = build_same_mlp(depth=24, width=256, seed=seed)
        apply_initialization(model, init)
        x, y = same_fixed_batch()
        activations = forward_with_hooks(model, x)
        loss = fixed_loss(model(x), y)
        loss.backward()
        log_per_layer_second_moment_mean_variance(activations)
        log_per_layer_gradient_rms(model)
        log_fraction_inactive_relu(model, x)
        estimate_jacobian_directional_gains(model, x)

不要在每个初始化方案上更换数据、深度、输入分布或损失,之后再把结果归因于初始化。也不要仅凭一条训练损失曲线判断动态等距。

经典理论与新研究边界: Xavier、He、反向传播的链式法则属于经典基础;更深网络、残差归一化架构和大模型参数化方案(例如深度依赖缩放或宽度缩放)的最佳初始化仍依赖结构与训练设置。今天的简化独立性分析不等于已证明所有 Transformer 都应使用同一初始化。

十、本课总结

核心公式一:前向

\[E[z_i^2]=n_{\rm in}s^2E[h_j^2].\]

核心公式二:ReLU

\[E[\operatorname{ReLU}(z)^2]=\frac12E[z^2] \quad(\text{若 }z\text{ 关于 0 对称}).\]

核心公式三:He 与 Xavier

\[s_{\rm He}^2=\frac2{n_{\rm in}},\qquad s_{\rm Xavier}^2=\frac2{n_{\rm in}+n_{\rm out}}.\]

核心公式四:梯度与几何

\[\delta_h=W^\top\delta_z,\qquad J=\prod_l D^{(l)}W^{(l)} \quad(\text{乘积按链式法则顺序}).\]

最后记住一句话:初始化首先是在控制深度乘积中的信号尺度,但仅控制二阶矩不等于控制每个方向的梯度,也不等于保证最终泛化。

十一、四级递进自测(100 分)

每题测试不同知识。前 3 题可客观判分,最后是综合推导与实验设计。首次授课只给提示,不展示标准答案;提交答案后逐题批改。 达到 80 分继续,60–79 分针对性补练,低于 60 分复习再练。

Lv1|初始化机制及理论边界

15 分|考点:初始化机制及理论边界|预计 2 分钟|单选题

对于采用 ReLU 的深层网络,以下哪项对 He 初始化及其理论边界的解释最准确?

A. He 初始化取权重方差 2/fan_in,因此能对任意输入分布精确保证 ReLU 输出的方差(variance)不变。

B. He 初始化的经典前向推导基于零均值、对称等近似假设,主要控制激活的二阶矩;这不等于保证端到端 Jacobian 的全部奇异值都接近 1。

C. He 初始化要求每个权重的绝对值都严格相同,否则不能使用。

D. 只要 fan_in=fan_out,Xavier 与 He 的权重方差就总是相同。

可选提示:比较 E[a²] 和 Var(a),再区分“某种平均统计量受控”与“所有奇异值受控”。

Lv2|二层 ReLU 前向二阶矩计算

20 分|考点:二层 ReLU 前向二阶矩计算|预计 4 分钟|数值题

两层全连接 ReLU 网络均无偏置;权重相互独立、均值为 0,采用对称高斯分布,并与前一层输入独立。输入每坐标二阶矩 q₀=E[x²]=2。第 1 层 fan_in=100、权重方差 0.01;第 2 层 fan_in=200、权重方差 0.02。假设各输入坐标具有相同二阶矩。计算第 2 层 ReLU 输出每坐标的二阶矩 q₂=E[h₂²](注意不是 variance)。

可选提示:每层先用 fan_in×Var(W)×输入二阶矩算预激活二阶矩,再根据对称性求 ReLU 后的二阶矩;连做两层。

Lv3|宽度变化、正交性与残差的多步判断

25 分|考点:宽度变化、正交性与残差的多步判断|预计 6 分钟|多选题

考虑一层线性映射(输入维度 fan_in=256,输出维度 fan_out=1024)及更深的网络。采用独立零均值权重与常见各向同性/独立性近似,选择全部正确的陈述。

A. 对该线性层,若希望前向每坐标二阶矩不变,通常需要 Var(W)=1/256;若希望反向每坐标梯度二阶矩不变,通常需要 Var(W)=1/1024。

B. Xavier 方差 2/(256+1024) 能精确同时满足上一项中前向与反向两种保幅要求。

C. 若一个方形深层线性网络的每层权重矩阵都严格正交且无非线性,则整体输入输出 Jacobian 也正交,因此其奇异值均为 1。

D. 只要 ReLU 层使用 Var(W)=2/fan_in,就能在任何输入分布及任意有限宽度下严格保持输出激活的方差,而非仅二阶矩。

E. 残差结构 h⁺=h+F(h) 的 Jacobian 包含单位阵 I,但若 J_F 很大或多层效应累积,仍然可能发生梯度放大。

可选提示:逐项区分前向 fan_in 与反向 fan_out;检查正交矩阵乘积;不要把残差的“直通路径”理解成无条件稳定保证。

Lv4|前后向统计量推导与初始化对照实验

40 分|考点:前后向统计量推导与初始化对照实验|预计 15 分钟|开放题

综合推导与实验设计(40 分):

A(12 分)对无偏置线性层 z=Wh(W 的元素独立、均值 0、方差 s²),设输入每坐标二阶矩为 q、输入维度 n_in、输出维度 n_out。在恰当的独立性假设下,推导每坐标 E[z_i²]=n_in s²q,并推导反向传播的梯度二阶矩尺度约为 n_out s²。解释当 n_in≠n_out 时,为什么不能同时让前向与反向尺度恰好等于 1。

B(10 分)假设预激活 z 关于 0 对称,推导 E[ReLU(z)²]=E[z²]/2,再推导经典 He fan-in 权重方差。说明为什么这不等于严格保持 Var(ReLU(z))。

C(10 分)考虑宽度固定、独立同分布、无偏置的 24 层 ReLU 网络,初始输入二阶矩 q₀=1。在独立性及对称预激活等理想化假设下,分别推导 Var(W)=1/fan_in 与 Var(W)=2/fan_in 时 q₂₄/q₀。说明这些只是初始化统计近似,不是训练过程中全网络的确定性保证。

D(8 分)设计对照实验比较 Xavier、He 和正交初始化。使用至少一种深层无归一化网络,并说明如何固定变量、按层记录前向二阶矩与均值、反向梯度 RMS、死亡 ReLU 比例,以及如何通过 Jacobian 奇异值或方向扰动检查“平均二阶矩保持”是否意味着动态等距。

可选提示:A 展开求和并使交叉项在假设下消失;B 利用对称分布把平方二阶矩平分到正负半轴;C 用逐层乘法因子;D 区分均值、方差、二阶矩及 Jacobian 全部方向的伸缩。

十二、下一课预告

第 12 课|2026 年 10 月 31 日:BatchNorm、LayerNorm 与 Pre-Norm / Post-Norm。

我们将从归一化的均值、方差与梯度公式出发,讨论 BatchNorm 为什么依赖 batch 统计量、LayerNorm 为什么更适用于变长序列与自回归模型,以及 Transformer 中 Pre-Norm 和 Post-Norm 怎样改变梯度传播。之后再连接残差分支与深层 Transformer 的稳定性。

答题格式: 可回复“Lv1:选项;Lv2:数值;Lv3:选项组合;Lv4:A–D 推导/方案”。首版讲义不含任何题目的标准答案。