人工智能:理论、算法与系统 · 第 9 课

SGD 为什么会波动?Mini-batch 方差、收敛与系统吞吐

2026 年 10 月 28 日|第 2 周第 2 课|约 18 分钟

上一课我们证明:对 $L$-smooth 目标,精确梯度下降在 $0<\eta<2/L$ 时有单步下降保证。然而大型模型几乎不可能每更新一次参数就完整扫描所有训练数据。于是今天研究三个紧密关联的问题:

  1. 随机梯度究竟“随机”在哪里? 它的期望和方差怎么计算?
  2. 为什么 SGD 的损失会反复上下波动? 无偏梯度为什么还不足以保证每步下降?
  3. batch size 增大到底改变什么? 是每次更新质量、更新次数、GPU 吞吐,还是最终泛化性能?

学完应能从公式独立推出 $\operatorname{Var}(G_B)\propto1/B$ 的适用条件、非凸 SGD 的预期梯度范数界,并正确设计公平的批量大小对照实验。

一、全批量梯度、随机梯度与小批量梯度

固定有限训练集 $S={z_1,\ldots,z_N}$,定义经验目标:

[ F(w)=\frac1N\sum_{i=1}^{N}\ell(w;z_i). ]

记每个样本的梯度为 $g_i(w)=\nabla_w\ell(w;z_i)$,则完整经验梯度为:

[ \boxed{G(w)=\nabla F(w)=\frac1N\sum_{i=1}^{N}g_i(w).} ]

全批量 GD 每步计算全部 $N$ 个样本梯度;单样本 SGD 每步只取一个索引;mini-batch SGD 每步取 $B$ 个样本,把梯度平均:

[ \boxed{G_B(w)=\frac1B\sum_{j=1}^{B}g_{I_j}(w),\qquad w_{t+1}=w_t-\eta_tG_B(w_t).} ]

先明确抽样假设: 暂时固定当前位置 $w$,让 $I_1,\ldots,I_B$ 独立、均匀、有放回地从 ${1,\ldots,N}$ 抽取;假设样本梯度有限。在此条件下,$G_B$ 是条件于 $w$ 的随机向量。

单个随机样本满足:

[ \mathbb E[g_{I_j}(w)\mid w] =\frac1N\sum_{i=1}^{N}g_i(w)=G(w). ]

利用期望的线性性:

[ \boxed{\mathbb E[G_B(w)\mid w]=G(w).} ]

这称为无偏梯度估计。含义是“重复随机抽样后的平均方向正确”,而不是“每一次抽样的方向都正确”,更不意味着每步经验损失都会下降。

容易混淆的两种随机性:这里分析的是固定数据集上抽取索引的随机性;训练集本身来自总体分布时,还有数据采样造成的另一层随机性。两种期望不能不加说明地混用。

二、为什么 mini-batch 梯度方差是 $1/B$?

定义偏差向量:

[ \xi_j=g_{I_j}(w)-G(w),\qquad \mathbb E[\xi_j\mid w]=0. ]

单样本梯度的总方差(平方欧氏距离的期望)记为:

[ \sigma_w^2=\mathbb E[|\xi_j|2^2\mid w] =\frac1N\sum{i=1}^{N}|g_i(w)-G(w)|_2^2. ]

注意 $\sigma_w^2$ 是梯度向量的平方范数方差,不是损失值的方差,也不是单个坐标的方差。

由于:

[ G_B-G=\frac1B\sum_{j=1}^{B}\xi_j, ]

有:

[ \begin{aligned} \mathbb E[|G_B-G|^2\mid w] &=\frac1{B^2}\mathbb E\left[\left|\sum_{j=1}^B\xi_j\right|^2\middle|w\right]
&=\frac1{B^2}\left(\sum_j\mathbb E|\xi_j|^2+ 2\sum_{j<k}\mathbb E[\xi_j^\top\xi_k]\right). \end{aligned} ]

因为不同抽样索引独立,且每个 $\xi_j$ 的均值为零,所以交叉项为零:

[ \boxed{\mathbb E[|G_B-G|^2\mid w]=\frac{\sigma_w^2}{B}.} ]

同时展开 $G_B=G+(G_B-G)$,还能得到:

[ \boxed{\mathbb E[|G_B|^2\mid w] =|G|^2+\frac{\sigma_w^2}{B}.} ]

直觉: batch 增大,独立噪声相互抵消,平均梯度会更稳定;但梯度方差缩小四倍并不等于训练速度必然加快四倍。

数值例子:有放回与无放回不同

某个固定参数处有四个一维样本梯度:

[ g_1=0,\quad g_2=2,\quad g_3=4,\quad g_4=6. ]

完整梯度为:

[ G=\frac{0+2+4+6}{4}=3. ]

单样本梯度方差:

[ \sigma_w^2=\frac{(0-3)^2+(2-3)^2+(4-3)^2+(6-3)^2}{4}=5. ]

若 $B=2$、独立有放回,则:

[ \mathbb E[(G_B-3)^2]=\frac52=2.5. ]

若改为从四个样本中均匀无放回抽取两个,方差修正为:

[ \boxed{\mathbb E[|G_B-G|^2\mid w] =\frac{N-B}{B(N-1)}\,\sigma_w^2} ]

(使用本课定义的 $1/N$ 总体方差)。代入 $N=4,B=2$:

[ \frac{4-2}{2(4-1)}\times5=\frac53\approx1.667. ]

无放回抽样减少了样本间重复造成的方差;而当 $B=N$ 时,它给出精确全批量梯度,方差为零。

重要边界: 常见的“每个 epoch 随机打乱数据,再依次取批次”也不是每一步都满足上述条件独立抽样:在已观察前面批次的条件下,剩余样本分布会变。因此逐步条件无偏的经典证明不能不加修改地套用到所有 random reshuffling 实现。

三、无偏 SGD 为什么不保证损失单调下降?

我们现在把随机梯度和上一课的下降引理联系起来。

假设经验目标 $F$ 是 $L$-smooth:

[ F(v)\le F(w)+\nabla F(w)^\top(v-w)+\frac L2|v-w|^2. ]

随机更新为 $w^+=w-\eta G_B$,代入:

[ F(w^+)\le F(w)-\eta G^\top G_B+\frac{L\eta^2}{2}|G_B|^2. ]

对给定 $w$ 的小批量随机性取期望,使用刚才的两个等式:

[ \begin{aligned} \mathbb E[F(w^+)\mid w] &\le F(w)-\eta|G|^2 +\frac{L\eta^2}{2}\left(|G|^2+\frac{\sigma_w^2}{B}\right)
&=\boxed{F(w)-\eta\left(1-\frac{L\eta}{2}\right)|G|^2 +\frac{L\eta^2\sigma_w^2}{2B}}. \end{aligned} ]

与精确 GD 相比,多出来一项:

[ \underbrace{\frac{L\eta^2\sigma_w^2}{2B}}_{\text{随机梯度噪声带来的上界项}}. ]

即便 $0<\eta<2/L$,正的噪声项仍可能抵消负的下降项,所以无法据此保证每步损失单调下降。

这还有一个容易忽视的细节:

[ \boxed{\mathbb E[F(w-\eta G_B)\mid w]\ne F(w-\eta\,\mathbb E[G_B\mid w])} ]

一般不成立等号,因为 $F$ 是非线性函数。梯度无偏不等于更新后损失无偏。

当 $0<\eta\le1/L$,可以写出更简洁的上界:

[ \boxed{\mathbb E[F(w^+)\mid w] \le F(w)-\frac\eta2|G|^2+\frac{L\eta^2\sigma_w^2}{2B}.} ]

如果当前梯度很大、噪声较小,期望下降比较容易;如果接近驻点,真实梯度项很小而噪声还存在,就可能在附近反复波动。

一个代入数字的例子

设当前 $|G|=2$、$L=4$、$\sigma_w^2=16$、$B=8$、$\eta=0.1$。由完整的期望下降上界:

[ \begin{aligned} \mathbb E[F(w^+)\mid w]-F(w) &\le -0.1(1-4\times0.1/2)\times 4 +\frac{4\times 0.1^2\times16}{2\times8}
&=-0.32+0.04=-0.28. \end{aligned} ]

因此期望损失变化的一个上界为 $-0.28$。注意不是说每次更新都恰好下降 $0.28$;也不能反过来在上界为正时声称损失一定增加。

四、进一步推导:非凸 SGD 能保证收敛到什么程度?

这一节是今天的理论主线。假设:

  • $F$ 是 $L$-smooth 且下有界:$F(w)\ge F_{\inf}$;
  • 每步梯度估计在给定当前参数下无偏;
  • 条件方差一致有界:$\mathbb E[|G_B-\nabla F|^2\mid w]\le\sigma^2/B$;
  • 使用固定步长 $0<\eta\le1/L$,连续运行 $T$ 次。

由上一节:

[ \mathbb E[F(w_{t+1})\mid w_t] \le F(w_t)-\frac\eta2|\nabla F(w_t)|^2+\frac{L\eta^2\sigma^2}{2B}. ]

再对训练过程的随机性取全期望,并重新整理:

[ \frac\eta2\mathbb E|\nabla F(w_t)|^2 \le \mathbb E F(w_t)-\mathbb E F(w_{t+1}) +\frac{L\eta^2\sigma^2}{2B}. ]

将 $t=0,\ldots,T-1$ 相加,右侧函数值出现望远镜求和:

[ \frac\eta2\sum_{t=0}^{T-1}\mathbb E|\nabla F(w_t)|^2 \le F(w_0)-\mathbb E F(w_T) +\frac{TL\eta^2\sigma^2}{2B}. ]

由 $F(w_T)\ge F_{\inf}$:

[ \boxed{ \frac1T\sum_{t=0}^{T-1}\mathbb E|\nabla F(w_t)|^2 \le \frac{2[F(w_0)-F_{\inf}]}{\eta T} +\frac{L\eta\sigma^2}{B}. } ]

设 $\Delta=F(w_0)-F_{\inf}$。这条界由两个不同部分组成:

[ \underbrace{\frac{2\Delta}{\eta T}}{\text{优化尚未完成}} \quad+\quad \underbrace{\frac{L\eta\sigma^2}{B}}{\text{随机噪声残留}}. ]

固定 $\eta,B$ 并增加 $T$,第一项会变小,但第二项不会自动消失。增大 $B$ 或减小 $\eta$ 可以减小这一理论上界里的噪声项,但减小 $\eta$ 也会让第一项变大;必须考虑权衡。

若在步长上界允许的范围内选择随 $T$ 衰减、适当平衡两项的步长,则可以得到经典的预期一阶驻点收敛量级。它不是非凸全局最优保证,也不是每步单调下降保证。

这里的 $T$ 是优化器更新次数,不是样本数、epoch 数或墙钟秒数。把这四种预算混为一谈,会直接导致错误的实验结论。

五、batch size 增大四倍,训练就快四倍吗?

假设数据集样本数 $N=12000$,训练 $E=3$ 个 epoch,且批量都整除 $N$。

设置 每个 epoch 更新次数 三个 epoch 总更新次数 总样本贡献数
$B=100$ $12000/100=120$ $360$ $36000$
$B=400$ $12000/400=30$ $90$ $36000$

对于固定 epoch 预算:批量大四倍,参数更新少四倍,但处理的数据总量并没有少四倍。

用一份简化的 GPU 成本模型直观理解:

[ T_{\rm train}\approx (\text{updates})\times(\text{time per update}). ]

大 batch 往往可以提高矩阵乘法利用率、摊薄 kernel launch 和通信开销;但时间每步也可能增长、显存占用增大、最后受到算力或带宽的瓶颈。真实执行还有预取、流水和通信重叠,不能把所有项机械相加。

因此要区分:

  • sample throughput:每秒处理的训练样本数(samples/s);
  • update throughput:每秒完成的参数更新数(steps/s);
  • time-to-quality:达到某个验证集质量阈值的实际秒数。

GPU 吞吐提升,不一定意味着达到同等验证质量所需的时间缩短;大 batch 每个 epoch 更新次数减少后,有时还需要调整学习率、训练轮数和优化器设置。

“batch 增大 $k$ 倍就把学习率乘 $k$”是一种在某些场景下常用的工程启发式,不是由上面的 $1/B$ 方差公式直接证明出来的通用定理。实际效果依赖 warmup、优化器、模型和训练阶段。

六、梯度累积:显存不够时可以模拟大 batch 吗?

设期望的有效 batch size 为 $256$,单次 GPU 显存只能运行 micro-batch $64$。

如果样本损失能够逐项相加,且整个累积窗口内参数固定,那么:

[ \frac1{256}\sum_{i=1}^{256}\nabla\ell_i(w) = \frac14\sum_{k=1}^{4} \left[\frac1{64}\sum_{i\in\mathcal B_k}\nabla\ell_i(w)\right]. ]

也就是说,可以累积四个微批的平均梯度,最后只做一次优化器更新:

optimizer.zero_grad()
for microbatch in four_microbatches:
    loss = mean_loss(model(microbatch), microbatch.labels)
    (loss / 4).backward()  # 每次保留梯度,不调用 optimizer.step()
optimizer.step()            # 有效 batch = 4 × microbatch

成立的必要前提包括:在微批之间不更新参数;微批大小/损失权重正确;没有会根据单个微批改变前向或梯度的机制;相同随机状态下仅考虑数值舍入误差。

一个重要反例是 BatchNorm:其归一化依赖每个 micro-batch 的均值和方差,四次 64 样本各自归一化,通常不等于 256 样本一起归一化。因此梯度累积并不总是精确模拟大 batch。

类似地,“每个微批先做 gradient clipping 再累积”通常不同于“累积完整梯度后再裁剪”,因为裁剪是非线性操作。混合精度和舍入顺序也可能带来可观测差异。

七、三种对照协议:如何公平比较不同 batch size?

如果目标是发表研究或诊断优化行为,不能只固定一个含糊的“训练时长”。建议同时呈现三种预算:

  1. 固定 epoch(等样本处理量):对齐经过多少训练样本,但大 batch 的 optimizer updates 更少。用于比较同等数据消费下的结果。
  2. 固定 update steps:对齐参数更新次数,但大 batch 通常读取更多训练样本,计算预算不再相同。用于研究优化器更新层面的行为。
  3. 固定墙钟时间:对齐真实训练成本,记录样本吞吐、更新吞吐、峰值显存、能耗(若可测)和验证性能。用于判断系统效率与 time-to-quality。

所有对照尽可能固定数据划分、模型、损失、初始权重、硬件、精度和评估协议,并使用多个随机种子。不同 batch 对学习率可能有不同最优区间,应同时报告“相同学习率”的控制实验与“独立调参后最好结果”,避免只给某一方有利的预算。

下面的 Mermaid 图将“梯度精度”与“系统吞吐”分开:

flowchart TD
    A["选取 batch size B"] --> V["统计路径:条件梯度方差约 σ²/B"]
    A --> U["优化路径:每 epoch 更新数约 N/B"]
    A --> S["系统路径:矩阵利用率、显存和通信"]
    V --> Q["单步随机性与期望下降界"]
    U --> Q
    S --> T["samples/s 与 steps/s"]
    Q --> R["验证集质量曲线"]
    T --> R
    R --> F["比较 time-to-quality"]

八、三个容易出错的反例

反例一:“无偏”所以“每一步都下降”。 错。梯度估计的均值是完整梯度,不意味着任何一个采样结果都等于它;况且非线性函数不允许直接把期望移入 $F$。

反例二:“batch 增大四倍,方差一定降到四分之一”。 只在相应独立有放回抽样与有限二阶矩条件下成立。无放回需要有限总体修正;跨机器样本相关、采样非均匀、按批次做非线性裁剪等都可能改变无偏性或方差公式。

反例三:“大 batch 训练一定泛化差”。 不是普适定理。模型、学习率调度、训练步数、正则化、数据和评估协议都可能改变结论。当前课程公式并未证明任何单调的泛化优劣关系。

九、小结

[ \boxed{\mathbb E[G_B\mid w]=\nabla F(w)} \qquad \boxed{\mathbb E|G_B-\nabla F|^2=\sigma_w^2/B} ]

[ \boxed{\mathbb E[F(w^+)\mid w]\le F(w) -\eta(1-L\eta/2)|\nabla F|^2+L\eta^2\sigma_w^2/(2B)} ]

[ \boxed{\frac1T\sum_{t<T}\mathbb E|\nabla F(w_t)|^2 \le\frac{2\Delta}{\eta T}+\frac{L\eta\sigma^2}{B}} ]

今天的核心判断:batch size 同时影响梯度估计方差、每个 epoch 的更新次数和硬件吞吐;任何“更快、更稳、更能泛化”的主张,都必须明确固定的是哪一种预算。


四级递进自测(共 100 分;首次不公布答案)

前三题客观判分;第四题按推导与实验设计的评分要点批改。请一次提交四题答案;答后逐题解释,按总分决定继续、补练或复习。

Lv1|无偏性与单步下降的逻辑边界

15 分|考点:无偏性与单步下降的逻辑边界|预计 2 分钟|单选

固定当前参数 w,使用从有限训练集均匀、有放回、相互独立抽取的 B 个样本构造小批量平均梯度 G_B,并假设每个单样本梯度存在。下列哪项说法最准确?

A. E[G_B∣w]=∇F(w) 意味着对任意实际抽到的小批量,都有 F(w−ηG_B)≤F(w)。

B. E[G_B∣w]=∇F(w),但非线性的目标值 F(w−ηG_B) 的期望不能简单地用 F(w−η∇F(w)) 代替。

C. 因为抽样有放回,G_B 的期望通常偏离全训练集梯度,只有遍历完整数据才无偏。

D. 只要梯度估计无偏,增大 B 就一定降低每个 epoch 的总浮点运算量。

可选提示:把“梯度这一随机向量的期望”与“更新后非线性损失函数的期望”分开考虑;还要区分每次抽到的样本与期望。

Lv2|二维随机梯度方差计算

20 分|考点:二维随机梯度方差计算|预计 4 分钟|数值题

某固定参数处,4 个训练样本的二维梯度分别是 g₁=(−1,2)、g₂=(1,2)、g₃=(3,2)、g₄=(5,2)。均匀独立有放回抽取 B=4 个样本,取平均梯度 G_B。令 G=(g₁+g₂+g₃+g₄)/4,计算 E[‖G_B−G‖₂²]。填写一个十进制数。

请给出十进制数值。

可选提示:先求二维总体平均,再求每个样本到平均梯度的平方欧氏距离;有放回独立样本的均值方差是单样本方差的 1/B。

Lv3|更新步数、梯度计算量、梯度累积的对比

25 分|考点:更新步数、梯度计算量、梯度累积的对比|预计 6 分钟|多选

训练集 N=10240,训练 E=5 个完整 epoch;分别使用 B=128 与 B=512。假设每个 epoch 恰好遍历全部样本、无丢弃末批且每个批次恰好做一次优化器更新。下列哪些陈述成立?(多选)

A. B=128 时共有 400 次参数更新;B=512 时共有 100 次参数更新。

B. 两个设置各自的单样本梯度贡献计算次数都是 51200 次(不计额外实现开销)。

C. B=512 的每个 epoch 优化器更新次数比 B=128 更多。

D. 只因 B 从 128 增至 512,真实墙钟训练时间就必然缩短为四分之一。

E. 若损失可按样本相加、期间不更新参数且没有依赖微批统计量的操作,那么 4 个 B=128 微批正确累积并平均梯度,在精确算术中可复现一个 B=512 大批次的梯度。

可选提示:分别算每个 epoch 的更新次数 N/B 和总样本处理量 EN;另外仔细检查“吞吐必然四倍”和“累积时中途是否改变参数”。

Lv4|随机梯度理论证明与实验对照设计

40 分|考点:随机梯度理论证明与实验对照设计|预计 15 分钟|开放题

【A|12分】设 F 是 L-smooth,给定 w 时 E[G_B∣w]=∇F(w),且 E[‖G_B−∇F(w)‖²∣w]≤σ²/B。从下降引理推导一步随机更新 w⁺=w−ηG_B 的条件期望上界,指出噪声项来自哪一步。【B|12分】再假设 F(w)≥F_inf、0<η≤1/L、使用固定 η 迭代 T 次。严格推出平均预期梯度范数平方的界,并解释它为什么不保证每步损失下降或到达全局最优。【C|8分】设计公平实验比较 B=32 与 B=256:分别说明固定 epoch、固定更新步数与固定墙钟时间时各自应报告什么,以及如何记录 sample throughput、update count、验证集性能。【D|8分】给出一个使“8 个 B=32 微批累积梯度 = 一个 B=256 大批训练更新”不再严格成立的机制,解释数学或计算上的原因,并提供实验核查办法。

可选提示:A 先展开 E‖G_B‖² 并使交叉项消失;B 对条件期望式逐步取期望后望远镜求和;C 不要把 epoch、step、秒数混为一谈;D 关注微批内统计量、非线性梯度变换或中途状态变化。


下一课预告

第 10 课|2026 年 10 月 29 日:Momentum、Nesterov 与 Adam——梯度为什么要“记忆”?

我们将从病态二次目标上的振荡出发,推导动量的递推与指数加权平均,讨论自适应学习率和偏差修正,分清改善训练速度的直觉与严格收敛条件。

经典理论与研究边界:本课的无偏性、方差公式和 L-smooth 非凸随机优化界是有明确假设的经典分析;GPU 吞吐、大 batch 优劣和线性学习率缩放属于依赖具体系统及实验协议的工程判断,不是无条件定理。