人工智能:理论、算法与系统 · 第 9 课
SGD 为什么会波动?Mini-batch 方差、收敛与系统吞吐
2026 年 10 月 28 日|第 2 周第 2 课|约 18 分钟
上一课我们证明:对 $L$-smooth 目标,精确梯度下降在 $0<\eta<2/L$ 时有单步下降保证。然而大型模型几乎不可能每更新一次参数就完整扫描所有训练数据。于是今天研究三个紧密关联的问题:
- 随机梯度究竟“随机”在哪里? 它的期望和方差怎么计算?
- 为什么 SGD 的损失会反复上下波动? 无偏梯度为什么还不足以保证每步下降?
- batch size 增大到底改变什么? 是每次更新质量、更新次数、GPU 吞吐,还是最终泛化性能?
学完应能从公式独立推出 $\operatorname{Var}(G_B)\propto1/B$ 的适用条件、非凸 SGD 的预期梯度范数界,并正确设计公平的批量大小对照实验。
一、全批量梯度、随机梯度与小批量梯度
固定有限训练集 $S={z_1,\ldots,z_N}$,定义经验目标:
[ F(w)=\frac1N\sum_{i=1}^{N}\ell(w;z_i). ]
记每个样本的梯度为 $g_i(w)=\nabla_w\ell(w;z_i)$,则完整经验梯度为:
[ \boxed{G(w)=\nabla F(w)=\frac1N\sum_{i=1}^{N}g_i(w).} ]
全批量 GD 每步计算全部 $N$ 个样本梯度;单样本 SGD 每步只取一个索引;mini-batch SGD 每步取 $B$ 个样本,把梯度平均:
[ \boxed{G_B(w)=\frac1B\sum_{j=1}^{B}g_{I_j}(w),\qquad w_{t+1}=w_t-\eta_tG_B(w_t).} ]
先明确抽样假设: 暂时固定当前位置 $w$,让 $I_1,\ldots,I_B$ 独立、均匀、有放回地从 ${1,\ldots,N}$ 抽取;假设样本梯度有限。在此条件下,$G_B$ 是条件于 $w$ 的随机向量。
单个随机样本满足:
[ \mathbb E[g_{I_j}(w)\mid w] =\frac1N\sum_{i=1}^{N}g_i(w)=G(w). ]
利用期望的线性性:
[ \boxed{\mathbb E[G_B(w)\mid w]=G(w).} ]
这称为无偏梯度估计。含义是“重复随机抽样后的平均方向正确”,而不是“每一次抽样的方向都正确”,更不意味着每步经验损失都会下降。
容易混淆的两种随机性:这里分析的是固定数据集上抽取索引的随机性;训练集本身来自总体分布时,还有数据采样造成的另一层随机性。两种期望不能不加说明地混用。
二、为什么 mini-batch 梯度方差是 $1/B$?
定义偏差向量:
[ \xi_j=g_{I_j}(w)-G(w),\qquad \mathbb E[\xi_j\mid w]=0. ]
单样本梯度的总方差(平方欧氏距离的期望)记为:
[ \sigma_w^2=\mathbb E[|\xi_j|2^2\mid w] =\frac1N\sum{i=1}^{N}|g_i(w)-G(w)|_2^2. ]
注意 $\sigma_w^2$ 是梯度向量的平方范数方差,不是损失值的方差,也不是单个坐标的方差。
由于:
[ G_B-G=\frac1B\sum_{j=1}^{B}\xi_j, ]
有:
[
\begin{aligned}
\mathbb E[|G_B-G|^2\mid w]
&=\frac1{B^2}\mathbb E\left[\left|\sum_{j=1}^B\xi_j\right|^2\middle|w\right]
&=\frac1{B^2}\left(\sum_j\mathbb E|\xi_j|^2+
2\sum_{j<k}\mathbb E[\xi_j^\top\xi_k]\right).
\end{aligned}
]
因为不同抽样索引独立,且每个 $\xi_j$ 的均值为零,所以交叉项为零:
[ \boxed{\mathbb E[|G_B-G|^2\mid w]=\frac{\sigma_w^2}{B}.} ]
同时展开 $G_B=G+(G_B-G)$,还能得到:
[ \boxed{\mathbb E[|G_B|^2\mid w] =|G|^2+\frac{\sigma_w^2}{B}.} ]
直觉: batch 增大,独立噪声相互抵消,平均梯度会更稳定;但梯度方差缩小四倍并不等于训练速度必然加快四倍。
数值例子:有放回与无放回不同
某个固定参数处有四个一维样本梯度:
[ g_1=0,\quad g_2=2,\quad g_3=4,\quad g_4=6. ]
完整梯度为:
[ G=\frac{0+2+4+6}{4}=3. ]
单样本梯度方差:
[ \sigma_w^2=\frac{(0-3)^2+(2-3)^2+(4-3)^2+(6-3)^2}{4}=5. ]
若 $B=2$、独立有放回,则:
[ \mathbb E[(G_B-3)^2]=\frac52=2.5. ]
若改为从四个样本中均匀无放回抽取两个,方差修正为:
[ \boxed{\mathbb E[|G_B-G|^2\mid w] =\frac{N-B}{B(N-1)}\,\sigma_w^2} ]
(使用本课定义的 $1/N$ 总体方差)。代入 $N=4,B=2$:
[ \frac{4-2}{2(4-1)}\times5=\frac53\approx1.667. ]
无放回抽样减少了样本间重复造成的方差;而当 $B=N$ 时,它给出精确全批量梯度,方差为零。
重要边界: 常见的“每个 epoch 随机打乱数据,再依次取批次”也不是每一步都满足上述条件独立抽样:在已观察前面批次的条件下,剩余样本分布会变。因此逐步条件无偏的经典证明不能不加修改地套用到所有 random reshuffling 实现。
三、无偏 SGD 为什么不保证损失单调下降?
我们现在把随机梯度和上一课的下降引理联系起来。
假设经验目标 $F$ 是 $L$-smooth:
[ F(v)\le F(w)+\nabla F(w)^\top(v-w)+\frac L2|v-w|^2. ]
随机更新为 $w^+=w-\eta G_B$,代入:
[ F(w^+)\le F(w)-\eta G^\top G_B+\frac{L\eta^2}{2}|G_B|^2. ]
对给定 $w$ 的小批量随机性取期望,使用刚才的两个等式:
[
\begin{aligned}
\mathbb E[F(w^+)\mid w]
&\le F(w)-\eta|G|^2
+\frac{L\eta^2}{2}\left(|G|^2+\frac{\sigma_w^2}{B}\right)
&=\boxed{F(w)-\eta\left(1-\frac{L\eta}{2}\right)|G|^2
+\frac{L\eta^2\sigma_w^2}{2B}}.
\end{aligned}
]
与精确 GD 相比,多出来一项:
[ \underbrace{\frac{L\eta^2\sigma_w^2}{2B}}_{\text{随机梯度噪声带来的上界项}}. ]
即便 $0<\eta<2/L$,正的噪声项仍可能抵消负的下降项,所以无法据此保证每步损失单调下降。
这还有一个容易忽视的细节:
[ \boxed{\mathbb E[F(w-\eta G_B)\mid w]\ne F(w-\eta\,\mathbb E[G_B\mid w])} ]
一般不成立等号,因为 $F$ 是非线性函数。梯度无偏不等于更新后损失无偏。
当 $0<\eta\le1/L$,可以写出更简洁的上界:
[ \boxed{\mathbb E[F(w^+)\mid w] \le F(w)-\frac\eta2|G|^2+\frac{L\eta^2\sigma_w^2}{2B}.} ]
如果当前梯度很大、噪声较小,期望下降比较容易;如果接近驻点,真实梯度项很小而噪声还存在,就可能在附近反复波动。
一个代入数字的例子
设当前 $|G|=2$、$L=4$、$\sigma_w^2=16$、$B=8$、$\eta=0.1$。由完整的期望下降上界:
[
\begin{aligned}
\mathbb E[F(w^+)\mid w]-F(w)
&\le -0.1(1-4\times0.1/2)\times 4
+\frac{4\times 0.1^2\times16}{2\times8}
&=-0.32+0.04=-0.28.
\end{aligned}
]
因此期望损失变化的一个上界为 $-0.28$。注意不是说每次更新都恰好下降 $0.28$;也不能反过来在上界为正时声称损失一定增加。
四、进一步推导:非凸 SGD 能保证收敛到什么程度?
这一节是今天的理论主线。假设:
- $F$ 是 $L$-smooth 且下有界:$F(w)\ge F_{\inf}$;
- 每步梯度估计在给定当前参数下无偏;
- 条件方差一致有界:$\mathbb E[|G_B-\nabla F|^2\mid w]\le\sigma^2/B$;
- 使用固定步长 $0<\eta\le1/L$,连续运行 $T$ 次。
由上一节:
[ \mathbb E[F(w_{t+1})\mid w_t] \le F(w_t)-\frac\eta2|\nabla F(w_t)|^2+\frac{L\eta^2\sigma^2}{2B}. ]
再对训练过程的随机性取全期望,并重新整理:
[ \frac\eta2\mathbb E|\nabla F(w_t)|^2 \le \mathbb E F(w_t)-\mathbb E F(w_{t+1}) +\frac{L\eta^2\sigma^2}{2B}. ]
将 $t=0,\ldots,T-1$ 相加,右侧函数值出现望远镜求和:
[ \frac\eta2\sum_{t=0}^{T-1}\mathbb E|\nabla F(w_t)|^2 \le F(w_0)-\mathbb E F(w_T) +\frac{TL\eta^2\sigma^2}{2B}. ]
由 $F(w_T)\ge F_{\inf}$:
[ \boxed{ \frac1T\sum_{t=0}^{T-1}\mathbb E|\nabla F(w_t)|^2 \le \frac{2[F(w_0)-F_{\inf}]}{\eta T} +\frac{L\eta\sigma^2}{B}. } ]
设 $\Delta=F(w_0)-F_{\inf}$。这条界由两个不同部分组成:
[ \underbrace{\frac{2\Delta}{\eta T}}{\text{优化尚未完成}} \quad+\quad \underbrace{\frac{L\eta\sigma^2}{B}}{\text{随机噪声残留}}. ]
固定 $\eta,B$ 并增加 $T$,第一项会变小,但第二项不会自动消失。增大 $B$ 或减小 $\eta$ 可以减小这一理论上界里的噪声项,但减小 $\eta$ 也会让第一项变大;必须考虑权衡。
若在步长上界允许的范围内选择随 $T$ 衰减、适当平衡两项的步长,则可以得到经典的预期一阶驻点收敛量级。它不是非凸全局最优保证,也不是每步单调下降保证。
这里的 $T$ 是优化器更新次数,不是样本数、epoch 数或墙钟秒数。把这四种预算混为一谈,会直接导致错误的实验结论。
五、batch size 增大四倍,训练就快四倍吗?
假设数据集样本数 $N=12000$,训练 $E=3$ 个 epoch,且批量都整除 $N$。
| 设置 | 每个 epoch 更新次数 | 三个 epoch 总更新次数 | 总样本贡献数 |
|---|---|---|---|
| $B=100$ | $12000/100=120$ | $360$ | $36000$ |
| $B=400$ | $12000/400=30$ | $90$ | $36000$ |
对于固定 epoch 预算:批量大四倍,参数更新少四倍,但处理的数据总量并没有少四倍。
用一份简化的 GPU 成本模型直观理解:
[ T_{\rm train}\approx (\text{updates})\times(\text{time per update}). ]
大 batch 往往可以提高矩阵乘法利用率、摊薄 kernel launch 和通信开销;但时间每步也可能增长、显存占用增大、最后受到算力或带宽的瓶颈。真实执行还有预取、流水和通信重叠,不能把所有项机械相加。
因此要区分:
- sample throughput:每秒处理的训练样本数(samples/s);
- update throughput:每秒完成的参数更新数(steps/s);
- time-to-quality:达到某个验证集质量阈值的实际秒数。
GPU 吞吐提升,不一定意味着达到同等验证质量所需的时间缩短;大 batch 每个 epoch 更新次数减少后,有时还需要调整学习率、训练轮数和优化器设置。
“batch 增大 $k$ 倍就把学习率乘 $k$”是一种在某些场景下常用的工程启发式,不是由上面的 $1/B$ 方差公式直接证明出来的通用定理。实际效果依赖 warmup、优化器、模型和训练阶段。
六、梯度累积:显存不够时可以模拟大 batch 吗?
设期望的有效 batch size 为 $256$,单次 GPU 显存只能运行 micro-batch $64$。
如果样本损失能够逐项相加,且整个累积窗口内参数固定,那么:
[ \frac1{256}\sum_{i=1}^{256}\nabla\ell_i(w) = \frac14\sum_{k=1}^{4} \left[\frac1{64}\sum_{i\in\mathcal B_k}\nabla\ell_i(w)\right]. ]
也就是说,可以累积四个微批的平均梯度,最后只做一次优化器更新:
optimizer.zero_grad()
for microbatch in four_microbatches:
loss = mean_loss(model(microbatch), microbatch.labels)
(loss / 4).backward() # 每次保留梯度,不调用 optimizer.step()
optimizer.step() # 有效 batch = 4 × microbatch
成立的必要前提包括:在微批之间不更新参数;微批大小/损失权重正确;没有会根据单个微批改变前向或梯度的机制;相同随机状态下仅考虑数值舍入误差。
一个重要反例是 BatchNorm:其归一化依赖每个 micro-batch 的均值和方差,四次 64 样本各自归一化,通常不等于 256 样本一起归一化。因此梯度累积并不总是精确模拟大 batch。
类似地,“每个微批先做 gradient clipping 再累积”通常不同于“累积完整梯度后再裁剪”,因为裁剪是非线性操作。混合精度和舍入顺序也可能带来可观测差异。
七、三种对照协议:如何公平比较不同 batch size?
如果目标是发表研究或诊断优化行为,不能只固定一个含糊的“训练时长”。建议同时呈现三种预算:
- 固定 epoch(等样本处理量):对齐经过多少训练样本,但大 batch 的 optimizer updates 更少。用于比较同等数据消费下的结果。
- 固定 update steps:对齐参数更新次数,但大 batch 通常读取更多训练样本,计算预算不再相同。用于研究优化器更新层面的行为。
- 固定墙钟时间:对齐真实训练成本,记录样本吞吐、更新吞吐、峰值显存、能耗(若可测)和验证性能。用于判断系统效率与 time-to-quality。
所有对照尽可能固定数据划分、模型、损失、初始权重、硬件、精度和评估协议,并使用多个随机种子。不同 batch 对学习率可能有不同最优区间,应同时报告“相同学习率”的控制实验与“独立调参后最好结果”,避免只给某一方有利的预算。
下面的 Mermaid 图将“梯度精度”与“系统吞吐”分开:
flowchart TD
A["选取 batch size B"] --> V["统计路径:条件梯度方差约 σ²/B"]
A --> U["优化路径:每 epoch 更新数约 N/B"]
A --> S["系统路径:矩阵利用率、显存和通信"]
V --> Q["单步随机性与期望下降界"]
U --> Q
S --> T["samples/s 与 steps/s"]
Q --> R["验证集质量曲线"]
T --> R
R --> F["比较 time-to-quality"]
八、三个容易出错的反例
反例一:“无偏”所以“每一步都下降”。 错。梯度估计的均值是完整梯度,不意味着任何一个采样结果都等于它;况且非线性函数不允许直接把期望移入 $F$。
反例二:“batch 增大四倍,方差一定降到四分之一”。 只在相应独立有放回抽样与有限二阶矩条件下成立。无放回需要有限总体修正;跨机器样本相关、采样非均匀、按批次做非线性裁剪等都可能改变无偏性或方差公式。
反例三:“大 batch 训练一定泛化差”。 不是普适定理。模型、学习率调度、训练步数、正则化、数据和评估协议都可能改变结论。当前课程公式并未证明任何单调的泛化优劣关系。
九、小结
[ \boxed{\mathbb E[G_B\mid w]=\nabla F(w)} \qquad \boxed{\mathbb E|G_B-\nabla F|^2=\sigma_w^2/B} ]
[ \boxed{\mathbb E[F(w^+)\mid w]\le F(w) -\eta(1-L\eta/2)|\nabla F|^2+L\eta^2\sigma_w^2/(2B)} ]
[ \boxed{\frac1T\sum_{t<T}\mathbb E|\nabla F(w_t)|^2 \le\frac{2\Delta}{\eta T}+\frac{L\eta\sigma^2}{B}} ]
今天的核心判断:batch size 同时影响梯度估计方差、每个 epoch 的更新次数和硬件吞吐;任何“更快、更稳、更能泛化”的主张,都必须明确固定的是哪一种预算。
四级递进自测(共 100 分;首次不公布答案)
前三题客观判分;第四题按推导与实验设计的评分要点批改。请一次提交四题答案;答后逐题解释,按总分决定继续、补练或复习。
Lv1|无偏性与单步下降的逻辑边界
15 分|考点:无偏性与单步下降的逻辑边界|预计 2 分钟|单选
固定当前参数 w,使用从有限训练集均匀、有放回、相互独立抽取的 B 个样本构造小批量平均梯度 G_B,并假设每个单样本梯度存在。下列哪项说法最准确?
A. E[G_B∣w]=∇F(w) 意味着对任意实际抽到的小批量,都有 F(w−ηG_B)≤F(w)。
B. E[G_B∣w]=∇F(w),但非线性的目标值 F(w−ηG_B) 的期望不能简单地用 F(w−η∇F(w)) 代替。
C. 因为抽样有放回,G_B 的期望通常偏离全训练集梯度,只有遍历完整数据才无偏。
D. 只要梯度估计无偏,增大 B 就一定降低每个 epoch 的总浮点运算量。
可选提示:把“梯度这一随机向量的期望”与“更新后非线性损失函数的期望”分开考虑;还要区分每次抽到的样本与期望。
Lv2|二维随机梯度方差计算
20 分|考点:二维随机梯度方差计算|预计 4 分钟|数值题
某固定参数处,4 个训练样本的二维梯度分别是 g₁=(−1,2)、g₂=(1,2)、g₃=(3,2)、g₄=(5,2)。均匀独立有放回抽取 B=4 个样本,取平均梯度 G_B。令 G=(g₁+g₂+g₃+g₄)/4,计算 E[‖G_B−G‖₂²]。填写一个十进制数。
请给出十进制数值。
可选提示:先求二维总体平均,再求每个样本到平均梯度的平方欧氏距离;有放回独立样本的均值方差是单样本方差的 1/B。
Lv3|更新步数、梯度计算量、梯度累积的对比
25 分|考点:更新步数、梯度计算量、梯度累积的对比|预计 6 分钟|多选
训练集 N=10240,训练 E=5 个完整 epoch;分别使用 B=128 与 B=512。假设每个 epoch 恰好遍历全部样本、无丢弃末批且每个批次恰好做一次优化器更新。下列哪些陈述成立?(多选)
A. B=128 时共有 400 次参数更新;B=512 时共有 100 次参数更新。
B. 两个设置各自的单样本梯度贡献计算次数都是 51200 次(不计额外实现开销)。
C. B=512 的每个 epoch 优化器更新次数比 B=128 更多。
D. 只因 B 从 128 增至 512,真实墙钟训练时间就必然缩短为四分之一。
E. 若损失可按样本相加、期间不更新参数且没有依赖微批统计量的操作,那么 4 个 B=128 微批正确累积并平均梯度,在精确算术中可复现一个 B=512 大批次的梯度。
可选提示:分别算每个 epoch 的更新次数 N/B 和总样本处理量 EN;另外仔细检查“吞吐必然四倍”和“累积时中途是否改变参数”。
Lv4|随机梯度理论证明与实验对照设计
40 分|考点:随机梯度理论证明与实验对照设计|预计 15 分钟|开放题
【A|12分】设 F 是 L-smooth,给定 w 时 E[G_B∣w]=∇F(w),且 E[‖G_B−∇F(w)‖²∣w]≤σ²/B。从下降引理推导一步随机更新 w⁺=w−ηG_B 的条件期望上界,指出噪声项来自哪一步。【B|12分】再假设 F(w)≥F_inf、0<η≤1/L、使用固定 η 迭代 T 次。严格推出平均预期梯度范数平方的界,并解释它为什么不保证每步损失下降或到达全局最优。【C|8分】设计公平实验比较 B=32 与 B=256:分别说明固定 epoch、固定更新步数与固定墙钟时间时各自应报告什么,以及如何记录 sample throughput、update count、验证集性能。【D|8分】给出一个使“8 个 B=32 微批累积梯度 = 一个 B=256 大批训练更新”不再严格成立的机制,解释数学或计算上的原因,并提供实验核查办法。
可选提示:A 先展开 E‖G_B‖² 并使交叉项消失;B 对条件期望式逐步取期望后望远镜求和;C 不要把 epoch、step、秒数混为一谈;D 关注微批内统计量、非线性梯度变换或中途状态变化。
下一课预告
第 10 课|2026 年 10 月 29 日:Momentum、Nesterov 与 Adam——梯度为什么要“记忆”?
我们将从病态二次目标上的振荡出发,推导动量的递推与指数加权平均,讨论自适应学习率和偏差修正,分清改善训练速度的直觉与严格收敛条件。
经典理论与研究边界:本课的无偏性、方差公式和 L-smooth 非凸随机优化界是有明确假设的经典分析;GPU 吞吐、大 batch 优劣和线性学习率缩放属于依赖具体系统及实验协议的工程判断,不是无条件定理。