第26课|Batch Size、梯度累积与数据并行:从正确梯度到GPU吞吐

2026年11月14日|第4周第5课|约18分钟

上一课讨论 Warmup、Cosine、Gradient Clipping 与 Loss Spike。本课研究:GPU 越多,为什么训练不一定线性加速?有 Padding 时,把各 GPU 的平均 Loss 直接平均,甚至可能悄悄改变优化目标。

四个学习目标:推导全局有效 Token 梯度;理解 Batch 与梯度噪声;比较 DDP、ZeRO、FSDP 的显存/通信;设计可复现的 GPU 吞吐与质量实验。

一、四种容易混淆的 Batch 计数

设数据并行 GPU 数为 (P),每卡每个 Microbatch 有 (b) 条序列,每条序列的槽位长度为 (S),每次参数更新累积 (A) 个 Microbatch。假设各卡相同:

[ \boxed{B_{\mathrm{nominal}}=P\,A\,b\,S} ]

这是每个优化器 Step 处理的名义 Token Slots,不是监督 Token 的真实数量。若 (m_{pait}\in{0,1}) 是有效位置 Mask,则:

[ \boxed{N_{\mathrm{valid}}=\sum_{p=1}^{P}\sum_{a=1}^{A}\sum_{i=1}^{b}\sum_{t=1}^{S}m_{pait}.} ]

还要区分每次微前向的序列数、每步有效 Token Batch,以及整个训练过程累计处理的 Token 数。若 (r) 比例有效,则 (N_{\mathrm{valid}}=rPAbS);长度、Padding 不等时,必须使用实际计数。

例:(P=8,b=2,S=1024,A=4),名义 Batch 为 65,536 Token Slots;若恰好 75% 有效,则有效监督 Token 为 49,152。但无效 Slots 可能仍导致线性层/Attention 运算,吞吐和 FLOPs 不能简单按 75% 缩放。

二、梯度累积何时等价于物理大 Batch?

令 (\ell_{pait}(\theta)) 为第 (p) 卡、第 (a) 个 Microbatch、序列 (i) 的位置 (t) 的交叉熵。我们希望每个有效 Token 等权:

[ \boxed{ \mathcal L(\theta)=\frac{\sum_{p,a,i,t}m_{pait}\ell_{pait}(\theta)} {N_{\mathrm{valid}}} } ]

[ \boxed{ \nabla\mathcal L=\frac{\sum_{p,a,i,t}m_{pait}\nabla\ell_{pait}} {N_{\mathrm{valid}}}. } ]

例如两卡有效数为 2、6,局部平均 Loss 为 1、3。正确全局平均是 ((2\cdot1+6\cdot3)/8=2.5),而直接平均两卡局部均值仅为 2。同样的问题存在于梯度。如果每次 Microbatch 都先独立求均值再简单累加,也会错误地给予短序列和长序列同样权重。

典型 DDP 对 rank 的梯度做平均。若提前统计到整个累积窗口的全局有效 Token 数 (N_{\mathrm{valid}}),可以让每个 rank 反传自身有效 Loss 的和乘以 (P/N_{\mathrm{valid}}),再交给 DDP 平均得到正确全局梯度。无效位置 Mask 不应进入分母;全无效的窗口须特殊处理,不能除以零。

同一参数点的可分解 Loss,其梯度是各 Microbatch 梯度的线性和。因此在没有跨样本依赖、相同随机样本与状态的理想条件下,梯度累积等价于一个大 Batch。若使用依赖 Microbatch 统计的 BatchNorm、不同 Dropout 随机数、状态更新或浮点归约,不能要求位级一致。

DDP 可将前 (A-1) 个 Microbatch 的 Forward/Backward 置于 no_sync 范围,仅在最后一次同步;否则每个 Microbatch 都可能触发 AllReduce,并增大通信成本。模型参数只在完整累积窗口后更新一次。

三、Batch Size 与 Gradient Noise Scale

令每个独立样本的随机梯度 (g_i) 的均值为 (\mu),协方差为 (\Sigma),并假设独立同分布、二阶矩有限。大小为 (B) 的 Batch 平均梯度:

[ \bar g_B=\frac1B\sum_{i=1}^B g_i. ]

因为不同样本协方差交叉项为零:

[ \boxed{\mathbb E[\bar g_B]=\mu,\qquad \operatorname{Cov}(\bar g_B)=\Sigma/B.} ]

由二阶矩分解:

[ \boxed{\mathbb E|\bar g_B|_2^2=|\mu|_2^2+\operatorname{tr}(\Sigma)/B.} ]

一个有用的启发式噪声尺度为:

[ \boxed{B_{\mathrm{noise}}\approx\frac{\operatorname{tr}(\Sigma)}{|\mu|_2^2}.} ]

当 (B) 远小于此尺度时,噪声项可能较重要;当 (B) 远大于此尺度时,继续加大 Batch 对平均梯度方差的收益递减。但是 noise scale 不是严格的普适临界 Batch:接近驻点时 (|\mu|) 可能很小;Token 相关、数据分布漂移、AdamW 预条件也让估计更复杂。固定有效训练 Token 预算时,大 Batch 会减少优化器更新次数,方差下降不保证最终 Loss 更低。

数值例:若 (|\mu|^2=4)、(\mathrm{tr}(\Sigma)=64),则尺度为 16。Batch 4 的噪声贡献是 (64/4=16);Batch 64 的是 (64/64=1)。这解释梯度更稳定,不等于直接给出了最优训练 Batch 或学习率。

McCandlish 等(2018)的《An Empirical Model of Large-Batch Training》实证研究了噪声尺度与有用 Batch 的关系;具体拟合范围并非普适定理。

四、DDP 的模型复制与 AllReduce

常规 DistributedDataParallel(DDP)给各 GPU 一份模型副本与优化器状态,每卡运行不同数据,反向产生本地梯度,再用 AllReduce 获得一致的平均梯度,各副本使用同一更新。流程是:

flowchart TD
  DATA["训练样本"] --> SPLIT["按数据 rank 切分"]
  SPLIT --> G0["GPU0:复制模型 / 本地梯度"]
  SPLIT --> G1["GPU1:复制模型 / 本地梯度"]
  SPLIT --> GP["GPU P-1:复制模型 / 本地梯度"]
  G0 --> AR["Gradient AllReduce"]
  G1 --> AR
  GP --> AR
  AR --> OPT["各副本执行一致的 AdamW 更新"]

若所有梯度共 (M) 字节,经典 Ring AllReduce 在理想情况下每个 rank的数据搬运约为:

[ \boxed{V_{\mathrm{ring}}\simeq 2(P-1)M/P.} ]

这不是精确延迟:还有网络带宽、启动延迟、拓扑、通信分桶、反向计算与通信重叠。DDP 的梯度 bucket 可以在部分反向计算仍进行时开始通信,不能把全部通信时间与全部计算时间机械相加。

固定每卡负载而增加 (P) 属于弱扩展的典型配置,会增大全局 Batch;固定全局 Batch 而增加 (P) 是强扩展,单卡微批变小,可能损害矩阵乘法利用率。同样的 GPU 数量扩展,优化问题和系统问题都可能发生变化。

五、ZeRO / FSDP:减少常驻状态,换来参数通信

用一种理想化 FP16+AdamW 状态模型计数:每参数 FP16 权重 2 bytes、FP16 梯度 2 bytes、FP32 master 权重 4 bytes、Adam 一阶/二阶动量各 4 bytes,共 16 bytes/parameter。这不是所有混合精度配置的统一公式。

技术 参数 梯度 Adam 优化器状态
DDP 复制 复制 复制
ZeRO-1 复制 复制 分片
ZeRO-2 复制 分片 分片
ZeRO-3 / Full-shard FSDP 分片(计算时按需聚合) 分片 分片

假设 (N=10^9) 参数、(P=8),只统计长期模型状态,按十进制 GB 计:

方式 每参数每卡近似字节数 每卡理想模型状态
DDP 16 16.00 GB
ZeRO-1 (4+12/8=5.5) 5.50 GB
ZeRO-2 (2+14/8=3.75) 3.75 GB
ZeRO-3 (16/8=2) 2.00 GB

这些数值没有包含激活、通信缓冲、AllGather 时临时恢复的参数、内存碎片、额外缓存或检查点开销;特别不能据此说 ZeRO-3 的实际峰值显存只有 2 GB。

参数分片之后,一个算子仍需要使用当前层的完整权重,常用 AllGather 临时获得,Backprop 后用 ReduceScatter 聚合并分发梯度。PyTorch FSDP2 的 fully_shard 文档明确描述了按模块 all-gather 参数、可选 forward 后 reshard 及 backward 的 reduce-scatter。这是与常规 DDP“主要同步梯度”的不同通信模式。

flowchart LR
  S["每卡保存参数分片"] --> A["AllGather 当前层参数"]
  A --> F["计算 Forward / Backward"]
  F --> R["ReduceScatter 梯度"]
  R --> U["本地 shard 的优化器更新"]

FSDP 的实际通信量与峰值内存取决于 wrap 粒度、预取、reshard 策略和设备拓扑,不能仅按 ZeRO-3 公式推断具体性能。

六、训练吞吐与“更快到达好模型”不是一回事

名义吞吐是 Token Slots/s,有效监督吞吐为:

[ \boxed{R_{\mathrm{valid}}=\frac{\text{实际参与损失的 Token 总数}}{\text{墙钟时间}}.} ]

真正训练决策还需要比较达到同一验证 Loss 所需时间(time-to-quality)。当全局 Batch 变大,固定 Token 预算下 Step 减少,可能影响收敛与学习率计划;当分片加深,常驻显存下降,但通信量和临时峰值可能上升。

用受控实验扫描 (P,A,b):固定模型/Tokenizer/数据混合、总有效 Token、尽可能相同的 FLOPs、评估集和随机种子集合;显式记录学习率按 Step 还是按 Token 推进。报告:固定 held-out Loss、time-to-quality、有效 Token/s、GPU 显存峰值、通信关键路径比例、optimizer step 时间、梯度范数及 Loss Spike。

教学伪代码(说明数学顺序,非可直接运行的分布式 API):

# 提前统计整个累积窗口 across ranks 的有效 token 总数
global_valid = all_reduce_sum(valid_tokens_over_local_A_microbatches)
assert global_valid > 0
optimizer.zero_grad()
for a, batch in enumerate(microbatches):
    with no_sync_on_all_but_last_microbatch(a, A):
        logits = model(batch.inputs)
        local_sum = masked_token_ce_sum(logits, batch.labels)
        # 普通 DDP 最终对 P 个 rank 的梯度取平均
        (P * local_sum / global_valid).backward()
# 混合精度:unscale、非有限值检查、全局范数裁剪
optimizer_step_after_safe_checks()

在真正 DDP 中,no_sync 必须正确包住相关 Forward 和 Backward;如果每卡有效数量不同,还要确认相同数量的通信调用、梯度缩放、分片归一化和空批处理规则。

七、易错反例与理论边界

误解 更严谨的结论
全局 Token Batch 永远等于 (PAbS) 有 Loss Mask 时应统计有效 Token
本地平均再 DDP 平均一定正确 不同有效 Token 数应按 token 权重聚合
累积一定逐位等于大 Batch 数学梯度可等价,状态与浮点实现未必相同
Batch 大就一定更快达到同一质量 固定 Token 预算下更新次数减少
DDP 会自动分片优化器状态 常规 DDP 复制状态
ZeRO-3 消灭了参数通信 参数通常要按层 AllGather
2GB 分片状态就意味着 2GB 峰值 HBM 还有激活、临时参数、通信等

经典统计结论是梯度均值的 (1/B) 协方差规律;Ring AllReduce 的数据量是通信算法的理想化分析。梯度噪声尺度、ZeRO、FSDP 的具体性能来自实证研究与系统实现,不能保证任何任务中有固定倍数提升。

参考资料:An Empirical Model of Large-Batch Training(2018);ZeRO(2019/2020);PyTorch DDP;PyTorch FSDP2 fully_shard。


八、四级递进自测(总分 100)

首版讲义不显示标准答案。前三题客观判分,第四题开放评分。80 分及以上继续;60–79 分针对性补练;低于 60 分复习再练。

Lv1|机制辨析(15 分|考点:不等长数据并行中的优化目标|预计 2 分钟|单选)

两张 GPU 做数据并行,rank 0 有 3 个有效监督 Token,rank 1 有 9 个。各卡先对本地有效 Token 的 Loss 求均值,再用普通 DDP 平均两卡梯度。哪项判断最准确?

A. DDP 会自动根据有效 Token 数加权本地均值,所以肯定等于全局 Token 均值。

B. 两卡有效 Token 数不同,等权平均本地均值梯度通常改变目标;应按有效 Token 数加权,并考虑 DDP 的平均因子。

C. 只要梯度累积步数足够大,错误的本地归一化就会自动变正确。

D. Loss Mask 只影响最终评估,不会影响训练梯度。

提示:比较“每张卡的平均梯度各占一半”和“每个有效 Token 都占同一权重”是否相同。

Lv2|全局梯度计算(20 分|考点:全局有效 Token 的加权梯度|预计 4 分钟|数值)

某标量参数 θ 的梯度来自两张 GPU:rank 0 有 3 个有效 Token,本地平均梯度为 2;rank 1 有 9 个有效 Token,本地平均梯度为 6。所有有效 Token 等权参与同一个全局平均损失。求正确的全局梯度 ∂L/∂θ(填十进制数)。

请填写十进制数。

提示:先恢复每张卡的梯度总和,再除以全局有效 Token 数。

Lv3|Batch、方差、状态分片推理(25 分|考点:Token Batch、统计方差、通信与状态分片|预计 6 分钟|多选)

设数据并行卡数 P、每卡每次前向 b 条序列、长度 S、梯度累积 A 次。存在 Padding/Loss Mask,采用 AdamW。哪些陈述成立?(多选)

A. 无论各卡有效 Token 数是否相等,普通 DDP 等权平均各卡平均梯度都严格等于全局 Token 均值梯度。

B. 固定 b、S、A 且先不考虑 Mask,P 翻倍会使名义每步 Token Batch 翻倍;固定训练 Token 预算时优化步数约减半。

C. 单样本梯度独立同分布、二阶矩有限时,B 个样本的平均梯度协方差按 1/B 缩小。

D. 普通 DDP AllReduce 会自动把模型参数、梯度及 AdamW 状态全部按 P 分片。

E. ZeRO Stage 2 典型地分片优化器状态和梯度,但仍复制参数;Stage 3 进一步分片参数并引入按需通信。

F. 累积步数 A 翻倍并减小 b 保持全局 Batch 不变,一定使每次更新的总通信量和墙钟耗时严格减半。

提示:分别写名义 Token Batch、独立样本均值的方差,区分 DDP 的复制与 ZeRO 的三阶段分片。

Lv4|完整推导和多 GPU 实验(40 分|考点:训练目标推导、噪声尺度、分片与实验设计|预计 15 分钟|开放题)

设计 8×GPU Decoder-only 预训练(允许变长 Packing、Loss Mask、AdamW 和混合精度)。A(12分):定义 P、A、b、S 与有效 Token 数,写出全局 Token-mean Loss 和梯度;解释 DDP+累积如何避免不同 rank/microbatch 的归一化错误。B(10分):假设单样本梯度独立同分布,均值 μ、协方差 Σ,推导 Batch 平均梯度的协方差和一种梯度噪声尺度指标,说明临界 Batch 的局限。C(10分):比较 DDP、ZeRO-1/2/3、FSDP 的三类状态(参数、梯度、优化器状态)以及通信;用 1B 参数、8 GPU、理想化每参数 16 字节状态模型估算每卡长期状态显存,说明忽略项。D(8分):设计等有效训练 Token/FLOPs 下扫描 Batch、累积与 GPU 数的消融,列出质量、有效吞吐、通信与稳定性指标。

提示:A 先把所有有效 Token 的 Loss 求和再除以全局有效数;B 从独立协方差求和开始;C 逐项计数并区别常驻和临时张量;D 不要把等 Batch 等同于等墙钟时间。


九、下一课预告

第 27 课|2026 年 11 月 15 日|第 4 周第 6 课:混合精度、激活重计算与 GPU 训练吞吐。

将推导 BF16/FP16/FP8 的数值边界、Activation Checkpointing 的存储—重计算权衡、MFU/HFU 与通信重叠。第 28 课(2026 年 11 月 16 日)为第四周复盘兼第一次阶段考核。