第 27 课|混合精度、激活重计算与训练吞吐

2026 年 11 月 15 日|第 4 周第 6 课|预计 18 分钟

上一课讨论了有效 Token Batch、DDP、ZeRO 与 FSDP。本课把注意力转向单卡内部:为什么张量从 BF16 降到 FP8 不一定让训练显存减半?为什么多算一次 Forward 反而可能让原本 OOM 的训练运行起来?为什么 GPU 利用率更高也不一定代表更快完成训练?

本课目标:理解数值格式的范围—精度权衡;推导 Activation Checkpointing 的空间—计算交换;正确使用 MFU、HFU 与有效 Token/s;设计公平的 GPU 性能实验。

一、训练显存并非只有模型权重

训练时 GPU 内存大致包含模型参数、梯度、优化器状态、为反向保存的激活、通信与临时缓冲:

[ M_{\mathrm{peak}}\approx M_{\mathrm{weights}}+M_{\mathrm{grads}}+M_{\mathrm{optim}}+M_{\mathrm{activations}}+M_{\mathrm{temporary}}. ]

这是便于预算的分项示意,不是任何时刻严格同时占用的恒等式。峰值还受内存生命周期、碎片、Allocator 与分片策略影响。

假设 1B 参数使用一种 FP16+AdamW 配置:FP16 权重 2 B、梯度 2 B、FP32 主权重 4 B、Adam 两份 FP32 动量各 4 B,则仅这些状态每参数 16 B,约 16 GB(十进制)。即使某些矩阵乘法改用 FP8,优化器状态、激活和临时内存也不会自动变成原来的一半。

二、FP16、BF16、FP8 如何用有限位数表达实数?

一般浮点数(正常数)的简化表达为:

[ x=(-1)^s\,2^{e-\mathrm{bias}}\,(1.f). ]

符号位决定正负;指数位主要控制动态范围;尾数/小数位决定相邻可表示数的精细程度。

格式 符号/指数/尾数位 常见权衡
FP16 1 / 5 / 10 尾数相对细,指数范围有限
BF16 1 / 8 / 7 指数范围近似 FP32,但尾数较粗
FP8 E4M3 1 / 4 / 3 相对更精细的 FP8 尾数,更窄范围
FP8 E5M2 1 / 5 / 2 更大 FP8 范围,更粗精度

在数值 1 附近,正常数的相邻间距通常为 (2^{-p}),其中 (p) 为小数位数。例如 BF16 在 1 附近的向上间距是 (2^{-7}=0.0078125),FP16 是 (2^{-10}\approx0.0009766)。BF16 范围大,不代表比 FP16 更精确。

在常见 NVIDIA FP8 定义中,E4M3 最大有限正数为 448;E5M2 的最大有限正数为 57344。它们的特殊值规则不同,不能简单按通常 IEEE 指数规则推算所有边界。硬件是否支持某个精度的 Tensor Core 必须另行确认。

FP8 为什么通常需要 Scale?

令 (F_{\max}) 为选择格式的最大有限幅值,选择缩放系数 (s>0)。一种教学化的量化/反量化写法是:

[ q=\operatorname{round}{\mathrm{FP8}}!\left(\operatorname{clip}!\left(\frac{x}{s},-F{\max},F_{\max}\right)\right), \qquad \widehat x=sq. ]

例如某 E4M3 张量的最大绝对值为 896,选择 (s=2) 时,896 会先变成 448 再存入 FP8。若后续出现 1000,则 (1000/2=500) 超出范围并被截断,反量化后最多得到 896。这说明旧 Scale 面对新异常值会饱和。

也要监测接近零的值被舍入为零、异常 NaN/Inf,以及 Scale 估计本身是否稳定。实际实现可能使用按张量、按通道或按块缩放及不同更新策略;“使用 FP8 训练”通常是混合精度计算方案,而非所有权重、归约、优化器状态一律 FP8。

三、Activation Checkpointing:放弃保存,反向时重算

在训练中,反向传播需要一些前向中间激活。完全保存它们可以减少反向计算,但会占用显存。

Activation Checkpointing(激活检查点/重计算)不等于磁盘训练 Checkpoint。它选择性保留某些边界激活,在反向传播需要时重新执行相关前向计算以恢复中间值。

例如连续四层 (f_1,f_2,f_3,f_4):

flowchart LR
  X["x₀:保留"] --> F1["f₁"] --> F2["f₂"] --> X2["x₂:保留"]
  X2 --> F3["f₃"] --> F4["f₄"] --> Y["x₄:输出"]
  X2 -. "Backward 时重算 f₃、f₄ 的内部激活" .-> F4

它没有改变理想数学模型的函数定义;在随机算子、浮点数和有状态操作存在时,必须保证重算与原前向足够一致。PyTorch 当前的 torch.utils.checkpoint 文档推荐显式使用 use_reentrant=False,并说明 RNG 与非重入实现的边界。

为什么存在 (\sqrt{L}) 的经典空间折中?

采用简化的顺序网络模型:有 (L) 层,单个保存边界或层内临时激活需要约 (h) 字节;每 (k) 层保存一次边界。

存储的边界数约为 (L/k),反向重算当前一段时的临时深度约为 (k)。因此峰值激活空间的示意上界:

[ \boxed{M_{\mathrm{act}}(k)\sim h\left(\frac Lk+k\right).} ]

对连续的 (k>0) 求导:

[ \frac{d}{dk}\left(\frac Lk+k\right)=-\frac L{k^2}+1=0 \quad\Longrightarrow\quad \boxed{k^*\approx\sqrt L.} ]

于是最佳量级约为 (2h\sqrt L),而朴素保存每层边界是 (O(Lh))。这是简化分段重计算模型的结论;真实 Transformer 同层有多个不同大小的激活、临时内存和重计算算法,不能把它当成任意模型峰值显存的精确公式。

手算:36 层模型

假设每个边界激活 (h=32) MiB,层数 (L=36)。

  • 不采用重计算,仅按每层边界计:(36\times32=1152) MiB。
  • 每 6 层一个段,(L/k+k=6+6=12),示意峰值:(12\times32=384) MiB。

这里 1152 MiB 和 384 MiB 不是整个模型的真实训练峰值:还没有算每层内部张量、权重、梯度、优化器、通信以及 Autograd 暂存。重算通常增加 FLOPs 和时延,具体大小依赖粒度。

如果只重算大内存而低重算成本的部分(如某些 Attention 中间量),而保留昂贵的矩阵投影结果,便形成 Selective Recomputation。2022 年的研究《Reducing Activation Recomputation in Large Transformer Models》讨论了这种折中,但其中的节省比例不能直接迁移到任意 GPU、序列长度或 FlashAttention 内核。

四、重算和 FP8 对 GPU 吞吐意味着什么?

先定义有效 Token/s:每秒真正进入监督目标、具有有效 Loss Mask 的训练 Token 数。应同时报告实际 Batch、上下文长度、累积步数和设备数量。

对于稠密 Decoder-only 模型,粗略模型 FLOPs/Token 为 (6N),其中 (N) 为参数量。因此:

[ \boxed{\mathrm{MFU}\approx \frac{6N\,R_{\mathrm{valid}}}{P\,F_{\mathrm{peak}}}} ]

其中 (R_{\mathrm{valid}}) 为全局有效 Token/s,(P) 为 GPU 数,(F_{\mathrm{peak}}) 为每卡与计算精度口径相符的峰值 FLOP/s。

硬件 FLOPs 利用率(HFU)在常见定义中把实际执行的重计算等 FLOPs 也计入分子,MFU 则尽量只计算模型本身需要的 FLOPs。因此在同一分母与统计口径下 HFU 可高于 MFU;但更多重算让 HFU 升高并不表示训练更快或质量更好。精确口径需要明确,因为分析工具使用的模型 FLOP 公式、实际 kernel FLOP 计数并不总相同。

数值例子

假设 (N=3\times10^9)、4 卡、总有效吞吐 8000 Token/s、每卡按选定精度假设峰值 120 TFLOP/s,则:

[ 6N R=6\times3\times10^9\times8000 =1.44\times10^{14}\;\mathrm{FLOP/s}. ]

合计峰值是 (4.8\times10^{14}) FLOP/s,所以 (\mathrm{MFU}\approx0.30)。这是另一个独立的教学算例,不是任何型号 GPU 的实测结果。

Roofline 的系统直觉

对一个 Kernel,性能同时受算力和内存带宽约束。若执行 (F) 次算术、搬运 (M) 字节,粗略下界是:

[ \boxed{T\gtrsim\max!\left(\frac F{\Pi_{\mathrm{eff}}},\frac M{\mathrm{BW}_{\mathrm{eff}}}\right).} ]

Activation Checkpointing 增加计算、减少保存的中间激活;FP8 可能减少某些矩阵输入/输出的数据量并提高受支持的 Tensor Core 吞吐。但 GPU 实际性能还取决于 Scale 处理、Kernel 启动、HBM、激活生命周期、AllReduce/AllGather、输入数据加载和通信重叠。

总训练速度不能由“FP8 比 BF16 少一半位数”直接推出 2 倍,也不能由较高 HFU 推出较高有效 Token/s。

五、把四个优化杠杆放在同一张图里

flowchart TD
  A["训练吞吐 & 峰值显存"] --> B["数据:Packing / 有效 Token 比例"]
  A --> C["数值:BF16 / FP16 / FP8 + Scale"]
  A --> D["激活:保留 / 选择性重算 / 全层重算"]
  A --> E["分布式:DDP / FSDP + 通信重叠"]
  B --> F["有效 Token/s 与 Time-to-Quality"]
  C --> F
  D --> F
  E --> F
  F --> G["验证 Loss、数值稳定性、FLOPs、HBM、Wall-clock"]

选择哪种优化,需要同时检验数值正确性与端到端实际收益。一个可能的场景是:完整保存激活会 OOM,启用重计算后可以增加 Microbatch,提高矩阵计算利用率,因此即使多做了 FLOPs,也可能改善最终可运行配置。另一个场景是:本来显存充足,重计算只会带来额外开销。

六、正确性与性能的可复现实验

在硬件确实支持 FP8 训练且实现经过验证的前提下,设计 3×3 对照:

训练数值方案 无重计算 选择性重计算 全层重计算
FP16 + 正确 Loss Scaling 测 测 测
BF16 测 测 测
FP8 混合精度 + Scale 测 测 测

固定模型架构、Tokenizer、数据混合、训练有效 Token 预算、评测集、硬件、分布式配置及随机种子组。学习率可以分别做同等调参预算,避免用某种格式的错误超参制造不公平结果。

先做小模型/小张量的参考对照:检查 Forward Logits、梯度相对误差、Inf/NaN、Scale 饱和率、随机 Dropout 一致性与参数更新。然后记录稳定状态的峰值已分配/保留显存、有效 Token/s、每步耗时、通信与重算开销、MFU/HFU,以及固定预算后的验证损失和 Time-to-Quality。

# 教学伪代码:示意,不等同于特定框架完整 API
for precision in ["fp16", "bf16", "fp8_mixed"]:
    for ckpt in ["none", "selective", "full"]:
        configure_precision_and_scaling(precision)
        configure_activation_checkpoint(ckpt)
        reset_model_optimizer_rng_and_data_order()
        verify_forward_backward_against_reference()
        warmup_and_synchronize()
        stats = train_fixed_valid_tokens()
        report(stats.valid_tokens_per_s,
               stats.peak_memory, stats.nonfinite_count,
               stats.validation_loss, stats.mfu, stats.hfu)

对于 Checkpoint,特别要防止重算阶段改变 Dropout 随机性或改变模型的状态;对于 FP8,还要检查局部溢出及量化误差沿层积累。实际选择应基于同等质量下的训练时间和成本,而不是只看单个 Kernel 的峰值吞吐。

七、易错反例与研究边界

误解 正确边界
BF16 比 FP16 “精度更高” BF16 指数范围更大,但尾数精度更粗
FP8 使全部训练显存必然减半 优化器、部分累积、梯度、缓存及缓冲可能仍用更高精度
Activation Checkpoint 会把模型写到磁盘 这里是内存中的激活保留与反向重算
(\sqrt L) 公式精确预测所有模型峰值 只适用于其假设下的顺序分段简化模型
更多重计算一定更慢或一定更快 取决于显存约束、Microbatch 与计算—带宽瓶颈
HFU 较高意味着更快达标 重算会提高执行 FLOPs;仍须看 Time-to-Quality

经典理论:浮点表示、链式法则、分段存储优化和 Roofline。系统实证:特定 GPU 上的 FP8 性能、选择性重计算收益和实际 MFU/HFU,需要提供设备、Kernel、模型形状和测试条件。

参考资料: NVIDIA PTX:数值格式;NVIDIA Transformer Engine FP8 Primer;PyTorch Activation Checkpoint 文档;Reducing Activation Recomputation in Large Transformer Models(2022)。


八、四级递进自测(100 分)

首次授课不展示答案。 四题分别测试数值格式、吞吐计算、重计算边界与完整实验设计。Lv1(15分)、Lv2(20分)、Lv3(25分)客观判分,Lv4(40分)按推导和实验方案评分;80+继续、60–79针对性补练、低于60复习再练。

Lv1|数值格式与训练机制(15 分|预计 2 分钟|单选)

在 Decoder-only 预训练中,团队想将 FP16 改为 BF16,并尝试 FP8 矩阵乘法。下列哪项机制判断最准确?

A. BF16 与 FP16 都是 16 bit,所以指数范围、尾数精度完全相同。

B. BF16 的指数位通常比 FP16 多、尾数位更少;FP8 常需缩放与选择计算算子,不能默认所有训练状态都用 1 字节存储。

C. FP8 E4M3 的表示范围必然大于 BF16,因此绝不需要检查溢出。

D. Activation Checkpointing 的主要作用是把 AdamW 动量由 FP32 自动转换成 FP8。

提示:区分指数范围、尾数精度、矩阵乘法输入与优化器状态;不要把存储格式位宽直接等同于整个训练的显存比例。

Lv2|模型吞吐 MFU 数值(20 分|预计 4 分钟|数值)

某稠密 Decoder-only 预训练使用 N=2×10^9 个参数,8 张 GPU;按教学近似,每个有效训练 Token 的模型计算量为 6N FLOPs。8 卡合计有效吞吐为 16000 Tokens/s;按当前精度的约定,每张 GPU 峰值为 100 TFLOP/s(1 TFLOP/s=10^12 FLOP/s)。求该配置的 Model FLOPs Utilization(MFU),填写 0 到 1 的小数。

请填写 0 到 1 的十进制数。

提示:先计算每秒模型 FLOPs=6N×全局有效 Tokens/s,再除以 8 张卡的合计峰值 FLOP/s;注意单位 10^12。

Lv3|重计算、随机状态与指标边界(25 分|预计 6 分钟|多选)

考虑 Transformer 训练中的 Activation Checkpointing、选择性重计算与 MFU/HFU,下列哪些陈述成立?(多选)

A. 将某个计算块设置为 Activation Checkpoint 后,数学上必须改变该块的函数定义和训练标签,才能回传梯度。

B. 在顺序网络中只保留若干块边界激活、反向时重算中间激活,可用额外 FLOPs 换取更低的激活常驻内存。

C. 若重计算区域含随机 Dropout 或其他有状态操作,需注意随机状态和计算一致性,否则可能影响正确梯度。

D. FP8 使用 8 bit 存储,所以无论优化器、激活缓存、通信和临时张量如何,训练峰值显存必然恰好减半。

E. 若按定义 HFU 将实际执行的重计算 FLOPs 计入而 MFU 只计算模型所需 FLOPs,二者可能不同;HFU 更高不必然表示同等质量训练更快。

F. Full Activation Recomputation 在所有 GPU 和所有序列长度上都必然比完全保存激活速度更快。

提示:分别判断数学函数是否改变、重计算是否免费、随机算子是否需要一致状态,以及硬件做了更多 FLOPs 是否必然更有用。

Lv4|量化与重计算的推导及公平实验(40 分|预计 15 分钟|开放题)

设计一项 8 GPU、稠密 Decoder-only 预训练实验,以比较数值精度、Activation Checkpointing 和真实 GPU 吞吐。A(12 分):说明 FP16/BF16/FP8 E4M3/E5M2 的指数—尾数权衡,给出 FP8 缩放量化/反量化公式和非有限/饱和检测,说明哪些状态应保留更高精度。B(12 分):对 L 层顺序 Transformer,每层边界激活大小为 h,按每 k 层设重算边界的简化模型,推导保存激活量 O(h(L/k+k)) 及 k 的最优量级,说明该估计的假设与重计算开销。C(8 分):给出有效 Token/s、MFU、HFU 的口径,解释重计算和不同 Tensor Core 峰值如何影响跨配置比较。D(8 分):设计至少 3 种精度 × 3 种重计算策略的公平消融,列出正确性、数值、性能、显存、通信和模型质量指标。

请按照 A、B、C、D 四部分组织回答。

提示:A 先写符号/指数/尾数与 x≈s·round_FP8(x/s);B 将边界数 L/k 和单段临时层数 k 相加并最小化;C 明确峰值 FLOPs 采用哪个精度;D 区分模型计算量、额外重计算量与 GPU 实际运行时间。

九、下一课预告

第 28 课|2026 年 11 月 16 日|第四周第 7 课:第四周复盘与第一次阶段考核。

我们将贯通 Tokenization、预训练数据去重/混合、Scaling Laws、训练稳定性、DDP/FSDP 与今天的混合精度/重计算,用新的数值推导、系统设计题检查前四周的核心知识,并明确下一阶段进入推理和 KV Cache 的学习路线。