人工智能:理论、算法与系统 · 第 33 课

第 5 周第 5 课|2026-11-21|18 分钟

LLM 推理量化:Weight-only、W8A8、FP8 与校准

上一课把 KV Cache 从 BF16 压缩为 INT8/INT4。本课换一个对象:模型权重和线性层的激活。关键问题是:为什么 4-bit 模型不一定比 BF16 快四倍?为什么 Weight-only 和 W8A8 在 Prefill/Decode 上可能表现不同?

学习目标:①推导分组量化的容量与误差;②理解 Activation Outlier 与 SmoothQuant;③区分 GPTQ/AWQ 的校准目标;④用 Roofline、TTFT/TPOT 和质量指标做公平比较。

一、先区分量化对象:W、A 与 KV 不是同一件事

设线性层输入矩阵 (X\in\mathbb R^{B\times d_{in}}),权重 (W\in\mathbb R^{d_{in}\times d_{out}}),输出 (Y=XW)。(B) 是本次参与矩阵乘法的 Token 数,而非一定等于请求数。

方案 权重 W 激活 A 主要用途与限制
BF16 16 bit 16 bit 质量参考、较宽动态范围
W4A16 INT4 通常 BF16/FP16 Weight-only,减权重容量与潜在读带宽
W8A8 INT8 INT8 可使用高效整数矩阵乘法,但需要激活 Scale
FP8 W8A8 FP8 FP8(指定的算子) 浮点低比特,需考虑 Scaling、硬件与内核
KV INT4 可以保持 BF16 可以保持 BF16 单独压缩 KV;不等于模型权重量化

这里 W4A16 是一种表示和计算路径的概括,不代表 GPU 必然以原生 4-bit 算术执行所有线性层。权重可能在融合 Kernel 中按块解量化,再参与更高精度运算。部分 Embedding、Norm、输出头或专家层也可能采用其他格式。

W4A16 不会自动量化 KV Cache;W8A8 也不意味着所有模型张量都是 8-bit。

二、均匀权重量化:从公式到存储字节

对一个权重分组,采用对称 (q)-bit 整数量化。为简化说明,取整数等级 ([-Q,Q]),其中 (Q=2^{q-1}-1)(例如 INT4 的 -7 到 7;实际实现也可能利用 -8 等其他编码)。定义:

[ s=\frac{\max_i |w_i|}{Q},\qquad u_i=\mathrm{clip}!\left(\mathrm{round}(w_i/s),-Q,Q\right),\quad \hat w_i=s u_i. ]

这里 (s>0);全零分组要用特别规则防止除零。非对称量化还会引入 Zero-point (z) 来移动整数零点。以上是 PTQ(Post-Training Quantization):训练完模型后再量化,不等于重新训练网络;QAT 则会在训练中模拟或考虑量化误差。

手算: INT4 组内 (w=(-0.92,0.2,1.4)),最大绝对值 1.4,所以 (s=1.4/7=0.2)。得到 (u=(-5,1,7)),反量化为 (\hat w=(-1.0,0.2,1.4))。第一个权重因舍入产生 -0.08 误差。若量化范围按旧 Scale 固定,而新值超出上界,则还可能发生饱和。

设共量化 (N) 个权重,每组 (G) 个,组元数据 (m) bytes,紧密打包且忽略尾组、对齐:

[ \boxed{M_{\mathrm{weight}}\approx N\left(\frac q8+\frac mG\right)\ \mathrm{bytes}.} ]

以 7B 个权重为教学示例,BF16 Payload 为约 14 GB;INT4 Payload 为约 3.5 GB。如果每 128 个权重再存 4 bytes 元数据,约增加 0.219 GB,因此总计约 3.72 GB,不是严格四倍压缩,也不是整机 HBM 占用。模型的 KV、激活、工作区与其他未量化权重仍需要额外容量。

三、误差如何传到线性层输出?

记 (\Delta W=\hat W-W)。先假设输入仍为高精度且没有其他算子变化:

[ \hat Y-Y=X(\hat W-W)=X\Delta W. ]

根据矩阵范数不等式:

[ \boxed{|\hat Y-Y|_F\le |X|_F|\Delta W|_2.} ]

这给出一个重要直觉:相同的权重量化误差,在不同输入激活上可能产生不同的输出误差。如果激活也量化为 (\hat X=X+\Delta X),那么:

[ \hat X\hat W-XW= X\Delta W+\Delta X W+\Delta X\Delta W. ]

因此 W8A8 的误差不仅来自权重,还来自激活,以及两种误差的交叉项。后续非线性、Softmax、层间传播和接近相等的候选 Logits 都可能放大对最终 Token 选择的影响。

四、激活离群点与 SmoothQuant:把难度从 A 搬到 W

假设某输入通道绝大部分激活落在 [-1,1],但偶尔达到 60。若整张量共享一个 INT8 Scale,大离群值迫使量化步长变粗,其他小值的相对误差可能增加。

SmoothQuant(ICML 2023)给出了一个重要的精确代数变换。取正的、可逆的对角矩阵 (S),则:

[ \boxed{Y=XW=(XS^{-1})(SW).} ]

对输入第 (j) 个通道除以 (s_j),同时把权重第 (j) 行乘以 (s_j),实数计算结果不变。方法利用校准激活与权重的幅值,选择通道缩放以平衡两边的量化难度。

例如 (X=(60,1), W=(1,2)^\top),输出是 62;取 (S=\mathrm{diag}(10,1)),变成 (X’=(6,1),W’=(10,2)^\top),输出仍为 62。大激活变小,但相应权重变大。等价的是缩放后的实数矩阵乘法,不是有限位宽量化后的结果。

flowchart TD
  A["原始线性层 Y=XW"] --> B["独立校准数据:统计激活各通道幅值"]
  B --> C["选缩放 S:激活减离群、权重承担部分范围"]
  C --> D["等价变换 X'=XS^-1;W'=SW"]
  D --> E["分别量化激活和权重,映射可用 INT8/FP8 Kernel"]
  E --> F["检查 Logits/质量与 TTFT/TPOT"]

SmoothQuant 论文把缩放与 W8A8 结合来缓解激活离群值问题。它的报告来自特定模型、校准集和推理 Kernel,并不是“所有 W8A8 在任何设备上无损”。

五、GPTQ 与 AWQ:都是 Weight-only,为什么校准思路不同?

从线性层重建角度,给定独立校准数据矩阵 (X_c),我们可以令量化权重尽量使本层输出接近原权重:

[ \boxed{\min_{\hat W\ \mathrm{quantized}}\ |X_c(W-\hat W)|_F^2.} ]

对某一个输出列,这个平方目标的二阶矩阵与 (X_c^\top X_c) 成比例。这不是整个语言模型端到端 Loss 的精确 Hessian。

GPTQ(ICLR 2023) 使用近似二阶信息对逐步量化引入的误差进行补偿,使低比特权重在校准层输出上尽量接近原网络。它不等于单纯把每个权重 Round-to-Nearest。

AWQ(MLSys 2024) 观察到对输出重要的权重与对应输入激活有关,利用校准激活统计寻找对量化更敏感的通道,并通过搜索权重缩放来保护这些权重,而不是实际把少数 FP16 权重逐项散落在 INT4 内核中。其常见部署形态仍为 Weight-only 低比特。

方法 核心处理 校准信息 需要记住的边界
RTN 按 Scale 直接舍入 可仅依赖权重 快速基线,不按输出敏感度补偿
GPTQ 近似二阶重建、误差补偿 校准层输入/激活 重建效果依赖采样与近似
AWQ 激活感知的通道缩放搜索 激活幅值/统计 不是直接对激活做 INT4
SmoothQuant 平衡激活与权重动态范围 激活与权重统计 常用于 W8A8,不保证量化无损

依据:GPTQ(ICLR 2023)、AWQ(MLSys 2024)、SmoothQuant(ICML 2023)。

六、为什么 W4A16 不一定比 W8A8 快?

对线性层 (X\in\mathbb R^{B\times d_{in}})、(W\in\mathbb R^{d_{in}\times d_{out}}),稠密矩阵乘法的近似 FLOPs:

[ \boxed{F\approx2B d_{in}d_{out}.} ]

若只看权重读 HBM 字节,BF16 约 (2d_{in}d_{out}),分组 W4 约 ((0.5+m/G)d_{in}d_{out})。因此理想化权重侧算术强度为:

[ I_{\mathrm{weight}}\approx \frac{2B}{b_w}\quad \mathrm{FLOPs/byte}, ]

其中 (b_w) 是含元数据的每权重有效字节数。

当 Decode Batch 很小时,同一轮很难用足一次权重读取,Weight-only 压缩可能明显减轻带宽压力。Prefill 的 (B) 较大,能够把权重读取摊到更多 Token;计算能力、激活流量与整数/FP8 Tensor Core 吞吐可能变得更重要。

Roofline 下界提示:

[ \boxed{t\gtrsim\max\left(F/\Pi, M/\mathrm{BW}\right).} ]

这只是计算和带宽下界;真实时延还受解量化、Scale 处理、Kernel 调度、Tensor Core 支持、KV、排队与显存容量影响。有时量化检查点会因缺少对应激活精度内核而 Fallback 到 Weight-only 路径,不能只看文件名宣称实际执行了 W8A8。当前 vLLM 的量化文档也明确讨论这种内核回退及严格模式。

因此,权重变成四分之一字节量,不保证 Prefill、TTFT、TPOT 或端到端吞吐有四倍收益。

七、FP8、校准集与公平对比

FP8 E4M3 与 E5M2 是低比特浮点,不是 INT8。E4M3 通常更重尾数精度、E5M2 更重动态范围;实际 FP8 路径可能使用 per-tensor 或更细粒度的 Scale,并在部分归约、Softmax、LayerNorm 中保留更高精度。

静态量化可用校准样本预先估计 Scale;动态激活量化会依据运行时输入生成 Scale,减少对单一固定范围的依赖,但增加在线统计或转换成本。不能把“动态”理解成“无需核验质量”。

合格的实验至少分离:校准集(统计 Scale/重建)、模型选择验证集(调参)、最终独立评测集(报告)。不要将最终 Benchmark 题目和答案拿去做校准或调参。

对 BF16、RTN W4A16、GPTQ/AWQ W4A16、SmoothQuant W8A8 与 FP8 逐项报告:权重与总 HBM 峰值、每层量化配置、实际 Kernel 类型、p50/p95 TTFT/TPOT、输出 Tokens/s、双 SLO Goodput、校准及转换代价、PPL/任务正确率与长上下文质量。分别扫描短/长 Prompt、短/长输出、小/大 Decode Batch 和并发压力;保持模型、采样策略、GPU 与请求流相同。

# 教学伪代码:不对应某个框架的精确 API
calibration = load_nonoverlapping_calibration()
validation = load_validation()
heldout = load_heldout_evaluation()

for method in ["bf16", "rtn_w4a16", "gptq_w4a16",
               "awq_w4a16", "smoothquant_w8a8", "fp8"]:
    model = quantize_with_calibration(method, calibration)
    assert verify_actual_kernel_and_activation_dtype(model)
    check_logits_and_layer_error(model, validation)
    for workload in fixed_prompt_decode_workloads():
        measure_ttft_tpot_goodput_memory_kernel(model, workload)
    evaluate_once_on_heldout(model, heldout)

易错反例

误区 更准确的结论
W4A16 等于整个服务 4-bit 通常只是选定权重 4-bit,A/KV 等可保持高精度
量化比例 4× 就是推理加速 4× Payload、Kernel、算力、内存、排队均需分别测
SmoothQuant 数学等价,所以 INT8 结果精确相同 缩放恒等式精确,随后舍入仍产生误差
GPTQ 就是权重逐个简单舍入 它使用近似二阶重建和补偿
AWQ 就是 INT4 激活量化 它主要是激活感知的 Weight-only 方法
校准集上误差小就保证所有任务不降 仍需独立质量评估与长期服务 SLO
Quantized checkpoint 标 W8A8 就保证实际 GPU 算子 W8A8 必须核实 Kernel 与是否发生 Fallback

理论与实证边界: 矩阵输出误差、字节数和 Roofline 来自显式假设;GPTQ、AWQ、SmoothQuant 的效果是给定论文及实现中的实证结果。实际部署请参考 vLLM 量化文档 与 TensorRT-LLM 数值精度说明。

八、四级递进自测(总分 100;首版不公布答案)

前三题客观判分,最后一题按分项评分。答题后逐题讲解,总分达到 80 继续、60–79 针对性补练、低于 60 复习再练。

Lv1|机制辨析(15 分)

考点:Weight-only 与 W8A8 的机制和边界;预计用时:2 分钟;题型:单选。

一个 Decoder-only LLM 在相同 GPU 上比较 W4A16(4-bit 权重、通常 16-bit 激活)与 W8A8(8-bit 权重和激活)。哪一项判断最严谨?

A. W4A16 一定让 KV Cache、优化器状态和总显存都严格缩小为原来的四分之一。

B. W4A16 主要减少被量化的权重存储与潜在带宽,W8A8 还需要对激活进行量化;真实性能取决于 Kernel、Batch 和硬件支持,数值误差也需评测。

C. 只要把权重存成 INT4,GPU 一定直接以 INT4 对任意矩阵乘法执行满速计算,无需解量化或格式转换。

D. W8A8 和 BF16 在实数计算中严格逐位相同,无须校准或独立质量评估。

提示(不泄题):分别问:减少了哪个张量的字节?计算时用什么数据类型?存储容量与执行时延是否等价?

Lv2|分组权重存储计算(20 分)

考点:带分组元数据的权重量化显存计算;预计用时:4 分钟;题型:数值。

某模型有 256 Mi(即 256×2^20)个需要量化的 Linear 权重,采用紧密打包 INT4;每 128 个权重额外保存 4 bytes 的 Scale/Zero-point 元数据,所有组恰好填满。另有 16 Mi 个参数仍以 BF16(每个 2 bytes)保存。忽略内存对齐、偏置、KV Cache 和其他缓冲。求上述所有权重的总存储量,单位 MiB(1 MiB=2^20 bytes)。只填数字。

提示(不泄题):分开计算 INT4 Payload、每组元数据,以及保留 BF16 的参数;注意 Mi 元素与 MiB 的换算。

Lv3|算法与系统多步判断(25 分)

考点:SmoothQuant 等价变换、GPTQ/AWQ 和 Roofline 多步推理;预计用时:6 分钟;题型:多选。

对于 Decoder-only LLM 线性层 Y=XW,考虑后训练量化、校准数据和真实 Serving。以下哪些说法成立?(多选)

A. 在精确实数运算且 S 为可逆对角矩阵时,(XS^{-1})(SW)=XW;但随后对两侧进行有限位宽量化仍可能产生误差。

B. 只要 INT4 权重的 Payload 比 BF16 小四倍,Prefill 与 Decode 的 TTFT/TPOT 就必然均缩短四倍。

C. GPTQ 可用校准激活构造层输出重建目标的近似二阶信息,并对量化误差进行补偿;它并非单纯按权重绝对值排序后逐个舍入。

D. AWQ 是 Weight-only PTQ 路线,利用激活统计辨识较敏感的权重通道并搜索缩放;不应误称为把所有激活直接量化到 INT4。

E. Per-tensor 激活量化遇到少数大幅值离群点时,量化步长可能过粗;SmoothQuant 通过等价缩放迁移部分量化难度,但仍需兼顾权重误差与 Kernel 效率。

F. 只要校准集上量化重建误差较低,就无需未见任务集、长上下文和 SLO 指标评估,也能保证部署质量。

提示(不泄题):把实数代数恒等式与舍入结果分开;检查三种方法到底改变的是权重、激活还是校准目标;最后用 Roofline 判断四倍压缩能否推出四倍加速。

Lv4|公式推导与系统实验(40 分)

考点:完整线性层量化推导与可复现实验设计;预计用时:15 分钟;题型:开放题。

为一个单节点 Decoder-only LLM 设计 BF16、W4A16、W8A8(INT8) 与 FP8 的量化推理对照。按四部分作答: A(12分)从 Y=XW 推导对称 q-bit 分组权重量化、Scale/Zero-point(允许选择对称方案),给出每组元数据带来的权重存储公式和输出误差 ΔY=X(Ŵ−W) 的一个范数上界,并解释离群值导致的饱和/精度问题。 B(10分)用可逆对角矩阵 S 推导 SmoothQuant 的实数等价变换,解释校准激活的意义、缩放参数可能的误差代价;再比较 GPTQ 和 AWQ 在校准信息及补偿机制上的区别。 C(10分)从线性层 FLOPs、权重Bytes与Roofline出发,分析为什么小 Batch Decode、长 Prompt Prefill 可能偏好不同量化方案,并说明何时量化/解量化开销或 Kernel fallback 使低比特不提速。 D(8分)设计公平实验:固定模型、Tokenizer、请求流、硬件与采样设定;校准集与独立评测集分离;测量权重/总峰值显存、TTFT/TPOT分位数、Tokens/s、双SLO Goodput、算子时间、PPL与下游质量,并报告异常/OOM及数值误差。

提示(不泄题):A 先数每个权重占 q/8 bytes,再按分组加元数据;B 对 X 的列与 W 的对应行做互逆缩放;C 估算小 Batch 下权重读取如何摊销;D 将校准、验证与系统负载分开。

九、下一课预告

第 34 课|2026 年 11 月 22 日|第 5 周第 6 课:Speculative Decoding 的精确性与接受率。 先推导 Draft–Verify 的接受/拒绝采样如何保持目标分布,再比较草稿模型、并行验证、加速比和内存/计算成本。第 35 课为本周复盘。