人工智能:理论、算法与系统 · 第 32 课

KV Cache 量化、分级卸载与带宽—精度权衡

2026 年 11 月 20 日|第 5 周第 4 课|讲授约 18 分钟

前两课分别讨论 Continuous Batching 和 PagedAttention/Prefix Caching。今天研究一个更尖锐的问题:长上下文请求已经持有大量 KV,GPU HBM 不够用时,究竟应该量化、卸载、驱逐还是重新计算? 为什么「KV 压缩四倍」不代表「推理加速四倍」?

学习目标:推导带 Scale 元数据的低比特 KV 容量;用误差传播分析量化对 Attention 的影响;建立 HBM—CPU—远端存储的加载/重算成本模型;设计能同时衡量模型质量和在线 SLO 的实验。

一、先确定瓶颈:KV 不只是占空间,还要反复读

对于标准全量因果注意力的 GQA 模型,设 L 层、Hkv 个 KV Head、每头 dh 维、B 个请求、每条长度 T、每元素 b 字节。KV 本体容量为:

\[\boxed{M_{\rm KV}=2LBTH_{\rm kv}d_h b}\]

前面的 2 代表 Key 和 Value。这里只数 KV 数组:不包括权重、Paged KV 内碎片、Block Table、通信缓冲和其他临时张量;若使用 Sliding Window、MLA、KV 分片或稀疏注意力,公式需相应修改。

一个新 Decode Query 仍要与历史 Key 计算分数,并用 Attention 权重汇总 Value。即使历史 KV 不是每步都全数从 HBM 取出,缓存更大往往意味着更高的潜在显存流量。因此 KV 优化至少有两种不同收益:减小驻留容量,从而接纳更多请求;降低每轮读取字节,从而有机会改善吞吐或 TPOT。

二、从 BF16 到 INT8/INT4:容量并不只由位宽决定

假设 KV 元素总数为:

\[n=2LBTH_{\rm kv}d_h.\]

BF16 时 b=2,故 M_BF16=2n。理想 INT8 Payload=n bytes;理想紧密打包 INT4 Payload=n/2 bytes。它们相对 BF16 的 Payload 理论比值分别是 1/2 和 1/4。

但真实量化还要存 Scale、Zero-point、对齐/填充,有时还保留最近一段高精度 KV。若每 G 个元素组成一组,每组元数据 m bytes,忽略分组尾数与打包对齐,则:

\[\boxed{M_q\approx n\left(\frac q8+\frac mG\right),\quad q\in\{4,8\}}\]

其中 q/8 是每元素 Payload 字节数。若保留最近 R(不超过 T)个 Token 的 BF16 KV,记 n_r=2LBRHkv dh,则:

\[\boxed{M_{q,R}\approx(n-n_r)\left(\frac q8+\frac mG\right)+2n_r.}\]

如果不同层/Token 的策略不同,应逐区求和,不要直接套一个全局 R。

手算示例:L=16、B=2、T=1024、Hkv=8、dh=128,n=67,108,864。BF16 本体是 128 MiB;INT4 Payload 为 32 MiB。假设每 64 个元素另有 4 bytes 元数据(例如两个 FP16 参数),元数据为 4 MiB,所以总计 36 MiB,有效压缩比 128/36≈3.56 倍,而非严格 4 倍。实际内存还可能因 Packing 与 KV Block 对齐而不同。

三、均匀量化如何发生误差?

对于一组数 x,采用 q-bit 无符号整数区间 0 到 2^q−1,简化的非对称均匀量化定义:

\[s=\frac{x_{\max}-x_{\min}}{2^q-1}, \qquad z=\operatorname{round}(-x_{\min}/s),\] \[u=\operatorname{clip}\!\left(\operatorname{round}(x/s)+z,\ 0,\ 2^q-1\right),\qquad \hat x=s(u-z).\]

s 是 Scale,z 是 Zero-point;真实实现还会处理 s=0、零点截断、动态校准及特殊值。另一种常见实现是对称量化,例如有符号 INT4:

\[u=\operatorname{clip}(\operatorname{round}(x/s),-8,7),\qquad \hat x=su.\]

若 s=0.25,x=[−0.50,0.20,1.70] 会近似映射为 u=[−2,1,7],重建值 [−0.50,0.25,1.75]。若 x=3.0,则会因上限 7 而饱和到 1.75。这说明误差不仅来自舍入,也来自超出校准范围的饱和。

分组越小通常越能适应局部动态范围,但 Scale 元数据与 Kernel 处理成本增加。分组越大,极端值可能拉大 s,使其他元素的分辨率下降。Key 和 Value 的统计特征也未必相同,不能假设同一分组方向始终最佳。

四、量化为什么可能改变最终输出 Token?

考虑当前 Query q_t 和第 j 个历史 Key:

\[z_j=\frac{q_t^\top k_j}{\sqrt{d_h}},\qquad p=\operatorname{softmax}(z).\]

当量化后 (\hat k_j=k_j+\Delta k_j):

\[\Delta z_j=\frac{q_t^\top\Delta k_j}{\sqrt{d_h}}.\]

由 Cauchy–Schwarz:

\[\boxed{|\Delta z_j|\le\frac{\|q_t\|_2\|\Delta k_j\|_2}{\sqrt{d_h}}.}\]

这里暂时假设 Query 没被量化、位置编码与其他运算一致。Key 误差会改变 Softmax 分数,从而改变对所有 Value 的混合权重。

若 Value 也量化为 (\hat v_j=v_j+\Delta v_j),量化前输出为 (o=\sum_jp_jv_j),量化后为 (\hat o=\sum_j\hat p_j\hat v_j)。加减中间项得到:

\[\boxed{\hat o-o=\sum_j(\hat p_j-p_j)v_j+\sum_j\hat p_j\Delta v_j.}\]

第一项是 Key 引起的注意力权重变化,第二项是 Value 数值自身的误差。所以即使 Value 无误差,Key 仍可能改变输出;反之,Key 不变也不能保证输出无误差。多个层的误差还可能传播到最后的 Logits。

更关键的是,两个候选输出 Token 的 Logits 若非常接近,很小的数值扰动也可能翻转贪心采样的 argmax。因此需要衡量困惑度/任务准确率、长文本检索、长链推理和输出一致性,而不只检查 K/V 的均方误差。

五、KIVI 为什么对 K、V 使用不同量化方向?

KIVI(ICML 2024)在论文研究的模型里发现,Key 往往存在特定通道的离群特征,因此采用 Key per-channel 量化;Value 更适合 per-token 量化。它使用低比特历史区域及近期高精度残留区域,以适配逐 Token 增量生成。论文报告在特定模型和工作负载上,2-bit KV 实现减少峰值内存并改善吞吐;这些数据不是任意模型的固定收益。

KVQuant(NeurIPS 2024)进一步探索了 per-channel Key、离群值处理、非均匀量化及在 RoPE 前量化 Key 等策略。这里说的是特定方法及实验结果,而不是一个无条件适用于任何位置编码的规则。

工程实践也存在 FP8 KV。例如 vLLM 的公开文档描述了 FP8 KV、Scale 校准与不同量化粒度的支持。FP8 是浮点格式,INT8/INT4 是整数表示;不要混为一谈。是否有可用的融合解量化 Kernel、能否以量化域直接做 Attention,以及硬件是否支持,会决定是否真正加速。

六、分级缓存:同一个 KV 应该放 HBM、CPU 还是远端?

KV 分级管理可以将热的、正在 Decode 使用的 KV 保留在 GPU HBM,把已经完成但未来可能复用的不可变前缀 KV 放到 CPU DRAM,甚至远端存储。一个可能的路径:

flowchart TD
  A["请求到达:计算完整前缀身份"] --> B{"GPU HBM 中命中?"}
  B -->|是| C["共享 GPU KV,开始增量计算"]
  B -->|否| D{"CPU / 远端命中?"}
  D -->|是| E["估计加载时间 vs 重算 Prefill"]
  D -->|否| F["正常 Prefill 建立 KV"]
  E -->|加载更划算且资源可行| G["迁移/解压/校验后放入 GPU"]
  E -->|重算更划算| F
  G --> C
  F --> C
  C --> H["活跃 Decode 保护必需 KV"]
  H --> I["请求结束:按引用计数释放,冷块可保留"]
  I --> J["容量不足时回收低价值零引用块"]

分级 Offloading 和第 31 课的 Paged KV / Prefix Caching 是不同维度:分页解决内存布局;Prefix Caching 判断是否可复用;Offloading 判断复用的数据放在哪一级、如何传输。

最重要的安全条件是:不能把仍被活跃请求依赖的 KV 当作可随意覆盖的空闲块。跨模型版本、LoRA、位置编码、量化 Scale、不同租户权限等也必须满足缓存身份与访问隔离约束。若将活跃请求 KV 换出,恢复前需要可靠的状态传输或重新计算,并将额外等待时间计入 SLO。

七、读回还是重算?用时间模型决定

假设待恢复 KV 大小为 M bytes,从某一级传输的有效带宽为 W bytes/s;固定发起/调度成本 t0,解压或转换成本 td。粗略写成:

\[\boxed{t_{\rm load}\approx t_0+\frac MW+t_d.}\]

如果重新 Prefill 的时间为 (t_{\rm recompute}),且两种方案结果都有效,则最简单的判据是:

\[\boxed{\text{优先加载的必要比较: }t_{\rm load}<t_{\rm recompute}.}\]

这不是完整的全局调度最优条件:还要考虑 GPU 与传输能否重叠、等待队列、链路竞争、是否影响其他请求 TPOT,以及 TTFT 的尾部 SLO。

数值示例(纯教学假设):512 MiB 的压缩前缀,从有效带宽 32 GiB/s 的通道读取,理想数据搬运时间约 16 ms。若固定开销 8 ms、解压 4 ms,则 t_load≈28 ms。若相同条件下重新 Prefill 需 45 ms,加载的孤立路径估计更短约 17 ms;若链路拥塞或命中检查使加载超过 45 ms,结论就可能翻转。不能把远端 Cache Hit 自动视为低延迟。

LMCache 和 vLLM 的分级 KV Offloading 为这类设计提供了实际系统接口。具体版本可能支持 CPU、额外存储层、异步传输与缓存复用;“异步”只意味着可以尝试重叠,不保证传输成本完全消失。

八、为什么要同时优化精度、驻留与调度?

看三个彼此不等价的动作:

动作 主要节省 主要代价或风险
INT8/INT4 KV 量化 KV 容量与潜在 HBM Traffic Scale/Zero-point、解量化、数值误差
CPU/远端 Offloading GPU HBM 驻留容量、跨请求持久复用 传输/排队/恢复成本、跨层级带宽
Evict + Recompute 彻底释放 KV 容量 未来命中时需要重复 Prefill

在单个工作流内部,可能有等待工具调用的暂停状态、即将继续的 Agent 和可复用的静态前缀。CPU Offloading 看似适合等待中的会话,但是否真正值得保留,应比较恢复概率、传输时间、重算时间和当前 HBM 压力。

可以定义一个研究用的启发式(不是既有系统的定理或默认算法):对可回收缓存块 i,估计窗口内命中概率 p_i、避免重算的时间收益 r_i、加载开销 l_i、保留所需容量 s_i,优先保留较大的

\[v_i=\frac{p_i\max(0,r_i-l_i)}{s_i}.\]

这个评分忽略了共享前缀依赖、占用期间的机会成本及复杂队列效应,只能作为待验证基线。

九、公平实验:先判断有没有真正省时间

固定同一模型、Tokenizer、位置编码、输入/输出分布、GPU/CPU/网络环境及采样设定,设计以下配置:BF16 KV 基线、FP8 KV、INT4 KV;每组再比较 GPU-only 与 CPU/远端 Offloading(仅在该配置可运行时)。不要将模型权重量化的影响混入 KV 量化对照。

输入覆盖短/长 Prompt、短/长输出、冷/热共享前缀、不同到达率及 KV 紧张状态。量化需要代表性校准数据,但评估数据不得泄漏给校准;每种格式应使用相同资源预算做合理调参。

至少报告:KV Payload 与元数据分别占用多少、Peak GPU HBM、实际 HBM/PCIe/网络 Bytes、量化/解量化 Kernel 时长、CPU 读写开销、重算 Token、缓存命中率;以及 p50/p95/p99 TTFT、ITL/TPOT、Requests/s、双 SLO Goodput、任务质量与长上下文准确率。特别检查活跃请求的 KV 一致性、租户隔离与异常恢复。

# 教学伪代码;真实工程还需并发锁、异步事件与设备数据校验
def obtain_prefix(request):
    identity = full_prefix_model_adapter_position_quant_config(request)
    if gpu_cache.contains(identity):
        return gpu_cache.acquire(identity)
    tier = search_cpu_or_remote(identity)
    if tier is not None:
        load_cost = estimate_transfer_and_decode(tier, identity)
        recompute_cost = estimate_prefill(request)
        if load_cost < recompute_cost and kv_capacity_allows(identity):
            return restore_and_validate(tier, identity)
    return prefill_and_cache(request)

def evict_if_needed():
    # 只从可释放或可安全换出的块中选择
    victim = choose_zero_reference_cache_block()
    persist_if_valuable_and_authorized(victim)
    free_gpu_block(victim)

经典理论与研究证据的边界:张量容量计算、量化误差界和传输时间公式来自可检查的数学假设;KIVI、KVQuant、vLLM/LMCache 的具体加速比与最佳量化粒度来自不同模型、硬件及系统实现的实验,不能直接互相替代。

参考资料:

十、易错反例

常见错误 严谨结论
INT4 就是整个服务显存除以四 只压缩所覆盖 KV 的 Payload,其他状态、Scale 和缓存仍存在
KV 量化不改变模型行为 Score 与 Value 都可能受扰动,输出 Token 可能变化
高命中率保证低 TTFT 远端加载可能比重算慢,还存在排队
CPU/远端缓存和 GPU HBM 同样快 层级、互连、数据搬运与同步不同
Offloading 等于无损释放活跃请求 KV 活跃请求在恢复前仍须有正确可用的状态
降低容量必然提升 TPOT Kernel 解量化、带宽和其他瓶颈共同决定
更低量化误差一定换来更高 Goodput Goodput 还受到并发、队列及 SLO 影响

十一、四级递进自测(100 分)

首版不展示答案。 Lv1(15分)、Lv2(20分)、Lv3(25分)客观判分;Lv4(40分)按推导与实验方案评分。总分 80 分及以上继续,60–79 分针对性补练,低于 60 分复习再练。

Lv1|区分 KV 量化、前缀复用与卸载的机制(15 分|预计 2 分钟|单选)

某因果 Decoder-only 服务已经启用 Prefix Caching,计划增加 INT4 KV 量化与 CPU Offloading。下列哪项解释最准确?

A. INT4 KV 量化只修改模型权重,不会影响缓存的 K/V 数值及 Attention 输出。

B. 把 KV 搬到 CPU 后,GPU 每一步 Decode 都能免费读取该 KV,且一定比重新 Prefill 快。

C. KV 量化用更少位数近似存储 K/V,可能引入数值误差;Offloading 改变缓存驻留层级,需要比较迁移与重算成本;两者都不自动消除稠密 Attention 的历史依赖。

D. Prefix Cache 命中后,同一请求每个后续 Decode Token 都无需再访问历史 K/V。

提示:分清存储位宽、缓存所处设备、因果注意力访问三个不同维度;不要把“省空间”误写成“免费计算”。


Lv2|GQA KV 元素计数、INT4 Packing 与 Scale 元数据(20 分|预计 4 分钟|数值)

一个 GQA 模型有 20 层、4 个 KV Head、Head Dimension 为 128;同时有 3 条请求,各缓存 2048 Token。K 和 V 都采用紧密打包的 INT4(每元素 4 bit),每 128 个 KV 元素额外保存 4 bytes 的 Scale/Zero-point 元数据,所有组刚好填满。忽略碎片、其他缓冲和高精度残留。请计算 KV 总存储量,单位 MiB(1 MiB=2^20 bytes)。

请填写数值,不附单位。

提示:先按 K 与 V 两份、层数、请求数、长度、头数和头维计算元素数;再分别计算 4 bit/元素的 Payload 与每组元数据。


Lv3|误差传播、卸载判据与端到端性能边界(25 分|预计 6 分钟|多选)

对一个全量因果 Attention 的在线 LLM 服务,考虑 KV Quantization、CPU/远端 Offloading 和缓存恢复。以下哪些陈述成立?(多选)

A. INT4 Payload 可比 BF16 小,但 Scale/Zero-point、非量化窗口和 Padding 会使总 KV 显存节省比例通常不等于理想的四倍。

B. 只要远端 KV 是 Cache Hit,即使网络很慢、传输有固定开销,也严格保证 TTFT 比重新 Prefill 更低。

C. 若 Key 的量化误差为 Δk_j,则某一 Query 的 Attention Score 误差满足 Δz_j ≤   q   ₂   Δk_j   ₂/√d_h(假设 Score 为 q·k_j/√d_h)。

D. 如果 Value 完全无误差,Key 的量化误差就绝不可能改变 Attention 输出,因为 Softmax 权重不依赖 Key。

E. 只有量化 KV 在真实 Kernel 中减少了足够的 HBM 流量、且解量化开销受控,才可能体现为 Decode 延迟下降;省容量不等于保证提速。

F. 为避免 CPU→GPU 传输,所有活跃请求的 KV 都应立即永久驱逐到 CPU,恢复时无需同步或校验。

提示:分开推导 4 bit 的真实字节预算、QK 分数的误差界,并比较额外解量化/传输时间与节省的工作量。


Lv4|量化公式与误差、带宽/重算决策、系统实验设计(40 分|预计 15 分钟|开放)

为一个 GQA Decoder-only 推理服务设计「KV 量化 + 分级缓存」方案。模型有 L 层、Hkv 个 KV Head、维度 d_h;B 个请求各缓存 T 个 Token。请按四部分完成:

A(12 分):推导 BF16 KV 本体字节数;对于 q-bit、每组 G 个元素共享 m bytes 元数据的量化表示,推导容量(可额外保留 R 个最近 Token 的 BF16 缓存)。写出一套带 Scale 的均匀量化/反量化公式并讨论饱和与分组选择。

B(10 分):从 z_j=q_t·k_j/√d_h 出发推导 Key 量化的 Score 误差上界;解释 Value 量化误差怎样进入 Attention 输出,为什么误差可能改变输出 Token。

C(10 分):设完整前缀 KV 的传输量为 M、有效带宽为 W、固定加载开销 t0、解压耗时 td、重新 Prefill 耗时 tr,写出加载与重算的决策不等式;说明 GPU、CPU、远端 KV 的保留/驱逐条件,以及活动引用与上下文一致性。

D(8 分):设计 BF16/FP8/INT4 KV 和不同卸载层级的受控对照实验,至少报告质量、长上下文、TTFT/TPOT 分位数、Goodput、峰值 HBM、真实传输流量和重算量,并解释如何避免只凭压缩比宣布加速。

提示:A 先数 K、V 两份再考虑每组元数据;B 用 Cauchy–Schwarz 与加减中间项;C 将传输、固定开销和解压之和与重算比较;D 固定模型、请求流和硬件并同时测量误差和延迟。

十二、下一课预告

第 33 课|2026 年 11 月 21 日|第 5 周第 5 课:LLM 推理量化的权重、激活与校准。

下一课将对比 Weight-only INT4、W8A8、FP8、GPTQ/AWQ 等路径,推导权重读取、激活动态范围与算子实际吞吐,并讨论为什么「模型参数更省内存」也不能保证 TTFT/TPOT 双双降低。