人工智能:理论、算法与系统 · 第 16 课
Multi-Head Attention 与 Transformer Block:为什么不是一个大 Head?
2026 年 11 月 4 日|第 3 周第 2 课|约 18 分钟
上一课得到单头注意力公式:
[ \mathrm{Attn}(Q,K,V)=\mathrm{softmax}_{\mathrm{key}}\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V. ]
今天研究 多头如何并行计算、输出怎样合并,以及注意力怎样和上一周学的 Norm、Residual、FFN 组成完整 Transformer Block。本课的四个目标是:写出完整张量形状;亲手算两头输出;推导参数量与计算量;辨析多头与 GQA 在推理显存上的差别。
一、一个大 Head 有什么局限?
对于固定 Query 位置 i,单头 Attention 输出是
[ o_i=\sum_{j=1}^{T}p_{ij}v_j,\qquad p_{ij}=\mathrm{softmax}j(q_i^\top k_j/\sqrt{d_k}+m{ij}). ]
注意这里 所有 Value 坐标共用同一组权重 (p_{ij})。如果当前 token 同时需要在不同表示子空间中关注不同位置,例如一组特征需要读近邻,另一组特征需要读远处信息,单一注意力分布可能形成建模上的约束。
多头的思路不是简单把一个分数矩阵算 H 遍,而是让不同头拥有各自可学习的 Q、K、V 投影,从而可以形成不同的注意力权重矩阵。它提供了多种“读取方式”的归纳偏置,但没有数学定理保证 Head 越多质量越好。Head 也不保证自然分工为某个固定语法角色。
二、Multi-Head Attention 的完整形状
令输入为
[ X\in\mathbb R^{B\times T\times d}, ]
其中 B 为 batch,T 为序列长度,d 为模型隐藏宽度。标准 MHA 设 H 个 Head,为简化取
[ d_h=d_k=d_v=\frac dH,\quad H\mid d. ]
对第 h 个 Head,参数矩阵为
[ W_Q^{(h)},W_K^{(h)},W_V^{(h)}\in\mathbb R^{d\times d_h}. ]
先投影:
[ Q_h=XW_Q^{(h)},\quad K_h=XW_K^{(h)},\quad V_h=XW_V^{(h)} ]
均为 ([B,T,d_h])。实际 GPU 实现通常将全部 Head 的投影融合成三个 ([d,d]) 矩阵,再 reshape 成
[ Q,K,V\in\mathbb R^{B\times H\times T\times d_h}. ]
对每个 Head:
[ S_h=\frac{Q_hK_h^\top}{\sqrt{d_h}}+M\in\mathbb R^{B\times T\times T}, ]
其中 mask 在不同 Head 上按需要广播。每一行对 Key 位置(最后一维)做 Softmax:
[ A_h=\mathrm{softmax}_{j}(S_h),\quad O_h=A_hV_h\in\mathbb R^{B\times T\times d_h}. ]
于是
[ C=\mathrm{Concat}(O_1,\ldots,O_H)\in\mathbb R^{B\times T\times d}, ]
最后使用输出投影:
[ \boxed{\mathrm{MHA}(X)=CW_O,\quad W_O\in\mathbb R^{d\times d}.} ]
为什么需要 (W_O)? Concat 只是把各 Head 的坐标并排放置;(W_O) 使不同 Head 的输出可以线性组合,并将结果送回模型的 d 维残差流。严格地说,如果已经满足维度,省略 (W_O) 仍可构造另一种网络;它是标准 MHA 的可学习混合层,而非形状上绝对不可缺少的一步。
flowchart TD
X["X: B×T×d"] --> QKV["Q/K/V 投影 + 按 Head 拆分"]
QKV --> H1["Head 1: QKᵀ/√d_h → Mask → Softmax → PV"]
QKV --> H2["Head 2: QKᵀ/√d_h → Mask → Softmax → PV"]
QKV --> Hn["Head H: QKᵀ/√d_h → Mask → Softmax → PV"]
H1 --> C["Concat: B×T×d"]
H2 --> C
Hn --> C
C --> WO["W_O 投影: B×T×d"]
WO --> ADD["残差加法"]
X --> ADD
ADD --> FFN["Norm → 逐 token FFN → 残差"]
容易错的地方: 不能把 H 个 Head 的全部 logits 先拼接,再在 Head 维上统一 Softmax。标准 MHA 是每个 Head 单独在合法的 Key 位置归一化。Head 间的信息融合由 Concat 后的输出投影完成。
三、手算两个 Head:不同读法如何拼在一起?
为了让结果整齐,只计算第二个 token(前两个 token 对它均可见)。设两个 Head 的 scaled logits 分别为
[ s^{(1)}=(\ln2,0),\qquad s^{(2)}=(0,\ln4). ]
它们分别进行 Softmax:
[ p^{(1)}=(2/3,1/3),\quad p^{(2)}=(1/5,4/5). ]
Head 1 的 Value 为:
[ V^{(1)}=\begin{bmatrix}3&0\0&6\end{bmatrix}, ]
于是
[ o^{(1)}=\tfrac23(3,0)+\tfrac13(0,6)=(2,2). ]
Head 2 的 Value 为:
[ V^{(2)}=\begin{bmatrix}0&5\5&0\end{bmatrix}, ]
于是
[ o^{(2)}=\tfrac15(0,5)+\tfrac45(5,0)=(4,1). ]
Concat 得到
[ c=(2,2,4,1). ]
最终输出不是各 Head 的简单平均,而是
[ y=cW_O. ]
每个输出维度都可以利用不同 Head 的多个坐标。这是多个注意力分布 + 可学习结果混合的核心结构。后面 Lv2 将用另一组数据,独立练习完整的 Softmax、Concat 与输出投影计算。
四、固定 d 时,多头是否使参数量乘以 H?
把每头独立投影的参数相加:
[ H\times(d\,d_h)=H\times d(d/H)=d^2. ]
所以 Q、K、V 各有 (d^2) 个权重。Concat 后的 (W_O) 也有 (d^2) 个权重。忽略 bias:
[ \boxed{P_{\mathrm{MHA}}=4d^2.} ]
例如 (d=768,H=12,d_h=64),三个输入投影和输出投影总权重数:
[ 4\times768^2=2{,}359{,}296. ]
如果改成 H=24、每头 32 维而总宽度保持 768,则这一理想化标准 MHA 权重数保持不变。实际显存、kernel 效率、并行调度和精度可能变化,所以参数量相同不等于速度相同。
复杂度推导: 输入投影和输出投影共为
[ \Theta(BTd^2). ]
每头 (Q_hK_h^\top) 是 ([T,d_h]\times[d_h,T]),算术量 (\Theta(T^2d_h));乘上 H 个头:
[ \boxed{\Theta(BHT^2d_h)=\Theta(BT^2d).} ]
后面的 (A_hV_h) 同阶。因此,固定总宽度 d 时,把一个满宽 Head 拆成 H 个窄 Head,不会仅仅因为 H 增大,就在主导算术量里多乘一个 H。
如果朴素实现显式保留注意力矩阵,所有 Head 的权重形状为:
[ [B,H,T,T], ]
因此仅这个中间张量就需要 (BHT^2) 个元素。FlashAttention 一类 IO-aware 精确实现可以避免把完整权重矩阵物化到 HBM;但标准密集 Attention 的两两交互算术量仍为二次量级。因果掩码只允许访问前文,并不自动让所有实现的算术量变成线性。
五、接上 FFN:Transformer 不是只做 Attention
对每个 token 的 d 维向量 (x),经典两层位置独立 Feed-Forward Network(FFN)是:
[ \boxed{\mathrm{FFN}(x)=\phi(xW_1+b_1)W_2+b_2} ]
其中
[ W_1\in\mathbb R^{d\times d_{\mathrm{ff}}},\qquad W_2\in\mathbb R^{d_{\mathrm{ff}}\times d}. ]
若 (d_{\mathrm{ff}}=4d),不计 bias:
[ \boxed{P_{\mathrm{FFN}}=d(4d)+(4d)d=8d^2.} ]
FFN 对不同 token 使用同一组权重,却逐 token 独立执行,不会直接在 token 之间交换信息;跨 token 混合主要由 Attention 实现。FFN 的算术量为 (\Theta(BTd\,d_{\mathrm{ff}})=\Theta(BTd^2))。
不计 Norm、bias 和其他层,一个这样的 MHA+FFN Block 有
[ \boxed{4d^2+8d^2=12d^2} ]
个权重。上述是经典两层 FFN 的计数;如果换成 SwiGLU 等门控 FFN,矩阵结构与参数数目要重新计算,不能直接套用 8d²。
六、Pre-Norm Decoder Block 的前向与 Jacobian
上一周我们学过 Pre-Norm 和残差。对输入 X,经典的两子层 Pre-Norm Decoder Block 可以写为:
[
\boxed{\begin{aligned}
U&=X+\mathrm{MHA}(\mathrm{Norm}_1(X)),
Y&=U+\mathrm{FFN}(\mathrm{Norm}_2(U)).
\end{aligned}}
]
其中 MHA 施加 causal mask;Norm 可以是 LayerNorm 或适当设计的 RMSNorm;具体模型可能另含 dropout、旋转位置编码、门控 MLP 和残差缩放。
令 (A(X)=\mathrm{MHA}(\mathrm{Norm}_1(X))),(F(U)=\mathrm{FFN}(\mathrm{Norm}_2(U)))。两次残差更新的 Jacobian 为:
[ J_{U,X}=I+J_A,\qquad J_{Y,U}=I+J_F. ]
整体:
[ \boxed{J_{Y,X}=(I+J_F)(I+J_A).} ]
这个表达式包含 identity 路径,但并不意味着所有奇异值都在 1 附近:例如若 (J_A=-I),第一块就可以抵消直通路径。结构上的直接梯度通道是优化优势的直觉,不是全局或任意深度稳定的无条件定理。
可以用下面的教学伪代码对应完整前向:
# 教学伪代码;实现须正确处理维度与 Mask
def prenorm_decoder_block(x, H, Wq, Wk, Wv, Wo, W1, W2):
u = norm1(x)
q, k, v = u @ Wq, u @ Wk, u @ Wv
q, k, v = split_heads(q, H), split_heads(k, H), split_heads(v, H)
scores = (q @ transpose_last2(k)) / sqrt(q.shape[-1])
scores = scores + causal_mask(scores.shape[-2:])
attn = softmax(scores, axis=-1) @ v
x = x + concat_heads(attn) @ Wo
u = norm2(x)
return x + activation(u @ W1) @ W2
与 2017 年原始 Transformer 常见的 Post-Norm 写法相比,这里刻意选用了 Pre-Norm,便于和第 12—14 课连接。二者并非完全等价的计算图。
七、从 MHA 到 GQA:为何多头还影响 KV Cache?
标准 MHA 让每个 Query Head 拥有自己的 Key 和 Value Head。自回归增量生成时,历史 token 的 K/V 可缓存,避免每生成一个 token 都重新投影整个历史。
对单层模型、批量 B、已缓存 T 个 token、每 Head 维度 (d_h),标准 MHA 的 KV Cache 元素数是:
[ \boxed{N_{\mathrm{KV,MHA}}=2BTHd_h.} ]
因子 2 对应 K 与 V 两份缓存。若每元素占 s 字节,存储字节数再乘 s;多层再乘层数(忽略对齐与管理开销)。
Grouped-Query Attention(GQA)保留 H 个 Query Head,但让多个 Query Head 共享一组 KV。设 KV Head 数为 G,且 G 整除 H,则:
[ \boxed{N_{\mathrm{KV,GQA}}=2BTGd_h.} ]
相同 B、T、(d_h) 与数据类型时,缓存比例为:
[ \frac{N_{\mathrm{KV,GQA}}}{N_{\mathrm{KV,MHA}}}=\frac GH. ]
例如 H=16,G=4 时,KV 张量元素数缩为原来的四分之一,但模型全部显存及延迟并不会自动缩为四分之一。GQA 的前向投影参数数目也不再完全是标准 MHA 的 4d²,需要按 K/V 的实际总宽度重新计数。
GQA 是 2023 年公开研究并发表于 EMNLP 的方法;它是不同于 2017 年原始标准 MHA 的后续架构研究。原文:https://aclanthology.org/2023.emnlp-main.298/ 。关于 KV Cache 的生命周期、带宽及 GQA 具体实现,我们将在第五周推理课程系统讨论。
八、易错反例与系统实验
| 误解 | 更准确的边界 |
|---|---|
| 每个 Head 必定学到不同语法角色 | 各 Head 参数可不同,但训练可能产生冗余或近似相同的 Head |
| H 翻倍,QKV 参数和 FLOPs 一定翻倍 | 固定总宽度 d、每头变窄时,主导权重数和算术阶不必变化 |
| Concat 等于所有 Head 平均 | Concat 是坐标拼接,后接 (W_O) 才进行可学习线性混合 |
| 位置独立 FFN 会直接读取其他 token | 标准 FFN 不跨 token 混合;Attention 才构成主要交互路径 |
| 有 causal mask 就是 O(T) Attention | 密集注意力仍有二次规模的合法两两交互 |
| GQA 让整个模型显存减少 H/G 倍 | 该比例只适用于同条件下 K/V 缓存部分的元素数 |
最简单的实验:固定训练数据、宽度 d、Block 数、优化器、batch 和训练 token 预算,比较 H=1、4、8(要求整除 d)。记录验证损失、各 Head 注意力分布的相似度、吞吐、latency、峰值显存与总参数。然后固定 H,仅改变 KV Head 数 G,分别测 prefill 和 decode;对比时说明模型如何训练/转换为 GQA、是否维持相同质量。若更多 Head 没有改善验证指标,可能是任务不需要、Head 冗余、训练未充分优化,也可能是其他控制因素;不能从头数一项直接断定因果关系。
经典来源:Vaswani 等,Attention Is All You Need(2017),https://arxiv.org/abs/1706.03762 。后续系统和架构工作中的 FlashAttention、GQA 分别针对 IO 与 KV 共享,而非把标准 MHA 所有性质视为不变。
九、四级递进自测(总分 100)
前三题客观判分,第四题开放评分。首次授课只展示提示,不展示标准答案;提交答案后逐题批改,80+ 继续、60–79 补练、低于 60 复习再练。
Lv1|多头机制与输出混合(15 分|预计 2 分钟|单选)
固定模型宽度 d、总 Q/K/V 投影宽度均为 d,考虑标准 Multi-Head Self-Attention(MHA)。以下哪项机制解释最准确?
A. 每个 Head 被人工指定一个固定的语法功能,训练时功能不会变化。
B. 拆成 H 个 Head 之后,所有 Head 必须共用完全相同的 Softmax 权重,否则无法拼接。
C. 不同 Head 可用不同 Q/K/V 投影产生不同的注意力分布;拼接后用可学习的输出投影混合信息,但更多 Head 不保证质量一定更好。
D. 只要把 Head 数 H 翻倍,MHA 的 Q/K/V 与输出投影参数量就必然翻倍,即使总投影宽度 d 不变。
提示:把“各 Head 的权重是否共享”“输出如何恢复 d 维”“参数量是否与 H 直接成正比”分开判断。
Lv2|两头 Softmax、Concat 和输出投影(20 分|预计 4 分钟|数值题)
一个含两个 Head 的注意力模块处理两个 token。我们只计算第 2 个 token 的输出,两个位置对它均合法。Head 1 的 scaled logits 为 (\ln 3,0),对应两个二维 Value 为 (2,0)、(0,4);Head 2 的 scaled logits 为 (0,\ln 3),对应两个二维 Value 为 (0,6)、(2,0)。每个 Head 分别 Softmax、加权求和,再按 Head 1、Head 2 顺序拼接成四维行向量 c。输出投影 W_O 的第一列为 (1,2,-1,1)^\top。求最终输出的第 1 个坐标 (cW_O)_1,填写十进制数。
提示:先分别由 e^{ln3}=3 得到每个 Head 的两项权重,再计算两个二维向量,最后拼接并与 W_O 第一列做点积。
Lv3|参数、算术量、物化显存与 FFN(25 分|预计 6 分钟|多选)
对标准密集 MHA,假定 d=Hd_h、Q/K/V 总宽度均为 d、FFN 中间宽度 d_ff=4d、忽略 bias/Norm。输入为 [B,T,d],且用常规稠密投影。下列哪些判断成立?(多选)
A. Q、K、V 与输出投影 W_O 的总权重参数量为 4d²,不会仅因为固定 d 时更改 H 就自动改变。
B. 若朴素实现显式物化所有 Head 的 T×T 注意力权重,则其元素数为 BHT²。
C. 因为拆成 H 个 Head,固定 d 时注意力 QKᵀ 和 PV 的总算术量必然从 Θ(BT²d) 增加到 Θ(BHT²d)。
D. 两层常规位置独立 FFN 的权重参数量为 8d²,而这两个线性变换不会直接让不同 token 相互混合。
E. 添加因果掩码后,任何注意力实现的渐近算术复杂度都会从 T² 严格降到 T。
F. 即使改用分块的精确 Attention 而不把完整权重矩阵落到 HBM,标准密集 Attention 的两两交互算术量仍为二次量级。
提示:令 d_h=d/H,将每个 Head 的 Θ(T²d_h) 乘以 H;把 FFN 的两个矩阵形状写出来;区分算术次数与中间矩阵是否写入 HBM。
Lv4|Block 推导与推理系统对照(40 分|预计 15 分钟|开放题)
设计一个宽度为 d、H 个 Query Head、每头维度 d_h=d/H 的 Pre-Norm Decoder Transformer Block,输入 X∈ℝ^{B×T×d},采用标准 MHA 与 d_ff=4d 的两层 FFN。
A(12 分):写出从 X 到每个 Head 的 Q/K/V、含因果 Mask 的 scaled softmax、Concat 与 W_O 的全套公式和张量形状,解释为什么 Softmax 必须在每个 Head 内对 Key 位置计算。
B(10 分):在忽略 bias 和 Norm 参数的前提下,推导该 Block 的注意力与 FFN 权重参数量,以及投影、Attention 两两交互和 FFN 的主要算术复杂度;固定 d 时说明 H 改变对理论算术量与实际 GPU 性能的不同影响。
C(10 分):写出 Pre-Norm 的两个残差更新,解释 identity 梯度路径及其边界;提出一个反例或受控比较,说明多头并不保证一定优于单头。
D(8 分):设计 MHA(H 个 Q/K/V Head)与 GQA(H 个 Query Head、G 个 KV Head,其中 G 整除 H)在自回归推理中的公平对照实验。推导单层 KV Cache 元素数,说明如何测量 prefill、逐 token decode、峰值显存和质量,并给出至少两项需要控制的变量。
提示:A 跟踪 [B,H,T,d_h] 与 [B,H,T,T];B 分别数矩阵乘法与矩阵元素;C 区分单块显式 I 与端到端谱;D 用缓存 K 和 V 两份、KV Head 数 G 建立公式。
十、下一课预告
第 17 课|2026 年 11 月 5 日|位置编码与 RoPE:注意力怎样知道先后与相对距离?
我们将先证明无位置输入时 Self-Attention 的置换等变性质,再推导绝对位置编码、正弦位置编码和旋转位置编码(RoPE)的相对位置信息来源;重点区分“位置编码”和“Causal Mask”,并手算一个二维旋转点积例子。
本课知识中的 MHA、FFN、残差和形状推导属于经典机制;具体 Head 数是否最优、GQA 的质量—速度权衡与 GPU Kernel 性能须由受控实验判断。