人工智能:理论、算法与系统 · 第21课

第三周复盘:一条 Transformer 数据流背后的概率、梯度与 GPU 访存

2026年11月9日|第3周第7课(复盘)|约18分钟

这周六节新课依次是:第15课缩放点积注意力;第16课多头与 Block;第17课位置编码和 RoPE;第18课 Decoder-only 与 Next-Token Loss;第19课三类 Transformer 架构;第20课 Attention 反向传播和 FlashAttention。

今天不只是背公式,而是用一个统一问题串联它们:给定一段文本,Transformer 如何决定读什么、从哪里读、预测什么;它的梯度如何反传;为什么同样的数学运算在 GPU 上可能表现不同?

本节有四个学习目标:自己写出正确的张量形状及 mask;理解位置、监督和自回归之间的关系;推导关键反向梯度;从 FLOPs、显存和 HBM 传输三个维度识别性能瓶颈。

一、先建立整张知识图

flowchart TD
    X["Token IDs / Embedding"] --> POS["位置机制:绝对 PE 或 RoPE(Q/K)"]
    POS --> A["Q/K/V 投影 + Attention Mask"]
    A --> M["多头 Softmax(QKᵀ/√d_k) V → W_O"]
    M --> BLOCK["残差 + Norm + 逐 token FFN"]
    BLOCK --> LM["LM Head → 词表 Logits"]
    LM --> LOSS["Shifted Labels → Masked Cross-Entropy"]
    LOSS --> BACK["Backward:dV、dS、dQ、dK"]
    BACK --> SYS["GPU:分块 + Online Softmax + 重计算"]
    A -. "Causal / 双向 / Cross" .-> ARCH["架构决定可见性"]

这张图存在两类完全不同的“mask”。Attention Mask 规定 Query 能读取哪些 Key;Loss Mask 规定哪些标签计算训练损失。两者不能互换。

二、第一条链:从张量形状到输出

设输入为 (X\in\mathbb R^{B\times T\times d}),标准 MHA 有 (H) 个头且 (d_h=d/H)。每头各自形成:

[ Q_h,K_h,V_h\in\mathbb R^{B\times T\times d_h}. ]

对每头分别计算:

[ \boxed{P_h=\operatorname{softmax}_{\rm key}\left(Q_hK_h^\top/\sqrt{d_h}+M\right)},\quad O_h=P_hV_h. ]

拼接后乘 (W_O\in\mathbb R^{d\times d}),重新回到 ([B,T,d])。每头的分数形状为 ([B,T,T]),所有头显式物化权重时为 ([B,H,T,T])。

为什么要多个头?单头的一个 Query 对所有 Value 坐标共用一组注意力权重;多头可以在不同投影子空间形成不同的权重,再由 (W_O) 混合。不保证头越多越好,也不保证每头一定学出独特语法角色。

忽略 bias,标准 MHA 的 Q/K/V 和输出投影参数数为:

[ P_{\rm MHA}=4d^2. ]

取常规两层 FFN,中间宽度 (4d),参数数为 (8d^2)。因此一个 MHA+FFN Block 的上述主权重总数是 (12d^2);这不是 SwiGLU 等其他 FFN 结构的通用公式。

完整的 Pre-Norm Decoder Block 可写成:

[ U=X+\operatorname{MHA}(\operatorname{Norm}_1(X)),\qquad Y=U+\operatorname{FFN}(\operatorname{Norm}_2(U)). ]

Norm 与 FFN 的常见实现是逐 token 沿特征处理;跨 token 的主要信息交换来自 Attention。残差块含 identity 梯度路径,但 (I+J_F) 仍可能抵消或放大某些方向,不是任意深度稳定保证。

三、第二条链:位置与可见性不是同一件事

不加位置机制和 mask 的 Self-Attention 对同步 token 置换满足:

[ \operatorname{Attn}(\Pi X)=\Pi\operatorname{Attn}(X), ]

其中 (\Pi) 是置换矩阵。它是置换等变,不是逐位置输出不变。

Causal Mask 则指定 (M_{ij}=0)((j\le i)),否则为 (-\infty),以禁止当前位置读取未来输入。它打破任意置换对称性,但并不等于显式相对位置编码。

RoPE 把位置 (m,n) 的 Q/K 分别乘正交二维旋转:

[ \widetilde q_m=R(m\theta)q,\qquad \widetilde k_n=R(n\theta)k. ]

利用 (R(a)^\top=R(-a)) 及 (R(a)R(b)=R(a+b)):

[ \boxed{\widetilde q_m^\top\widetilde k_n=q^\top R((n-m)\theta)k}. ]

这里的位置信息取决于相对位移,但 score 仍同时依赖内容 (q,k),不会自动随距离单调减小。正交旋转保留 Q/K 范数,也不能仅由公式推出超出训练长度后的预测质量。

四、第三条链:已知训练文本为何不等于偷看未来?

假设训练片段是 ([\mathrm{BOS},a,b,\mathrm{EOS}])。一种正确对齐方式为输入 ([\mathrm{BOS},a,b]),标签 ([a,b,\mathrm{EOS}])。

自回归概率分解:

[ p_\theta(a,b,\mathrm{EOS}\mid\mathrm{BOS}) =p_\theta(a\mid\mathrm{BOS})p_\theta(b\mid\mathrm{BOS},a) p_\theta(\mathrm{EOS}\mid\mathrm{BOS},a,b). ]

Teacher Forcing 用真实历史 token 作为每个位置的输入;由于正确 Causal Mask 让当前位置只读合法前缀,训练时多个位置可以在同一层并行前向计算。自由生成时第 (t+1) 步必须依赖第 (t) 步实际选出的 token,因此存在跨步顺序依赖。

对标签 (y)、logits (z\in\mathbb R^V),Cross-Entropy 为:

[ \ell(z,y)=-z_y+\log\sum_{j=1}^Ve^{z_j},\qquad \boxed{\frac{\partial\ell}{\partial z_k}=p_k-\mathbf 1[k=y]}. ]

实际实现用 log-sum-exp 稳定化。带有效标签 mask (m_{bt}) 的平均损失为:

[ \mathcal L=\frac{-\sum_{b,t}m_{bt}\log p_\theta(y_{bt}\mid\text{合法前缀})} {\sum_{b,t}m_{bt}}, ]

前提是有效标签数量不为零。分母是有效 token 数,而非一定为 (BT)。

数值串讲:Attention 与 Cross-Entropy 是两种不同的归一化

某 Query 的 scaled logits 是 ((\ln2,0,\ln3)),对应标量 Value 为 ((2,4,8))。注意力权重为:

[ p=(2/6,1/6,3/6), ]

因此其输出:

[ o=(2\cdot2+1\cdot4+3\cdot8)/6=\boxed{16/3}. ]

这里是在 Key 位置上 Softmax;LM Head 的 Softmax 则是在 词表 (V) 上归一化,二者虽然形式相似,含义与轴却不同。

五、第四条链:同是 Transformer,三种架构为何不同?

类型 Query 能读取什么 典型训练目标
Encoder-only 输入序列所有有效位置(双向) 扰动后的 MLM,或分类/对比任务
Decoder-only 本位置及以前输入(因果) Next-Token CLM
Encoder–Decoder Encoder 双向;Decoder 自注意力因果;Cross 可读全部有效源位置 条件目标序列生成

令源长 (S)、目标长 (U)。Encoder 自注意力的两两交互为 (\Theta(BS^2d)),Decoder 自注意力为 (\Theta(BU^2d)),Decoder→Encoder Cross-Attention 为 (\Theta(BSUd))。Cross score 的尺寸是 (U\times S),并不一定是方阵。

BERT 风格的 MLM 只在选中位置预测受扰动文本的原 token;它不直接等价于从左向右的联合对数似然。T5 风格可以把遮住的片段重组为 Decoder 要生成的目标序列。这是架构与监督目标的代表性搭配,而不是所有同类网络都只能做这一种任务。

六、第五条链:Attention 反向传播为什么会耦合?

写成:

[ S=QK^\top/\sqrt{d_k}+M,\quad P=\operatorname{softmax}_{\rm row}(S),\quad O=PV. ]

设上游梯度 (G=\partial\mathcal L/\partial O)。矩阵微分给出:

[ \bar V=P^\top G,\quad \bar P=GV^\top. ]

Softmax Jacobian 为 (\operatorname{diag}(p)-pp^\top),故:

[ D_i=\sum_jP_{ij}\bar P_{ij}=\boxed{G_i^\top O_i}, ]

[ \bar S_{ij}=P_{ij}(\bar P_{ij}-D_i),\qquad \boxed{\bar Q=\bar SK/\sqrt{d_k},\quad \bar K=\bar S^\top Q/\sqrt{d_k}}. ]

因此一个 score 的梯度不仅受对应 Key 的影响,还受到整行 Softmax 竞争关系影响。固定 mask 下被禁边的理想 score 梯度为零,但合法 Key 可以从多个 Query 累积梯度。

一个检查是:对每行,(\sum_j\bar S_{ij}=0),因为所有 score 加同一个常数不改变 Softmax。

七、第六条链:不保存 (T^2) 概率矩阵如何仍算精确 Attention?

如果显式保存 (P\in\mathbb R^{B\times H\times T\times T}),FP16 单份显存就是:

[ \boxed{2BHT^2\ \text{bytes}}. ]

例如 (B=2,H=8,T=1024),元素数为 (16{,}777{,}216),占 (32) MiB;这还不包括 Q/K/V、其他激活、梯度、优化器。

FlashAttention 类 IO-aware 精确实现把 Q/K/V 切块,在片上更新 Online Softmax,而不在 HBM 中物化完整 (P)。对于一块 Key,定义:

[ m=\max_j s_j,\quad \ell=\sum_j e^{s_j-m},\quad a=\sum_je^{s_j-m}v_j,\quad o=a/\ell. ]

两块 A、B 合并时:

[ m=\max(m_A,m_B), ]

[ \ell=e^{m_A-m}\ell_A+e^{m_B-m}\ell_B, \quad a=e^{m_A-m}a_A+e^{m_B-m}a_B. ]

可手算验证: 两个块分数分别为 (0,\ln2),Value 为 (1,7)。A 的 ((m_A,\ell_A,a_A)=(0,1,1));B 为 ((\ln2,1,7))。合并到 (m=\ln2) 后:

[ \ell=\tfrac12+1=\tfrac32,\quad a=\tfrac12+7=\tfrac{15}{2},\quad o=5. ]

训练反向时可用前向保存的行统计量、输出以及局部重算恢复必要概率,避免保存整张矩阵。更多局部重计算可能减少 HBM 读写而更快,但标准密集精确 Attention 的主要两两交互算术量仍为 (\Theta(BT^2d)),没有变成线性。

这也是从算法复杂度到实际 GPU 性能最重要的系统边界:FLOPs、HBM Traffic、Peak Memory 和 Wall-clock 是四种不同指标。

八、如何用四个测试判断实现是否正确?

# 教学伪代码,非具体框架 API
def validate_transformer(model, tokens, source, target):
    # 1. 因果性:改写未来,较早 logits 不应显著变化
    check_prefix_logits_invariant(model, tokens)

    # 2. Teacher forcing:对齐输入 / label / loss mask
    check_shifted_labels_and_valid_token_denominator(model, tokens)

    # 3. 反向:小尺度用 finite difference 或 autograd 作梯度检查
    check_attention_qkv_gradients(model)

    # 4. 数值等价 + 系统测量:显式实现 vs 分块精确实现
    benchmark_output_grad_error_memory_hbm_latency(model)

实验时固定权重、输入、dtype、mask、position IDs、dropout 状态及硬件;前向与反向分别比较最大绝对误差、相对误差,性能报告包含 warmup、同步计时、峰值显存与端到端训练时间。实际不同浮点归约次序可能造成有限误差,因此不能要求所有 bit 完全一致。

本课的线性代数、链式法则、概率分解是经典数学;Transformer(2017)、RoPE/RoFormer(2021)与 FlashAttention(2022)是具体方法的代表。它们在某个真实模型上的长上下文泛化、吞吐或质量收益,必须结合数据与硬件测量,不能由简化公式直接断言。

参考:Attention Is All You Need、RoFormer、FlashAttention。

九、四级综合自测(100 分)

第三周复盘测验: 前三题客观判分,第四题开放评分。首次授课只提供不泄题的提示;作答后逐题说明,80 分及以上继续、60–79 分针对性补练、低于 60 分复习再练。

Lv1|Teacher Forcing、位置机制与注意力的职责边界(15 分|预计 2 分钟|单选)

对一个使用 RoPE 的标准 Decoder-only Causal Transformer,以下哪一项机制判断最准确?

A. 训练时既然给出了完整真实序列,就不需要 Causal Mask;Teacher Forcing 自然不会泄漏未来标签。

B. Causal Mask 等价于 RoPE,因而只要是下三角可见性,就已经具有相同的相对旋转点积分数。

C. 训练时可使用移位标签、Teacher Forcing 与正确的 Causal Mask 并行计算各位置条件分布;自由生成的后续 token 仍依赖此前实际生成的 token。

D. Attention 输出只由 Value 决定,因此损失梯度无法传播到 Query 和 Key。

提示:把训练时的真实前缀、允许访问的 Key 和自由生成时尚未选出的未来 token 分开考虑。

Lv2|Softmax Attention 输出对 score 的梯度计算(20 分|预计 4 分钟|数值)

一个 Query 对三个合法 Key 的 scaled logits 为 (s=(\ln2,\ln3,0)),对应三个标量 Value 为 (v=(1,5,9))。令 (p=\mathrm{softmax}(s))、(o=\sum_jp_jv_j),并令损失 (\mathcal L=o)。求第二个 logit 的梯度 (\partial\mathcal L/\partial s_2)(使用自然对数,填写小数,至少保留四位)。

提示:先用指数权重 2、3、1 求概率及输出,再用该行 Softmax 的梯度公式;不要将 Value 当成最终梯度。

Lv3|矩阵复杂度、Cross-Attention 形状与 IO-aware 边界(25 分|预计 6 分钟|多选)

下列哪些陈述成立?(多选;假定标准密集精确 Attention、固定总宽度 d=Hd_h,忽略投影及其他层时只讨论 QKᵀ 与 PV 的算术量。)

A. 标准多头 Self-Attention 的主要两两交互算术量为 Θ(BT²d);朴素实现显式保存每头全部注意力概率时,其元素数为 BHT²。

B. RoPE 之后,任意两个 token 的注意力 score 只由它们的相对位置决定,与 Q/K 内容无关。

C. Encoder–Decoder Cross-Attention 的 Query 长为 U、Key 长为 S 时,score 尺寸为 U×S;固定源的编码输出及其 Cross K/V 可以在生成中缓存复用。

D. 使用 Causal Mask 就能让任意稠密精确 Attention Kernel 的总算术量从 Θ(T²d) 自动降为 Θ(Td)。

E. 分块在线 Softmax 可以避免将完整概率矩阵写入 HBM,并在反向时重算局部概率;这不意味着标准密集 Attention 的主要两两交互变为线性。

提示:分别判断算术量与物化存储、Content 与 Position、以及源长和目标长;不要把减少 HBM 读写理解为消除全部两两交互。

Lv4|完整模型设计、反向推导与系统验证(40 分|预计 15 分钟|开放题)

综合研究/推导题(40 分)。设 Decoder-only 输入 (X\in\mathbb R^{B\times T\times d}),采用 (H) 头、(d_h=d/H),使用 RoPE、因果 Attention、Pre-Norm 和 (4d) 宽度的两层 FFN。

A(10 分):写出一个 Block 的 Q/K/V 形状、每头 scaled score、Causal Mask、Softmax/Concat/(W_O)、两次 Pre-Norm 残差更新;说明训练移位标签与真实前缀如何配合避免未来泄漏。

B(12 分):对 (S=QK^\top/\sqrt{d_h}+M)、(P=\operatorname{softmax}_{row}(S))、(O=PV),给定上游 (G=\partial\mathcal L/\partial O),推导 (\bar V,\bar P,\bar S,\bar Q,\bar K),并证明 (D_i=G_i^\top O_i)。

C(10 分):推导密集 MHA 主要两两交互算术量、显式概率张量大小与 FP16 字节数;给出两块 Online Softmax 的合并式,解释为什么反向局部重算可能减少 HBM 流量却不能将密集算术量变成线性。

D(8 分):设计两个可复现实验:①未来 token 扰动的因果性检查;②朴素 Attention 与分块精确实现的前向/梯度数值一致性及 latency、peak memory、HBM traffic 评测。写出固定条件、比较指标与可能混杂因素。

提示:A 注意位置是 Query 行、Key 列;B 逆序从 O=PV 开始;C 区分 HBM 物化与算术量;D 使用 Eval 模式和固定 position IDs。

十、下一课预告

第22课|2026年11月10日|第四周第1课:Tokenization 与预训练数据表示。 我们将比较字符、词与子词单位,手算 BPE merge,理解 Byte-level Tokenization、特殊 Token、词表规模、序列长度及 Embedding/LM Head 参数之间的系统权衡,并为 Scaling Laws 与大规模预训练铺路。

第三周复盘结束;按课程计划,第28课(2026年11月16日)将是第四周复盘兼第一次阶段考核。