人工智能:理论、算法与系统 · 第20课

Attention反向传播与FlashAttention:梯度、在线Softmax和GPU显存

2026年11月8日|第3周第6课|约18分钟

上一课比较了Encoder-only、Decoder-only和Encoder–Decoder;今天深入Attention内部:前向一行公式,反向为什么要多次矩阵乘法?GPU实现为什么有时宁愿多算一次,也不把完整注意力矩阵写到显存?

目标:①推导Softmax的Jacobian和Q/K/V梯度;②解释mask的梯度边界;③手算一行梯度;④推导在线Softmax合并公式,理解FlashAttention的计算、显存和IO取舍。

一、形状、假设和前向定义

考虑单个Head、无dropout的Attention。Query数为 (T_q)、Key数为 (T_k),Q/K宽度为 (d_k)、V宽度为 (d_v):

[ Q\in\mathbb R^{T_q\times d_k},\quad K\in\mathbb R^{T_k\times d_k},\quad V\in\mathbb R^{T_k\times d_v}. ]

定义:

[ \boxed{S=\frac{QK^\top}{\sqrt{d_k}}+M,\quad P=\operatorname{softmax}_{\rm row}(S),\quad O=PV.} ]

其中 (S,P\in\mathbb R^{T_q\times T_k})、(O\in\mathbb R^{T_q\times d_v})。固定mask (M_{ij}) 是0或 (-\infty)。假设每个Query行至少有一个合法Key,且先在实数数学中推导;全被mask的行需专门处理,浮点实现不保证逐位一致。

二、Softmax的Jacobian不是对角矩阵

对一行logits (s),有 (p_j=e^{s_j}/\sum_re^{s_r})。按商法则:

[ \boxed{\frac{\partial p_j}{\partial s_k}=p_j(\mathbf1_{j=k}-p_k).} ]

写成矩阵:

[ \boxed{J_{\rm softmax}=\operatorname{diag}(p)-pp^\top.} ]

给定上游梯度 (\bar p_j=\partial\mathcal L/\partial p_j),链式法则给出:

[ \begin{aligned} \bar s_k &=\sum_j\bar p_j\frac{\partial p_j}{\partial s_k}
&=p_k\left(\bar p_k-\sum_jp_j\bar p_j\right). \end{aligned} ]

因此:

[ \boxed{\bar s=p\odot(\bar p-D\mathbf1),\quad D=\sum_jp_j\bar p_j.} ]

机制直觉: 同一行所有Key的logits竞争一个归一化分母。若误用 (\bar s_k=p_k(1-p_k)\bar p_k),就漏掉了其他位置的影响。由于对所有logits共同加常数不改变Softmax,同一行应满足 (\sum_k\bar s_k=0)。

三、把梯度一路传回Q、K、V

设损失为 (\mathcal L(O)),上游梯度 (G=\partial\mathcal L/\partial O),形状 ([T_q,d_v])。以 (\bar A) 表示对 (A) 的梯度。

先从 (O=PV) 回传:

[ dO=(dP)V+P(dV). ]

由 (d\mathcal L=\operatorname{tr}(G^\top dO)) 对照每一项,可得:

[ \boxed{\bar V=P^\top G,\qquad \bar P=GV^\top.} ]

再对每行Softmax回传:

[ D_i=\sum_jP_{ij}\bar P_{ij},\qquad \boxed{\bar S_{ij}=P_{ij}(\bar P_{ij}-D_i).} ]

这里有个对系统实现极重要的恒等式:

[ \begin{aligned} D_i&=\sum_jP_{ij}(G_i^\top V_j)
&=G_i^\top\left(\sum_jP_{ij}V_j\right) =\boxed{G_i^\top O_i}. \end{aligned} ]

所以每行Softmax反向所需的归约标量,只用该行输出O和上游G即可得到。不必为了计算 (D_i) 先把完整 (\bar P) 写入HBM。

最后回传分数矩阵:

[ dS=\frac{(dQ)K^\top+Q(dK)^\top}{\sqrt{d_k}}, ]

固定mask不参与求导,因此:

[ \boxed{\bar Q=\frac{\bar S K}{\sqrt{d_k}},\qquad \bar K=\frac{\bar S^\top Q}{\sqrt{d_k}}.} ]

整理为完整反向公式:

[ \boxed{\begin{aligned} \bar V&=P^\top G,& \bar P&=GV^\top,
D_i&=G_i^\top O_i,& \bar S_{ij}&=P_{ij}(\bar P_{ij}-D_i),
\bar Q&=\bar S K/\sqrt{d_k},& \bar K&=\bar S^\top Q/\sqrt{d_k}. \end{aligned}} ]

检查形状:(\bar V) 是 (T_k\times d_v),(\bar P,\bar S) 是 (T_q\times T_k),(\bar Q) 是 (T_q\times d_k),(\bar K) 是 (T_k\times d_k)。多头时各头独立计算,再穿过Concat、输出线性层和Q/K/V投影继续反传。

flowchart TD
  Q["Q"] --> S["S = QKᵀ/√d + M"]
  K["K"] --> S
  S --> P["P = row Softmax(S)"]
  P --> O["O = PV"]
  V["V"] --> O
  G["上游G = dL/dO"] --> B["dV=PᵀG; dP=GVᵀ"]
  O --> D["D_i=G_i · O_i"]
  G --> D
  B --> DS["dS=P⊙(dP−D)"]
  D --> DS
  P --> DS
  DS --> QK["dQ=dS K/√d; dK=dSᵀ Q/√d"]

四、数值例子:三个Key如何在反向中竞争?

考虑某个Query对三个合法Key的scaled logits:

[ s=(0,\ln2,0),\quad v=(0,6,-3), ]

其中三个Value都是标量。Softmax得到:

[ p=(1/4,1/2,1/4). ]

取输出本身作为损失 (\mathcal L=o)。前向:

[ o=\frac14\cdot0+\frac12\cdot6+\frac14\cdot(-3)=\frac94=2.25. ]

因此上游 (G=1),(\bar p=(0,6,-3)),共享的行归约量为 (D=G\cdot o=2.25)。逐个logit反向:

[ \begin{aligned} \bar s_1&=\tfrac14(0-2.25)=-0.5625,
\bar s_2&=\tfrac12(6-2.25)=1.875,
\bar s_3&=\tfrac14(-3-2.25)=-1.3125. \end{aligned} ]

可以直接核对 (\bar s_1+\bar s_2+\bar s_3=0),体现了Softmax对整行同时加一个常数不变。之后再用 (\bar Q=\bar S K/\sqrt{d_k}) 传播到Query。这里展示的是三个Key的score梯度;后面的Lv2自测要求进一步计算不同两Key配置的Query坐标梯度。

五、被Causal Mask屏蔽的边是否有梯度?

假设mask固定、每行至少一个Key有效。理想 (-\infty) mask使被禁位置 (P_{ij}=0),所以:

[ \boxed{\bar S_{ij}=0\quad \text{(禁用的Query-Key配对)}.} ]

但某个合法Key/Value可能被许多不同Query读取,其 (\bar K_j,\bar V_j) 因此会聚合多个Query的贡献。也不能把“未来位置不可被早期Query读取”误认为“未来token参数不接收任何训练梯度”。若使用Attention dropout或不同mask实现,必须在计算图中正确加入对应随机门控和梯度规则,不能机械套用今天无dropout的式子。

六、为什么朴素实现会占用二次中间显存?

对Batch (B)、Head数 (H)、Self-Attention长度 (T)、每头维度 (d_h),分数和权重具有形状:

[ S,P\in\mathbb R^{B\times H\times T\times T}. ]

若完整物化一份FP16概率张量 (P),字节数为:

[ \boxed{2BHT^2\ \text{bytes}.} ]

如 (B=1,H=16,T=4096),那么:

[ 2\times16\times4096^2=536{,}870{,}912\ \text{bytes} =\boxed{512\ \text{MiB}}. ]

这仅是一份P,不含其他中间量、Q/K/V、权重、梯度、优化器状态。实际框架保存多少中间张量要用Profiler核对,不可把这个示例直接说成总显存占用。

一头Attention的 (QK^\top) 和 (PV) 主要算术量为 (\Theta(T^2(d_k+d_v)));固定总Head宽度 (d=Hd_h) 时,多头主要交互约为 (\Theta(BT^2d))。

七、在线Softmax:两块算出的结果怎么“无损”合并?

对某一Query行的一组合法Key (J),保存三个量:

[ m_J=\max_{j\in J}s_j,\quad \ell_J=\sum_{j\in J}e^{s_j-m_J},\quad a_J=\sum_{j\in J}e^{s_j-m_J}v_j. ]

那么最终输出为:

[ \boxed{o=a_J/\ell_J.} ]

现在把Key分成两块A、B,分别算出 ((m_A,\ell_A,a_A))、((m_B,\ell_B,a_B))。合并时先取:

[ m=\max(m_A,m_B). ]

利用 (e^{s_j-m}=e^{m_A-m}e^{s_j-m_A})(对A中各元素),得到:

[ \boxed{\begin{aligned} \ell&=e^{m_A-m}\ell_A+e^{m_B-m}\ell_B,
a&=e^{m_A-m}a_A+e^{m_B-m}a_B,
o&=a/\ell. \end{aligned}} ]

这在实数数学上等价于对所有Key一次性执行Softmax再乘V,且不需要保存完整的一行概率。

手算示例: logits为 ((0,\ln2,\ln3)),标量Value为 ((1,4,7))。指数权重比为 (1:2:3),所以:

[ o=\frac{1\cdot1+2\cdot4+3\cdot7}{1+2+3} =\frac{30}{6}=5. ]

如果将第一项与后两项分成两块,再使用上面的 ((m,\ell,a)) 公式合并,应得到同一结果。实际浮点计算因运算顺序不同可能有舍入差异;精确注意力指算法目标没有引入稀疏/低秩近似,不意味着bitwise完全一致。

八、FlashAttention为何“重算更快”?

GPU的高带宽显存HBM容量大,但与片上SRAM/寄存器相比,频繁跨层级搬运中间张量可能很贵。经典FlashAttention(2022)采用IO-aware tiling:

  1. 将Q块、K/V块搬到片上,计算局部scores。
  2. 用在线Softmax更新行最大值、指数归一化和与Value的加权累积。
  3. 不把整张 (T\times T) 概率矩阵写到HBM;只写必要输出和行统计。
  4. Backward时利用Q/K/V和保存的输出/统计量,重新计算局部scores与probabilities,按块累积 (\bar Q,\bar K,\bar V)。

这样做可能增加部分算术重计算,但显著减少HBM全局读写。注意:“不物化整个P”不等于不用存其他激活。中间Attention权重存储由二次规模,变成主要与序列长度和头维相关的输出/统计量存储加工作区;整个模型显存没有因此自动变成线性。

尤其要区分:

[ \boxed{\text{HBM中间物化减少}\ne\text{密集Attention两两交互变成线性算术}.} ]

标准密集精确Attention仍需二次规模的Q/K匹配。FlashAttention-2(2023)进一步优化GPU工作划分、并行性与非矩阵乘操作;具体加速倍数取决于GPU、维度、长度、mask、dtype、kernel与整体模型瓶颈,不能照搬论文中的数字。

经典研究:FlashAttention(2022)、FlashAttention-2(2023)、Online normalizer calculation for softmax(2018)。

flowchart LR
  HBM["HBM:Q/K/V"] --> TILE["片上SRAM:Q块×K/V块"]
  TILE --> SCORE["局部分数+Mask"]
  SCORE --> ONLINE["在线Softmax:m、ℓ、a"]
  ONLINE --> OUT["逐块合并:输出O"]
  OUT --> SAVE["HBM:O和行统计"]
  SAVE --> BACK["反向:局部重算P"]
  HBM --> BACK
  BACK --> GRAD["累计dQ/dK/dV"]

九、实验如何公平比较?

固定Q/K/V、mask、dtype、GPU、Head维度和序列长度,比较朴素物化实现与分块精确实现的前向+反向总时间、峰值显存、HBM流量、输出和Q/K/V梯度误差;与更高精度参考结果比较绝对与相对误差。分别扫描短/长序列、causal/non-causal、不同batch和head维度。把Attention kernel微基准与完整训练tokens/s分开报告,避免将某个kernel的加速倍数误报为全模型加速。

教学伪代码:

# 朴素参考:完整P可用于检查数学梯度,不代表高效Kernel
S = Q @ K.T / sqrt(d_k) + mask
P = softmax(S, axis=-1)
O = P @ V
G = upstream(O)
dV = P.T @ G
dP = G @ V.T
D = row_sum(dP * P)
dS = P * (dP - D)
dQ = dS @ K / sqrt(d_k)
dK = dS.T @ Q / sqrt(d_k)

十、六个易错边界

常见误解 更严谨的理解
Softmax反向逐元素算 (p(1-p)) 即可 还需要整行概率加权的上游梯度平均
(\bar V) 只依赖V 实际是 (P^\top G),需要注意力权重
Mask位置只在前向不参与 理想被禁score的反向梯度也为0
FlashAttention近似了稠密Softmax 稠密FlashAttention在数学上计算精确Attention,浮点结果可有舍入差异
不保存P就不用算反向 分块重算与梯度累积仍需计算
去掉一份P就能确定端到端节省的显存 必须计入其他激活、工作区和框架缓存

经典机制与后续研究边界: Softmax微分和矩阵链式法则是基础数学;在线归一化的分块累积可严格代数验证;FlashAttention的速度收益来自具体IO层级与GPU实现,属于实证系统结果。

十一、四级递进自测(100分)

首次授课不显示标准答案,仅提供不泄题的提示。 前三题客观判分,第四题按推导与实验评分。提交答案后逐题讲解;总分80及以上继续、60—79针对性补练、低于60复习再练。

Lv1|Softmax梯度耦合与机制边界(15分|预计2分钟|单选)

对无dropout、每行至少有一个合法Key的缩放点积Attention,令P=softmax_row(S)、O=PV。关于反向传播,哪项描述最严谨?

A. Softmax的Jacobian是对角矩阵,因此每个概率只依赖对应logit。

B. 反向传播时,每个score的梯度需要减去该行概率加权的上游梯度均值;固定mask禁用位置在理想Softmax中得到零score梯度。

C. 由于前向输出由V决定,损失对Q和K的梯度始终为零。

D. 只要使用1/√d_k缩放,Softmax对score的梯度就永远不会变小。

提示:比较Softmax分母对不同logit的耦合;同时检查被禁位置的概率是否为零。

Lv2|从Attention输出反传到Query坐标(20分|预计4分钟|数值)

一行单头Attention:d_k=2,q=(ln3,0),k_1=(√2,0),k_2=(0,0);标量Value为v_1=1、v_2=5,无mask。分数s_j=q·k_j/√d_k,p=softmax(s),o=Σ_jp_jv_j,损失L=o。求∂L/∂q_1,填写十进制数(允许负值)。

提示:先由两个scaled logits求p与o,再用行Softmax的反向公式;最后乘上score对q_1的导数。

Lv3|Attention物化显存与在线重计算(25分|预计6分钟|多选)

设B=2、H=8、T=2048,一份完整Attention概率矩阵P按FP16保存。考虑标准密集精确Attention和分块IO-aware实现。以下哪些判断成立?(多选)

A. 单独保存一份P需要2×8×2048²×2字节,即128 MiB(1 MiB=2²⁰字节)。

B. 由于在线Softmax不保存完整P,因此密集Attention的Q/K主要两两交互一定由Θ(T²d)降为Θ(Td)。

C. 数学上可以逐块维护行最大值、指数和、加权Value和;反向可重算局部score/概率块,以减少HBM中间物化。

D. 只要O=PV,dV就等于GVᵀ,且与注意力概率P无关。

E. 对固定causal mask,禁用的Query-Key配对在理想Softmax里score梯度为零,但合法Key仍可能累加多个Query贡献。

提示:分别计算P元素数、区分算术复杂度与HBM写回,并对O=PV写出矩阵微分。

Lv4|完整梯度、在线Softmax与公平系统评测(40分|预计15分钟|开放)

研究/推导题(40分)。A(16分):在单头、无dropout、每行至少一个合法Key、mask固定时,给定S=QKᵀ/√d_k+M、P=softmax_row(S)、O=PV、G=∂L/∂O,用矩阵微分和Softmax Jacobian推导dV、dP、dS、dQ、dK,证明D_i=Σ_jP_ij(dP)_ij=G_i·O_i。B(14分):将一行Key划为A、B两块;各块保存最大logit m_A/m_B、指数和ℓ_A/ℓ_B、未归一化加权Value和a_A/a_B。推导合并后的m、ℓ、a、输出o,解释为什么可不物化P;用logits(0,ln3,ln4)、Value(2,5,8)核对。C(10分):设计显式Attention与IO-aware分块精确Attention的公平前向+反向实验,比较峰值显存、HBM流量、wall-clock、输出/梯度误差;解释重算为何可能提速但不改变密集二次算术阶,指出至少两个加速比例不能直接泛化的因素。

提示:A按照O=PV、Softmax、S=QKᵀ/√d_k逆序回传;B将两块指数权重统一到新最大值;C分开算术、HBM与墙钟时间。

十二、下一课预告

第21课|2026年11月9日|第3周复盘。 把Attention、MHA、RoPE、Decoder-only交叉熵、Encoder/Decoder差别与今天的反向和IO优化串成完整知识链,集中检查信息可见性、数学梯度、显存复杂度与GPU实际性能的边界。之后进入第4周:预训练、Tokenization、Scaling与训练稳定性。