人工智能:理论、算法与系统 · 第20课
Attention反向传播与FlashAttention:梯度、在线Softmax和GPU显存
2026年11月8日|第3周第6课|约18分钟
上一课比较了Encoder-only、Decoder-only和Encoder–Decoder;今天深入Attention内部:前向一行公式,反向为什么要多次矩阵乘法?GPU实现为什么有时宁愿多算一次,也不把完整注意力矩阵写到显存?
目标:①推导Softmax的Jacobian和Q/K/V梯度;②解释mask的梯度边界;③手算一行梯度;④推导在线Softmax合并公式,理解FlashAttention的计算、显存和IO取舍。
一、形状、假设和前向定义
考虑单个Head、无dropout的Attention。Query数为 (T_q)、Key数为 (T_k),Q/K宽度为 (d_k)、V宽度为 (d_v):
[ Q\in\mathbb R^{T_q\times d_k},\quad K\in\mathbb R^{T_k\times d_k},\quad V\in\mathbb R^{T_k\times d_v}. ]
定义:
[ \boxed{S=\frac{QK^\top}{\sqrt{d_k}}+M,\quad P=\operatorname{softmax}_{\rm row}(S),\quad O=PV.} ]
其中 (S,P\in\mathbb R^{T_q\times T_k})、(O\in\mathbb R^{T_q\times d_v})。固定mask (M_{ij}) 是0或 (-\infty)。假设每个Query行至少有一个合法Key,且先在实数数学中推导;全被mask的行需专门处理,浮点实现不保证逐位一致。
二、Softmax的Jacobian不是对角矩阵
对一行logits (s),有 (p_j=e^{s_j}/\sum_re^{s_r})。按商法则:
[ \boxed{\frac{\partial p_j}{\partial s_k}=p_j(\mathbf1_{j=k}-p_k).} ]
写成矩阵:
[ \boxed{J_{\rm softmax}=\operatorname{diag}(p)-pp^\top.} ]
给定上游梯度 (\bar p_j=\partial\mathcal L/\partial p_j),链式法则给出:
[
\begin{aligned}
\bar s_k
&=\sum_j\bar p_j\frac{\partial p_j}{\partial s_k}
&=p_k\left(\bar p_k-\sum_jp_j\bar p_j\right).
\end{aligned}
]
因此:
[ \boxed{\bar s=p\odot(\bar p-D\mathbf1),\quad D=\sum_jp_j\bar p_j.} ]
机制直觉: 同一行所有Key的logits竞争一个归一化分母。若误用 (\bar s_k=p_k(1-p_k)\bar p_k),就漏掉了其他位置的影响。由于对所有logits共同加常数不改变Softmax,同一行应满足 (\sum_k\bar s_k=0)。
三、把梯度一路传回Q、K、V
设损失为 (\mathcal L(O)),上游梯度 (G=\partial\mathcal L/\partial O),形状 ([T_q,d_v])。以 (\bar A) 表示对 (A) 的梯度。
先从 (O=PV) 回传:
[ dO=(dP)V+P(dV). ]
由 (d\mathcal L=\operatorname{tr}(G^\top dO)) 对照每一项,可得:
[ \boxed{\bar V=P^\top G,\qquad \bar P=GV^\top.} ]
再对每行Softmax回传:
[ D_i=\sum_jP_{ij}\bar P_{ij},\qquad \boxed{\bar S_{ij}=P_{ij}(\bar P_{ij}-D_i).} ]
这里有个对系统实现极重要的恒等式:
[
\begin{aligned}
D_i&=\sum_jP_{ij}(G_i^\top V_j)
&=G_i^\top\left(\sum_jP_{ij}V_j\right)
=\boxed{G_i^\top O_i}.
\end{aligned}
]
所以每行Softmax反向所需的归约标量,只用该行输出O和上游G即可得到。不必为了计算 (D_i) 先把完整 (\bar P) 写入HBM。
最后回传分数矩阵:
[ dS=\frac{(dQ)K^\top+Q(dK)^\top}{\sqrt{d_k}}, ]
固定mask不参与求导,因此:
[ \boxed{\bar Q=\frac{\bar S K}{\sqrt{d_k}},\qquad \bar K=\frac{\bar S^\top Q}{\sqrt{d_k}}.} ]
整理为完整反向公式:
[
\boxed{\begin{aligned}
\bar V&=P^\top G,& \bar P&=GV^\top,
D_i&=G_i^\top O_i,&
\bar S_{ij}&=P_{ij}(\bar P_{ij}-D_i),
\bar Q&=\bar S K/\sqrt{d_k},&
\bar K&=\bar S^\top Q/\sqrt{d_k}.
\end{aligned}}
]
检查形状:(\bar V) 是 (T_k\times d_v),(\bar P,\bar S) 是 (T_q\times T_k),(\bar Q) 是 (T_q\times d_k),(\bar K) 是 (T_k\times d_k)。多头时各头独立计算,再穿过Concat、输出线性层和Q/K/V投影继续反传。
flowchart TD
Q["Q"] --> S["S = QKᵀ/√d + M"]
K["K"] --> S
S --> P["P = row Softmax(S)"]
P --> O["O = PV"]
V["V"] --> O
G["上游G = dL/dO"] --> B["dV=PᵀG; dP=GVᵀ"]
O --> D["D_i=G_i · O_i"]
G --> D
B --> DS["dS=P⊙(dP−D)"]
D --> DS
P --> DS
DS --> QK["dQ=dS K/√d; dK=dSᵀ Q/√d"]
四、数值例子:三个Key如何在反向中竞争?
考虑某个Query对三个合法Key的scaled logits:
[ s=(0,\ln2,0),\quad v=(0,6,-3), ]
其中三个Value都是标量。Softmax得到:
[ p=(1/4,1/2,1/4). ]
取输出本身作为损失 (\mathcal L=o)。前向:
[ o=\frac14\cdot0+\frac12\cdot6+\frac14\cdot(-3)=\frac94=2.25. ]
因此上游 (G=1),(\bar p=(0,6,-3)),共享的行归约量为 (D=G\cdot o=2.25)。逐个logit反向:
[
\begin{aligned}
\bar s_1&=\tfrac14(0-2.25)=-0.5625,
\bar s_2&=\tfrac12(6-2.25)=1.875,
\bar s_3&=\tfrac14(-3-2.25)=-1.3125.
\end{aligned}
]
可以直接核对 (\bar s_1+\bar s_2+\bar s_3=0),体现了Softmax对整行同时加一个常数不变。之后再用 (\bar Q=\bar S K/\sqrt{d_k}) 传播到Query。这里展示的是三个Key的score梯度;后面的Lv2自测要求进一步计算不同两Key配置的Query坐标梯度。
五、被Causal Mask屏蔽的边是否有梯度?
假设mask固定、每行至少一个Key有效。理想 (-\infty) mask使被禁位置 (P_{ij}=0),所以:
[ \boxed{\bar S_{ij}=0\quad \text{(禁用的Query-Key配对)}.} ]
但某个合法Key/Value可能被许多不同Query读取,其 (\bar K_j,\bar V_j) 因此会聚合多个Query的贡献。也不能把“未来位置不可被早期Query读取”误认为“未来token参数不接收任何训练梯度”。若使用Attention dropout或不同mask实现,必须在计算图中正确加入对应随机门控和梯度规则,不能机械套用今天无dropout的式子。
六、为什么朴素实现会占用二次中间显存?
对Batch (B)、Head数 (H)、Self-Attention长度 (T)、每头维度 (d_h),分数和权重具有形状:
[ S,P\in\mathbb R^{B\times H\times T\times T}. ]
若完整物化一份FP16概率张量 (P),字节数为:
[ \boxed{2BHT^2\ \text{bytes}.} ]
如 (B=1,H=16,T=4096),那么:
[ 2\times16\times4096^2=536{,}870{,}912\ \text{bytes} =\boxed{512\ \text{MiB}}. ]
这仅是一份P,不含其他中间量、Q/K/V、权重、梯度、优化器状态。实际框架保存多少中间张量要用Profiler核对,不可把这个示例直接说成总显存占用。
一头Attention的 (QK^\top) 和 (PV) 主要算术量为 (\Theta(T^2(d_k+d_v)));固定总Head宽度 (d=Hd_h) 时,多头主要交互约为 (\Theta(BT^2d))。
七、在线Softmax:两块算出的结果怎么“无损”合并?
对某一Query行的一组合法Key (J),保存三个量:
[ m_J=\max_{j\in J}s_j,\quad \ell_J=\sum_{j\in J}e^{s_j-m_J},\quad a_J=\sum_{j\in J}e^{s_j-m_J}v_j. ]
那么最终输出为:
[ \boxed{o=a_J/\ell_J.} ]
现在把Key分成两块A、B,分别算出 ((m_A,\ell_A,a_A))、((m_B,\ell_B,a_B))。合并时先取:
[ m=\max(m_A,m_B). ]
利用 (e^{s_j-m}=e^{m_A-m}e^{s_j-m_A})(对A中各元素),得到:
[
\boxed{\begin{aligned}
\ell&=e^{m_A-m}\ell_A+e^{m_B-m}\ell_B,
a&=e^{m_A-m}a_A+e^{m_B-m}a_B,
o&=a/\ell.
\end{aligned}}
]
这在实数数学上等价于对所有Key一次性执行Softmax再乘V,且不需要保存完整的一行概率。
手算示例: logits为 ((0,\ln2,\ln3)),标量Value为 ((1,4,7))。指数权重比为 (1:2:3),所以:
[ o=\frac{1\cdot1+2\cdot4+3\cdot7}{1+2+3} =\frac{30}{6}=5. ]
如果将第一项与后两项分成两块,再使用上面的 ((m,\ell,a)) 公式合并,应得到同一结果。实际浮点计算因运算顺序不同可能有舍入差异;精确注意力指算法目标没有引入稀疏/低秩近似,不意味着bitwise完全一致。
八、FlashAttention为何“重算更快”?
GPU的高带宽显存HBM容量大,但与片上SRAM/寄存器相比,频繁跨层级搬运中间张量可能很贵。经典FlashAttention(2022)采用IO-aware tiling:
- 将Q块、K/V块搬到片上,计算局部scores。
- 用在线Softmax更新行最大值、指数归一化和与Value的加权累积。
- 不把整张 (T\times T) 概率矩阵写到HBM;只写必要输出和行统计。
- Backward时利用Q/K/V和保存的输出/统计量,重新计算局部scores与probabilities,按块累积 (\bar Q,\bar K,\bar V)。
这样做可能增加部分算术重计算,但显著减少HBM全局读写。注意:“不物化整个P”不等于不用存其他激活。中间Attention权重存储由二次规模,变成主要与序列长度和头维相关的输出/统计量存储加工作区;整个模型显存没有因此自动变成线性。
尤其要区分:
[ \boxed{\text{HBM中间物化减少}\ne\text{密集Attention两两交互变成线性算术}.} ]
标准密集精确Attention仍需二次规模的Q/K匹配。FlashAttention-2(2023)进一步优化GPU工作划分、并行性与非矩阵乘操作;具体加速倍数取决于GPU、维度、长度、mask、dtype、kernel与整体模型瓶颈,不能照搬论文中的数字。
经典研究:FlashAttention(2022)、FlashAttention-2(2023)、Online normalizer calculation for softmax(2018)。
flowchart LR
HBM["HBM:Q/K/V"] --> TILE["片上SRAM:Q块×K/V块"]
TILE --> SCORE["局部分数+Mask"]
SCORE --> ONLINE["在线Softmax:m、ℓ、a"]
ONLINE --> OUT["逐块合并:输出O"]
OUT --> SAVE["HBM:O和行统计"]
SAVE --> BACK["反向:局部重算P"]
HBM --> BACK
BACK --> GRAD["累计dQ/dK/dV"]
九、实验如何公平比较?
固定Q/K/V、mask、dtype、GPU、Head维度和序列长度,比较朴素物化实现与分块精确实现的前向+反向总时间、峰值显存、HBM流量、输出和Q/K/V梯度误差;与更高精度参考结果比较绝对与相对误差。分别扫描短/长序列、causal/non-causal、不同batch和head维度。把Attention kernel微基准与完整训练tokens/s分开报告,避免将某个kernel的加速倍数误报为全模型加速。
教学伪代码:
# 朴素参考:完整P可用于检查数学梯度,不代表高效Kernel
S = Q @ K.T / sqrt(d_k) + mask
P = softmax(S, axis=-1)
O = P @ V
G = upstream(O)
dV = P.T @ G
dP = G @ V.T
D = row_sum(dP * P)
dS = P * (dP - D)
dQ = dS @ K / sqrt(d_k)
dK = dS.T @ Q / sqrt(d_k)
十、六个易错边界
| 常见误解 | 更严谨的理解 |
|---|---|
| Softmax反向逐元素算 (p(1-p)) 即可 | 还需要整行概率加权的上游梯度平均 |
| (\bar V) 只依赖V | 实际是 (P^\top G),需要注意力权重 |
| Mask位置只在前向不参与 | 理想被禁score的反向梯度也为0 |
| FlashAttention近似了稠密Softmax | 稠密FlashAttention在数学上计算精确Attention,浮点结果可有舍入差异 |
| 不保存P就不用算反向 | 分块重算与梯度累积仍需计算 |
| 去掉一份P就能确定端到端节省的显存 | 必须计入其他激活、工作区和框架缓存 |
经典机制与后续研究边界: Softmax微分和矩阵链式法则是基础数学;在线归一化的分块累积可严格代数验证;FlashAttention的速度收益来自具体IO层级与GPU实现,属于实证系统结果。
十一、四级递进自测(100分)
首次授课不显示标准答案,仅提供不泄题的提示。 前三题客观判分,第四题按推导与实验评分。提交答案后逐题讲解;总分80及以上继续、60—79针对性补练、低于60复习再练。
Lv1|Softmax梯度耦合与机制边界(15分|预计2分钟|单选)
对无dropout、每行至少有一个合法Key的缩放点积Attention,令P=softmax_row(S)、O=PV。关于反向传播,哪项描述最严谨?
A. Softmax的Jacobian是对角矩阵,因此每个概率只依赖对应logit。
B. 反向传播时,每个score的梯度需要减去该行概率加权的上游梯度均值;固定mask禁用位置在理想Softmax中得到零score梯度。
C. 由于前向输出由V决定,损失对Q和K的梯度始终为零。
D. 只要使用1/√d_k缩放,Softmax对score的梯度就永远不会变小。
提示:比较Softmax分母对不同logit的耦合;同时检查被禁位置的概率是否为零。
Lv2|从Attention输出反传到Query坐标(20分|预计4分钟|数值)
一行单头Attention:d_k=2,q=(ln3,0),k_1=(√2,0),k_2=(0,0);标量Value为v_1=1、v_2=5,无mask。分数s_j=q·k_j/√d_k,p=softmax(s),o=Σ_jp_jv_j,损失L=o。求∂L/∂q_1,填写十进制数(允许负值)。
提示:先由两个scaled logits求p与o,再用行Softmax的反向公式;最后乘上score对q_1的导数。
Lv3|Attention物化显存与在线重计算(25分|预计6分钟|多选)
设B=2、H=8、T=2048,一份完整Attention概率矩阵P按FP16保存。考虑标准密集精确Attention和分块IO-aware实现。以下哪些判断成立?(多选)
A. 单独保存一份P需要2×8×2048²×2字节,即128 MiB(1 MiB=2²⁰字节)。
B. 由于在线Softmax不保存完整P,因此密集Attention的Q/K主要两两交互一定由Θ(T²d)降为Θ(Td)。
C. 数学上可以逐块维护行最大值、指数和、加权Value和;反向可重算局部score/概率块,以减少HBM中间物化。
D. 只要O=PV,dV就等于GVᵀ,且与注意力概率P无关。
E. 对固定causal mask,禁用的Query-Key配对在理想Softmax里score梯度为零,但合法Key仍可能累加多个Query贡献。
提示:分别计算P元素数、区分算术复杂度与HBM写回,并对O=PV写出矩阵微分。
Lv4|完整梯度、在线Softmax与公平系统评测(40分|预计15分钟|开放)
研究/推导题(40分)。A(16分):在单头、无dropout、每行至少一个合法Key、mask固定时,给定S=QKᵀ/√d_k+M、P=softmax_row(S)、O=PV、G=∂L/∂O,用矩阵微分和Softmax Jacobian推导dV、dP、dS、dQ、dK,证明D_i=Σ_jP_ij(dP)_ij=G_i·O_i。B(14分):将一行Key划为A、B两块;各块保存最大logit m_A/m_B、指数和ℓ_A/ℓ_B、未归一化加权Value和a_A/a_B。推导合并后的m、ℓ、a、输出o,解释为什么可不物化P;用logits(0,ln3,ln4)、Value(2,5,8)核对。C(10分):设计显式Attention与IO-aware分块精确Attention的公平前向+反向实验,比较峰值显存、HBM流量、wall-clock、输出/梯度误差;解释重算为何可能提速但不改变密集二次算术阶,指出至少两个加速比例不能直接泛化的因素。
提示:A按照O=PV、Softmax、S=QKᵀ/√d_k逆序回传;B将两块指数权重统一到新最大值;C分开算术、HBM与墙钟时间。
十二、下一课预告
第21课|2026年11月9日|第3周复盘。 把Attention、MHA、RoPE、Decoder-only交叉熵、Encoder/Decoder差别与今天的反向和IO优化串成完整知识链,集中检查信息可见性、数学梯度、显存复杂度与GPU实际性能的边界。之后进入第4周:预训练、Tokenization、Scaling与训练稳定性。