计算机体系结构 · 第 4 课
Roofline:究竟该优化计算,还是优化数据搬运?
2026 年 10 月 23 日|第一周|约 18 分钟
归档说明: 本讲义根据当日课题与已存的四级测验重新构建完整教学版本,保留重点与准确的计算口径,但不声称逐字恢复历史聊天内容。
学习目标
推导 Roofline 的两个时间下界、算术强度和转折点,理解 Tiling 如何提高算术强度,同时掌握它不包含的延迟/并发限制。最后能解释“更低的理论时间下界”为什么不保证真实加速。
一、从固定工作量出发
定义 Kernel 必须执行 F 次 FLOP,执行期间某一指定存储层级实际传输了 Q Byte,机器可持续的对应浮点计算吞吐上限是 $P_{\rm peak}$ FLOP/s,存储带宽上限为 B Byte/s。
如果执行耗时为 T,那么完成 F 次 FLOP 的平均性能 $P=F/T$。任何实现都必须满足:
\[T\ge F/P_{\rm peak}.\]同理,因为 Q Byte 不可能以高于 B 的持续速率完成:
\[T\ge Q/B.\]计算和数据搬运即使完全重叠,这两个不等式也要同时满足,因此:
\[T\ge\max(F/P_{\rm peak},Q/B).\]定义算术强度 $I=F/Q$(单位 FLOP/Byte)。将不等式取倒数并乘 F:
\[\boxed{P\le\min(P_{\rm peak}, I B).}\]这就是最常用的 Roofline 性能上界。注意 P 是实际吞吐,而右侧是资源屋顶,不能倒过来把屋顶直接解释成实际性能。
二、Roofline 图怎么看?
横轴是算术强度 I,纵轴是性能上界。带宽屋顶 $P=IB$ 随 I 线性增长;计算屋顶 $P=P_{\rm peak}$ 与 I 无关。二者相交处满足 $IB=P_{\rm peak}$,转折算术强度为
\[I_{\rm ridge}=P_{\rm peak}/B.\]| 如果 | 更紧的计算上界 | 优化建议的含义 |
|---|---|---|
| $I<I_{\rm ridge}$ | $IB$ | 减少指定层的数据移动、提高复用可能更有价值 |
| $I>I_{\rm ridge}$ | $P_{\rm peak}$ | 优化运算执行效率、指令调度才可能接近屋顶 |
| $I=I_{\rm ridge}$ | 两者一样紧 | 需要同时考虑计算与搬运 |
这里的“更紧”仍然只是模型上的屋顶,不代表 DRAM 通道已经满载;真实访问延迟、依赖、前端和指令吞吐还可能把性能拉得更低。
三、交互例题:拖动 DRAM 流量看瓶颈迁移
[[viz:roofline]]
先在图中辨认 F、Q、P、B 四个独立符号,再依次计算算术强度、计算时间、访存时间与最大时间下界。改变 Q 的同时假定运算量 F 不变,观察重用优化如何移动瓶颈。
另算一个数值实例:$F=18$ GFLOP、$Q=3$ GB、$P_{\rm peak}=600$ GFLOP/s、$B=100$ GB/s,均用十进制 G=10⁹。算术强度 $I=6$ FLOP/Byte;计算时间下界 $18/600=0.03$s 即 30ms;搬运时间下界 $3/100=0.03$s 也为 30ms。若 B 提升一倍而 F、Q、P 不变,访存下界降至 15ms,但计算仍需至少 30ms。只提高其中一个屋顶不会无限改善总体下界。
四、Tiling 为什么可能提高算术强度?
矩阵乘法 $C=A B$(n×n)有约 $2n^3$ FLOP。若一个朴素实现反复从较低层搬运 A、B 的元素,Q 可能很大;用缓存块 Tiling 后,一个小块可以在 Cache/寄存器内参与多次运算,使从 DRAM 读入的数据更充分复用。
关键不是“数学 FLOPs 变少”,而是同样数学结果消耗的实际指定层流量 Q 变少,于是 $I=F/Q$ 增加。为了公平比较,应通过硬件计数器或可靠估计获得真实层级流量,不应简单使用源程序中 load/store 的条数来代替 DRAM 字节。
Tiling 也可能增加索引计算、边界处理、寄存器压力、占用率下降,甚至破坏访问合并。减少 Q 是可能的改进机制,不是必然的性能改善。
五、把 Little 定律加入 Roofline
上一课我们推导:若最多有 H 条在途独立请求,每请求传输 s Byte,平均请求驻留时间 W,那么请求并发给出另一带宽上界
\[B_{\rm MLP}\le Hs/W.\]于是计算性能受到三个同时成立的约束:
\[\boxed{P\le\min(P_{\rm peak},I B_{\rm DRAM},I Hs/W).}\]相应的 Kernel 时间下界是
\[\boxed{T\ge\max(F/P_{\rm peak},Q/B_{\rm DRAM},QW/(Hs)).}\]这解释了为何低 DRAM 利用率不等于计算瓶颈:如果请求依赖链很长,H 的硬件上限虽然高,实际可维持的独立在途数可能只有 1,访问会被平均延迟限制。
假设 H=16、s=64B、W=80ns,则 $B_{\rm MLP}\le16\cdot64/80=12.8$GB/s。即使通道峰值是 100GB/s,只有这些有效请求槽位也无法借助该模型实现更高的持续带宽。真实模型里 W 可能随排队变化,所以必须使用一致测量状态下的平均值。
六、Roofline 的适用边界与反例
反例 1:提高算力没有作用。 当 $IB$ 远小于 $P_{\rm peak}$,即便计算单元翻倍,上界仍由数据搬运主导。反例 2:带宽翻倍也没有收益。 如果实际 MLP 仅支持远低于通道的吞吐,带宽硬件变化不能自动让软件多发独立请求。反例 3:单一算术强度混淆层级。 DRAM 层和 L2 层对应不同的 Q、B、屋顶,不能用 DRAM 的 Q 与 L2 的 B 拼成一个公式。
要验证假说,建议固定工作量,依次测试:改变 Tile 大小、改变内存访问独立性、改变计算强度,并记录执行时间、实际 DRAM bytes、平均在途、Cache 命中、内存带宽、运算吞吐及频率。理论界仅用于选择下一步实验,不是保证的加速比。
七、下一讲
下一课将把 CPI、Roofline、Little 和 Amdahl 放在统一性能诊断流程中,尤其讨论资源瓶颈迁移与如何证伪性能假设。
四级分级自测(总分 100,首次不公布答案)
前三题客观判分;第 4 题是开放推导、建模和实验设计,需要自评或由人工/ChatGPT 批改。
Lv1|Roofline 模型概念|15 分|预计 2 分钟
一个 Kernel 在传统双屋顶 Roofline 图上落在斜线带宽限制区域。以下哪种理解最严谨?
A. 只要计算峰值翻倍,Kernel 的实际吞吐率必然翻倍。
B. 该模型中带宽给出了更紧的性能上界;即使提高带宽,实际性能也可能受访存延迟、并发量等因素制约。
C. 斜线区域意味着所有 DRAM 通道一定已达到标称峰值带宽。
D. 算术强度完全由处理器的峰值算力决定,与算法和数据移动无关。
可选提示:区分“模型上界”“实测瓶颈”和“实际达到上界”。
Lv2|资源下界数值计算|20 分|预计 4 分钟
某 Kernel 完成 F=3×10^9 FLOP,并从 DRAM 实际传输 Q=1.2×10^9 Byte。机器的计算峰值为 400 GFLOP/s,DRAM 可持续带宽为 60 GB/s。忽略其他限制,求 Roofline 给出的最短执行时间下界,单位为毫秒(ms)。采用十进制 G=10^9,结果保留至少两位小数。
可选提示:先分别求计算时间下界 F/P_peak 与访存时间下界 Q/B,然后取较大者。
Lv3|并发限制与瓶颈迁移|25 分|预计 5 分钟
某 Kernel 的 DRAM 算术强度为 I=10 FLOP/Byte,计算峰值 800 GFLOP/s,DRAM 可持续带宽 100 GB/s。假设实际最多能长期维持 16 条独立在途 DRAM 请求,每条 64 Byte,平均往返延迟 80 ns;所有单位使用十进制。其他条件不变。下列哪些说法正确?(多选)
A. 传统只考虑计算峰值和 DRAM 峰值带宽的 Roofline 上界是 1000 GFLOP/s。
B. 加入上述请求并发容量约束后,DRAM 吞吐上界为 12.8 GB/s,对应 Kernel 计算吞吐上界为 128 GFLOP/s。
C. 如果只把计算峰值从 800 提高到 1600 GFLOP/s,综合模型的计算吞吐上界仍为 128 GFLOP/s。
D. 如果只把 DRAM 通道带宽从 100 提高到 200 GB/s,原有并发容量造成的吞吐限制就会消失。
可选提示:先检查单位,再比较 P_peak、I B_DRAM 和 I×(Ns/W) 三个上界,不能把其中一个当成保证达到的速度。
Lv4|综合设计与证伪|40 分|预计 12 分钟
综合设计题:同一 Kernel 的基准版本需要 F=80×10^9 FLOP,DRAM 传输 Q=16×10^9 Byte;机器 P_peak=1000 GFLOP/s、B_DRAM=100 GB/s。任务:(A,10分) 推导 Roofline 不等式、计算原版算术强度和最短时间下界;(B,10分) 分块版本把 Q 降至 4×10^9 Byte,但 FLOPs 增加20%,计算其算术强度和最短时间下界;比较两个版本的理想时间下界,并说明不能把下界比值直接当成实测加速比;(C,12分) 假设两版本均最多稳定维持 N=32 条在途 DRAM 请求、每请求 64 Byte、平均延迟 W=80 ns。求 MLP 限制下的有效带宽上界,再分别重新计算两版本的最短执行时间下界;(D,8分) 分别指出分块优化可能改善或恶化实际性能的两个机制,并给出可测量指标。全部采用十进制 GB/GFLOP。
可选提示:把执行时间分别与总计算量/可持续计算速率、DRAM 传输量/可持续带宽联系起来;加入 Little 定律后重新取所有约束中的较紧者。理论下界不是性能实测。