计算机体系结构 · 第 5 课

从 CPI 到多瓶颈性能诊断:为什么“看到瓶颈”不等于“找对优化”?

2026 年 10 月 24 日|第 1 周·第 5 课|约 18 分钟

学习目标。 完成本课后,你应能:①从指令数、时间和频率计算 CPI/IPC,并解释它们为何不能单独定位瓶颈;②把算力、DRAM 带宽和在途请求容量写成统一的时间下界;③用数值案例判断硬件升级的收益上界如何发生迁移;④设计能证伪性能假设的实验。

前四课分别建立了 CPI/Amdahl、流水线吞吐、Little 定律与 Roofline。今天不再分别背诵这些公式,而是回答真实优化中最难的一步:测到性能差以后,如何提出可检验的瓶颈假说?

一、先看一个“看上去很差”的 IPC

设一颗 CPU 的时钟频率为 (f=2\ \mathrm{GHz}),执行程序的退休指令数为 (IC=10^9),实际耗时 (T=1\ \mathrm{s})。

时钟周期数为 (C=fT=2\times10^9),所以

[ \mathrm{CPI}=\frac{C}{IC}=2,\qquad \mathrm{IPC}=\frac{IC}{C}=0.5. ]

假设该处理器理论上每周期最多退休 4 条指令。若每条退休指令在这个教学模型中恰好对应一条微操作(µop),则:

[ \text{可用退休槽位}=4C=8\times10^9,\quad \text{有用退休槽位占比}=\frac{IC}{4C}=12.5\%. ]

这意味着什么?只能说明退休吞吐远低于理想宽度,不能证明原因是内存。 前端供给不足、分支错误预测、执行依赖链、功能部件争用、缓存缺失,都可能导致低 IPC。

真实处理器的 Top-Down 分析以微操作槽位而非简单的机器指令数为单位;一条指令可能解码为多条 µop,甚至进行融合。因此,上面的 12.5% 只是明确假设下的教学计算,不可直接当成某款 CPU 的硬件性能计数器结论。

为什么不能把每次 Miss 延迟相加?

设两次独立 Load 都有 100 ns 延迟。如果它们可以几乎同时发出,等待区间可能重叠:

时间(ns)      0                   100
Load A        [====================]
Load B        [====================]
关键等待路径  [====================]

这段关键等待路径可能接近 100 ns,而不是 (100+100=200) ns。反过来,若第二次 Load 的地址依赖第一次 Load 的结果,二者就无法按此方式重叠。

因此:

[ \boxed{\text{程序停顿时间}\ne \text{Cache Miss 数量}\times\text{平均 Miss 延迟}} ]

一般不成立。要使用“CPI 分解”,必须说明不同停顿周期如何归因并避免重叠计数。

二、统一下界:计算、带宽、并发是三个不同天花板

考虑一个长时间运行的 Kernel。先声明符号与假设:

符号 含义
(F) 必须完成的浮点运算总量,FLOP
(P_{\max}) 对应精度和指令类型的可持续计算上限,FLOP/s
(Q) DRAM 层实际传输字节数,Byte
(B_{\max}) 可持续 DRAM 带宽,Byte/s
(M) 必须完成的独立内存请求数
(s) 每条请求传输的字节数;此处假设 (Q=Ms)
(W) 请求从发出到完成的平均驻留时间,秒
(H) 任意时刻允许同时在途的请求数上限
(S) 不与下面主体工作重叠的串行开销
(T_{\mathrm{body}}) 计算与传输可以相互重叠的主体执行时间

模型假定请求都在主体阶段发出和完成,各请求占用一个跟踪槽位;暂不考虑请求合并、不同大小的事务、队列资源分层等复杂情况。

计算资源约束。 因为每秒至多完成 (P_{\max}) FLOP:

[ T_{\mathrm{body}}\ge \frac{F}{P_{\max}}. ]

DRAM 带宽约束。 因为每秒至多移动 (B_{\max}) Byte:

[ T_{\mathrm{body}}\ge\frac{Q}{B_{\max}}. ]

并发容量约束。 令 (n(t)) 是时刻 (t) 的在途请求数。每条请求从发出到完成占用的“请求·秒”累加起来,恰好等于曲线面积:

[ \int_0^{T_{\mathrm{body}}}n(t)\,dt =\sum_{i=1}^{M}W_i=MW. ]

而硬件上限给出 (n(t)\le H),故:

[ MW\le HT_{\mathrm{body}} \quad\Longrightarrow\quad T_{\mathrm{body}}\ge\frac{MW}{H} =\frac{QW}{Hs}. ]

这既可以理解为 Little 定律 (N=\lambda W) 的有限工作量版本,也可以理解为对在途请求数—时间面积的计数。注意 (W) 应是该执行条件下的实际平均请求驻留时间,而不是随意拿空载延迟代入。

由于三个约束同时成立:

[ \boxed{ T\ge S+ \max\left( \frac{F}{P_{\max}}, \frac{Q}{B_{\max}}, \frac{QW}{Hs} \right) }\tag{1} ]

这里把 (S) 加在外面,只因为明确假设它完全不与主体重叠。如果启动、访存和计算实际交叠,不能无条件把这些时间项相加。

式 (1) 是时间下界,不是实际运行时间预测公式。其倒数对应的性能屋顶不保证可以达到。

三、一个完整的性能诊断案例

假设某计算设备运行固定工作量,参数如下(均为教学假设,而非某个真实产品规格):

参数 数值
(F) (12\ \mathrm{GFLOP})
(P_{\max}) (1.2\ \mathrm{TFLOP/s})
(Q) (2\ \mathrm{GB})
(B_{\max}) (80\ \mathrm{GB/s})
(s) (64\ \mathrm{Byte/request})
(W) (100\ \mathrm{ns})
(H) 64 条在途请求
串行开销 (S) (2\ \mathrm{ms})
实际测得总时间 (70\ \mathrm{ms})

统一采用十进制 (1\ \mathrm{GB}=10^9\ \mathrm{Byte})。

第一步:计算三个独立下界。

[ T_{\mathrm{compute}}\ge \frac{12\times10^9}{1.2\times10^{12}} =10\ \mathrm{ms}. ]

[ T_{\mathrm{bandwidth}}\ge \frac{2\times10^9}{80\times10^9} =25\ \mathrm{ms}. ]

总请求数:

[ M=\frac{2\times10^9}{64} =31.25\times10^6. ]

所以:

[ T_{\mathrm{concurrency}} \ge\frac{31.25\times10^6\times100\times10^{-9}}{64} =48.828125\ \mathrm{ms}. ]

整个程序的时间下界为:

[ \boxed{T\ge2+48.828125=50.828125\ \mathrm{ms}.} ]

第二步:读懂观测差距。 实测 70 ms,大于 50.828 ms。此时可以说“并发上界比计算和带宽上界更紧”,但不能据此声称已经证明 19.172 ms 的差距全部由某个具体 Stall 引起。可能还存在前端、依赖、访问不均衡、控制器排队等原因。

如果 2 ms 的串行开销独立可测,则主体耗时为 68 ms。主体阶段的平均实际吞吐为:

[ B_{\mathrm{body}}=\frac{2\ \mathrm{GB}}{68\ \mathrm{ms}} \approx29.41\ \mathrm{GB/s}. ]

若平均请求驻留时间确为 100 ns,那么平均在途请求数约为:

[ \bar N=\frac{B_{\mathrm{body}}W}{s} \approx45.96. ]

它小于允许的 64 条,提示“硬件能装下 64 条”不等于“软件能长期发出并维持 64 条”。但这仍只是定位线索,应通过 profiler 或微基准验证。

第三步:预测“优化哪一个资源”可能改变天花板

假设每次只改变表中所说的一项,其他参数包括 (W,S,F) 均不变:

改动 计算下界 带宽下界 并发下界 总时间下界
原始 10 ms 25 ms 48.828 ms 50.828 ms
算力翻倍 5 ms 25 ms 48.828 ms 50.828 ms
DRAM 带宽翻倍 10 ms 12.5 ms 48.828 ms 50.828 ms
在途容量 (H) 翻倍 10 ms 25 ms 24.414 ms 27 ms
实际 DRAM 流量 (Q) 减半 10 ms 12.5 ms 24.414 ms 26.414 ms

这里“流量减半”额外假设事务数量也减半且计算量不变,例如成功消除了重复 DRAM 访问。现实中修改 Tiling、Cache 或预取策略往往会同时改变 (Q,W,H) 和计算开销。

看出瓶颈迁移: 当 (H) 增加后,原先较松的 DRAM 带宽约束可能成为新的最紧上界。把“并发优化前后的两个下界”之比当作实际加速比,是错误的;优化后需要重新测量。

四、把 CPI、Roofline、Little 和 Amdahl 放在正确层级

它们回答的不是同一个问题:

工具 直接回答 不能单独回答
CPI / IPC 每条退休指令平均消耗多少周期 是哪个微架构部件造成了损失?
Roofline 计算与某层存储带宽各给出多紧的吞吐上界 为什么实际吞吐远低于屋顶?
Little / 在途面积 延迟与并发容量最多能支撑多少请求吞吐 软件是否真的暴露足够独立请求?
Amdahl 已知互不重叠的时间比例时,局部加速对整体的限制 哪个部分应被归因为可加速时间?

Amdahl 的时间分解必须是合理的。例如 100 ms 中,确实测得 10 ms 严格串行且不可加速,另外 90 ms 可整体加速两倍,那么:

[ T’=10+90/2=55\ \mathrm{ms}, \qquad \mathrm{Speedup}=100/55\approx1.818. ]

但不能把“累计 Cache Miss 延迟”直接塞进 Amdahl 的可加速比例,因为请求之间可能重叠,且改善内存也可能让新的瓶颈显现。

诊断流程

测量执行时间、工作量、指令数、流量
                  │
                  ▼
           算 CPI / IPC
                  │
                  ▼
     计算 compute / BW / 并发下界
                  │
                  ▼
      找到当前最紧的资源上界
                  │
                  ▼
    提出可证伪假设(并发?带宽?依赖?)
                  │
                  ▼
   仅改变一个关键因素,重复测量
                  │
                  ▼
       更新模型,观察瓶颈是否迁移

这个流程与“看见一个指标很低就直接优化它”不同。性能分析应是可重复的假设检验。

五、两个容易失败的诊断

反例 1:低 DRAM 带宽不等于 Compute-Bound。 严格链表依赖可能令 (H_{\mathrm{effective}}\approx1)。假设每次读取 64 B,内存延迟 100 ns,那么该链仅约 (0.64\ \mathrm{GB/s}) 的缓存行吞吐,远低于通道峰值。这是访存延迟和依赖受限,而不是计算饱和。

反例 2:更多 MSHR 不保证更高吞吐。 如果工作负载只能暴露 8 条独立 Miss,即使硬件容量从 32 提高到 128,实际并发也可能仍接近 8。相反,若通道已经饱和,额外并发主要可能增加排队等待时间,而不是完成率。

因此,判断下一步该优化硬件还是算法,至少要核对:独立请求数、实际在途数、访存延迟分布、通道利用率、Cache Line 利用率,以及负载变化后的这些指标。

适用边界。 式 (1) 默认固定工作量与请求大小、单一平均延迟、独立请求跟踪槽位,以及可与主体分离的串行开销;真实多级 Cache、MSHR 合并、DRAM Bank 冲突、NUMA 和不均衡请求大小会使估计变粗。测得的 (W) 必须与测得的吞吐来自一致的运行状态。


六、四级自测(100 分,首次不公布答案)

Lv1|概念诊断(15 分,约 2 分钟,单选)

考点:IPC 指标与瓶颈归因。

某处理器的退休 IPC 仅为峰值退休宽度的 15%。仅凭这一个事实,哪项结论最严谨?

A. 主要瓶颈必然是 DRAM Cache Miss。

B. 可以确定实际退休吞吐偏低,但还不能区分前端、推测失败、执行依赖或访存因素。

C. 增大 MSHR 容量必然按比例提高 IPC。

D. 说明程序的算术强度一定低于 Roofline 拐点。

可选提示:区分“测量结果”与“因果归因”。

Lv2|执行槽位定量计算(20 分,约 3 分钟,数值)

考点:指令数、周期数与理想退休槽位利用率。

某 CPU 主频 (f=2\ \mathrm{GHz}),执行时间 (T=0.4\ \mathrm{s}),退休指令数 (IC=1.2\times10^9),峰值退休宽度为每周期 4 条。为简化分析,假设每条退休指令对应 1 条 µop。

问题:有用退休槽位占所有理论槽位的百分比是多少? 以百分数数值作答(例如 25 表示 25%),保留三位小数,并列出计算式。

可选提示:先计算总周期,再计算理论槽位总数。

Lv3|重叠执行与诊断边界(25 分,约 5 分钟,多选)

考点:延迟重叠、CPI 误判与并发假设检验。

选择所有正确说法:

A. 两次互不依赖、各耗时 100 ns 的缺失若能同时发出,其关键等待路径不应机械地记成 200 ns。

B. 如果 CPI 明显高于理想值,便可仅凭 CPI 断定 DRAM Miss 是主要原因。

C. 当平均在途请求数保持不变而平均请求驻留时间增加时,请求完成吞吐率必然同比例提高。

D. 在其他条件尽量一致时,提高可维持的在途请求数量后,测得吞吐也提高,这支持“原先并发受限”的假设,但仍需排查其他瓶颈。

可选提示:从公式所描述的量和是否具有因果保证两方面判断。

Lv4|多瓶颈建模、配置与实验证伪(40 分,约 12 分钟,开放推导)

考点:在途面积证明、资源配置优化与性能实验。

某 Kernel 有以下参数:(F=9\ \mathrm{GFLOP})、(Q=1.5\ \mathrm{GB})、(P_{\max}=900\ \mathrm{GFLOP/s})、(B_{\max}=75\ \mathrm{GB/s})、每条内存请求 (s=64\ \mathrm B)、平均请求驻留时间 (W=120\ \mathrm{ns})、在途请求上限 (H=48),实测总耗时为 90 ms。假设 (S=0),全部请求大小相等、无合并,各资源可以理想重叠,且对配置修改后 (W) 暂时保持不变。

A(12 分) 从在途请求数—时间面积出发,严格证明 (T\ge QW/(Hs)),再和计算、DRAM 带宽约束结合,写出统一时间下界。

B(10 分) 分别计算三项时间下界和总下界;再求如果希望“并发容量不再比 DRAM 带宽更紧”,(H) 至少应为多少个整数槽位。

C(10 分) 仅将 (H) 增至 96、或仅将 (H) 增至 192,分别计算新的总时间下界,解释为什么增加两倍资源之后可能遇到收益瓶颈。

D(8 分) 设计至少两项测量或对照实验,区分“软件独立请求不足”“在途容量不足”和“DRAM 带宽饱和”。明确每项实验所控制的变量、采集的指标及预期如何判断假说。

可选提示:下界中的三个时间项都必须算;注意平均驻留时间不能随意视为永远不变。


七、本课总结与下一讲

今天得到的不是第四课 Roofline 的简单重复,而是一套分层、可检验的方法:

[ \mathrm{CPI}=\frac{fT}{IC} \quad\to\quad T\ge S+\max!\left( \frac{F}{P_{\max}}, \frac{Q}{B_{\max}}, \frac{QW}{Hs} \right). ]

CPI 反映结果;三个时间下界提供资源假说;实验决定假说是否成立。最紧的上界在优化后可能迁移,不能把下界比值说成真实性能提升。

下节课(第 6 课,2026-10-25)预告: 定量性能分析综合案例——Amdahl 的串行比例如何与并行扩展性、访存争用和能耗目标共同决定架构选择,为第一周第 7 课复盘做准备。

作答后将按 Lv1—Lv4 分别评分,总分 100;80 分及以上按原定计划进入下一专题,60–79 分补充针对性案例,低于 60 分先回顾相关知识并再练。评分不改变自然日课程编号。