计算机体系结构 · 第 7 课|第 1 周复盘
从低 IPC 到真正的瓶颈:一张图、一条推导、一套诊断法
2026 年 10 月 26 日|第 1 周复盘|约 18 分钟
本周不是要背六条公式,而是建立一条论证链:观察到什么 → 由什么模型解释 → 模型作出什么可检验预测 → 优化后是否发生瓶颈迁移。今天用一个新案例贯穿前六课。题目全新;标准答案不放在讲义内。
0. 前六课的知识地图(1 分钟)
| 主题 | 核心问题 | 判断时最容易犯的错误 |
|---|---|---|
| 第 1 课:CPU Time / Amdahl | 哪个因素决定整体运行时间? | 把局部加速倍数当整体加速倍数 |
| 第 2 课:流水线 / Latency / Throughput | 为什么能重叠、为何仍停顿? | 把每条指令延迟直接相加成总时间 |
| 第 3–4 课:Little / Roofline | 在途数、请求延迟和带宽如何互相制约? | 把带宽峰值当一定可持续达到的带宽 |
| 第 5 课:多资源诊断 | 低 IPC、计算、带宽、并发之间怎样区分? | 把性能下界直接当执行时间 |
| 第 6 课:扩展性 / 能耗 | 加核心、增算力一定划算吗? | 固定工作量与弱扩展混用,或忽视功耗 |
本周逻辑关系: CPI 是测量结果;流水线和存储依赖解释可能原因;Roofline 与 Little 给出资源约束;Amdahl/扩展性/能耗帮助决定优化优先级。
flowchart TD
A["程序计数:时间、周期、退休指令"] --> B["CPI / IPC:发现吞吐异常"]
B --> C{"提出可验证的瓶颈假说"}
C --> D["计算上限 F/P"]
C --> E["带宽上限 Q/B"]
C --> F["并发上限 Qτ/(Hs)"]
D --> G["瓶颈下界 = 三者最大值"]
E --> G
F --> G
G --> H["尝试改算力 / 带宽 / MLP"]
H --> I["重新测量:延迟、带宽、IPC、能耗"]
I --> C
1. 先把量和假设说清楚(2 分钟)
同一段程序中定义:
- (IC):退休指令数;(f):平均有效时钟频率(Hz);(C):总周期数;(T):实测墙钟时间(这里假设 CPU 专注运行、墙钟时间与被测 CPU 时间口径一致)。
- (F):需要完成的浮点运算量(FLOP);(Q):真正经过目标 DRAM 通道的字节数,不等同于源代码中的读写字节数。
- (P):可持续达到的计算吞吐上限(FLOP/s);(B):可持续 DRAM 带宽上限(B/s)。
- (H):最多同时在途的 DRAM 请求数;(s):每条请求平均有效传输的字节;(\tau):从发出到完成的平均请求驻留时间(s);(S):与主体不能重叠的固定时间。
先用 (P,B) 表示建模所用的上界;实际硬件标称峰值常比可持续能力更乐观。以下推导假设请求数 (N=Q/s),请求完整落在主体区间内,并且计算、带宽传输、请求等待可以理想重叠。因而得到的是乐观的时间下界,不是预测的精确运行时间。
2. 回顾 CPU Time 与流水线:低 IPC 不是根因(2 分钟)
周期数与退休指令数满足
[ C=IC\cdot CPI,\qquad T=\frac{IC\cdot CPI}{f},\qquad IPC=\frac{IC}{C}=\frac1{CPI}. ]
(IPC) 可以大于 1:四发射机器理论上可能每周期退休 4 条指令。流水线延迟是单条依赖链结果变得可用要多久,吞吐率是足够独立的操作稳定运行时每周期可完成多少条,二者不是一回事。
设程序测得 (T=120\,\mathrm{ms})、(f=2.5\,\mathrm{GHz})、(IC=1.25\times10^8),则
[ C=0.120\times2.5\times10^9=3\times10^8, ] [ CPI=\frac{3\times10^8}{1.25\times10^8}=2.4,\quad IPC\approx0.417. ]
若退休宽度为 4,平均退休槽位利用率只有约 (0.417/4=10.4\%)。这说明退休吞吐远低于理论上限,但不说明一定是 DRAM:前端取指、分支误预测、RAW 依赖、资源冲突、Cache Miss 都可能造成空槽。
反例: 主频从 2.5 GHz 增至 3.0 GHz,但 (CPI) 因更深流水线/分支罚时从 2.4 升到 3.2。在相同 (IC) 下,后者反而更慢。只看 GHz 无法推断性能。
3. 从 Roofline 到 Little:推导第三道资源约束(4 分钟)
计算量下界: 每秒至多处理 (P) FLOP,所以 (T_\mathrm{compute}\ge F/P)。
带宽下界: 每秒至多搬运 (B) 字节,所以 (T_\mathrm{bandwidth}\ge Q/B)。算术强度 (I=F/Q),在性能速率表示中有
[ \text{FLOP/s}\le \min(P,BI). ]
这就是 Roofline 的核心,但它没有保证有足够请求在途中填满带宽。
并发下界: 假设一个 Kernel 发出了 (N=Q/s) 条请求。将每个请求从发出到完成的驻留时间相加,得到“请求数 × 时间”的面积:
[ \sum_{j=1}^{N}\tau_j=N\tau. ]
任意时刻只有至多 (H) 条请求在途。画出在途数 (h(t)) 关于时间的曲线,则
[ \int_0^{T_\mathrm{body}}h(t)\,dt =N\tau\le H T_\mathrm{body}. ]
因此
[ \boxed{T_\mathrm{body}\ge \frac{N\tau}{H} =\frac{Q\tau}{Hs}.} ]
这也是稳态 Little 定律 (\bar h=\lambda\tau) 的另一种表达:要维持带宽 (B),需要的平均在途数至少为
[ \boxed{H_\mathrm{sat}\ge \frac{B\tau}{s}.} ]
关键限定: (\tau) 可能随 (H) 增大而因排队上升;(H) 是硬件允许的上限,不代表软件一定制造得出那么多独立请求。若数据大部分命中 Cache,必须重新确定经过 DRAM 的 (Q)。
所以,主体在“理想重叠”假设下有统一时间下界
[ \boxed{T\ \ge\ S+ \max\left(\frac{F}{P},\,\frac{Q}{B},\,\frac{Q\tau}{Hs}\right).} ]
不要把三项机械相加:同一段时间可能既执行计算又有多个独立请求在飞。但若有相互依赖或强制先后阶段,真实时间又可能高于这个 max 下界。
4. 贯穿全周的数值案例:为什么扩大 MSHR 更有希望?(4 分钟)
延续前面的实测 (T=120) ms。假设其中 (S=5) ms 不可重叠;其余是一个计算/访存可理想重叠的 Kernel,参数为
| 参数 | 数值 | 含义 |
|---|---|---|
| (F) | 12 GFLOP | 主体浮点工作量 |
| (Q) | 2.4 GB | 主体经过 DRAM 的流量 |
| (P) | 800 GFLOP/s | 有效算力上界 |
| (B) | 120 GB/s | 有效共享带宽上界 |
| (H) | 32 | 最大在途请求数 |
| (s) | 128 B | 每条请求有效字节 |
| (\tau) | 160 ns | 平均请求驻留时间 |
约定 GB 为 (10^9) B,所有量使用一致单位。三个下界:
[ T_\mathrm{compute}=12/800\ \mathrm{s}=15\ \mathrm{ms}, ] [ T_\mathrm{bandwidth}=2.4/120\ \mathrm{s}=20\ \mathrm{ms}, ] [ T_\mathrm{MLP} =\frac{2.4\times10^9\cdot160\times10^{-9}}{32\cdot128} =93.75\ \mathrm{ms}. ]
因此本配置总时间至少 (5+93.75=98.75) ms,实测 120 ms 不违背下界。由实际主体耗时 115 ms 反推平均速率约 (20.87) GB/s。如果 (\tau) 约为 160 ns 且 (s=128) B,Little 定律给出平均约 (26.1) 条在途请求,低于上限 32。这个计算提示“并发可能是重要原因”,但仍不能断言所有多出的时间都由 MLP 引起。
做两个反事实实验:
- 只将 (H) 从 32 增至 128,并暂假设 (\tau) 不变,并发下界下降为 (23.4375) ms;主体三约束合起来是 (23.4375) ms,整程序下界为 (28.4375) ms。
- 再将 (H) 增至 160,并发下界成为 (18.75) ms。此时带宽下界 (20) ms 反而最紧,整程序下界为 (25) ms。
想让“在途数约束不比带宽更严格”,最少需要
[ H\ge \frac{B\tau}{s} =\frac{120\times10^9\cdot160\times10^{-9}}{128} =150. ]
这是一例瓶颈迁移:扩充 MSHR 到某个阈值有理论价值,越过阈值后继续扩充不能再降低带宽给定时的资源下界。它没有证明真实机器把 (H) 从 32 提到 160 就能得到 (120/25=4.8) 倍实测加速;软件依赖、排队、访存命中、前端或功耗都可能限制收益。
5. Amdahl、强扩展与能耗:做决策不能只看下界(2 分钟)
将 Amdahl 用于真正不能优化的时间比例 (a):
[ S(k)=\frac{1}{a+(1-a)/k}. ]
这里原始实测 120 ms 中固定开销为 5 ms。若主体能无代价无限加速,(S_{\max}\le120/5=24)。然而只要 2.4 GB 流量和 120 GB/s 带宽保持不变,主体还受 20 ms 约束,于是无论怎么改善算力和在途数,总加速上界收紧到 (120/(5+20)=4.8)。它是最乐观的上界,而非可达到的承诺。
增加核心数 (p) 的强扩展分析同理。若单核并行计算时间为 (D),固定 DRAM 流量 (Q)、共享带宽 (B),额外同步通信时间 (G(p)) 无法与主体重叠,则
[ T(p)\ge S+G(p)+ \max\left(\frac Dp,\frac QB,\frac{Q\tau}{H(p)s}\right). ]
注意 (H) 可能因多核心扩大,也可能被内存控制器和总带宽共享限制;假设不同,结论就不同。Gustafson 弱扩展改变工作量规模,不能拿来保证固定问题的加速。
最后,若两个配置执行同一工作量,能耗为 (E=P_\mathrm{avg}T),若同时重视能耗和延迟可比较 (EDP=E\cdot T)。更快未必更省能;GPU/CPU 资源加大后的功率、频率和 DRAM 功耗都应实测。
6. 一张可用于真实实验的诊断清单(1 分钟)
- 统一口径: 确认同一个 workload 的墙钟时间、cycles、退休指令数与动态主频,避免把 Cache 访问字节错当 DRAM 流量。
- 先证伪: 用指令依赖链、分支预测、前端停顿、Cache Miss、在途请求占用、有效带宽等计数器排除单一假说;(IPC) 只能说明症状。
- 改变一个参数: 尝试增加独立访存、改变预取或并发度,观察吞吐是否随之改变;若 (\tau) 随并发增长则重建模型。
- 重新算下界: 每次改完都重新比较计算、带宽、并发,别默认原来紧的那项永远最紧。
- 核对目标: 在固定工作量下同时报告实测延迟、速度提升、平均功率与总能耗。
本讲适用边界: 这里是长稳态、固定数据量、理想资源重叠的性能上界分析。复杂 OoO 执行中的微操作融合、推测失败、ROB 满、依赖串行化、MLP 与 MSHR 区别,都会使简单下界和实际时间存在差距;它们将从下一周开始系统展开。
7. 四级分级测评(总分 100,首次不公布答案)
作答规则: Lv1 15 分、Lv2 20 分、Lv3 25 分、Lv4 40 分,难度递增;Lv1~Lv3 可以客观判分,Lv4 按推导步骤人工评议。课堂不提供标准答案;展开“提示”也不会泄题。每题只评本周知识,不是改数字的重复题。
Lv1|算术强度与瓶颈迁移(15 分,预计 2 分钟,单选)
某程序的有用 FLOP 总数 F 不变。通过缓存复用,把实际经过 DRAM 的字节数 Q 减半;峰值算力 Pmax、带宽 Bmax、在途请求上限 H 和平均访存驻留时间 τ 暂视为不变。下列判断哪项最严谨?
A. 算术强度 F/Q 增大,带宽和并发对应的时间下界可能下降,但整体执行时间不保证同比缩短。 B. 只要 Pmax 不变,程序执行时间就绝无改善空间。 C. Q 减半必定让总执行时间减半,即使计算时间已经是最紧约束。 D. Q 减半意味着每条 DRAM 请求的平均驻留时间 τ 必定减半。
可选提示(不含答案)
分别写出 F/Pmax、Q/Bmax、Qτ/(Hs);比较哪个量真正随着 Q 改变。Lv2|指令加权 CPI 与 CPU Time(20 分,预计 4 分钟,数值)
某 CPU 全程保持 2.5 GHz,程序共退休 4.00×10^8 条指令。阶段 A 占退休指令数的 75%,其 CPI 为 1.1;阶段 B 占指令数的 25%,其 CPI 为 3.6。忽略阶段切换额外开销。求整个程序的 CPU 时间,单位 ms,只输入数字(允许小数)。注意 CPI 必须按指令数而非阶段时间加权。
可选提示(不含答案)
先求总 cycles=I_A×CPI_A+I_B×CPI_B,再除以同一主频。Lv3|Roofline、Little 定律与反事实评估(25 分,预计 5 分钟,多选)
一个长稳态 Kernel:F=6 GFLOP、Q=1.2 GB、Pmax=600 GFLOP/s、Bmax=60 GB/s、H=40、每条 DRAM 请求有效传输 s=64 B、平均驻留 τ=80 ns、非重叠开销 S=0。假设计算/访存理想重叠、所有数据都通过上述请求转移、修改参数后 τ 等其余参数不变。选择所有正确陈述(多选)。
A. 当前三个资源时间下界中最紧的是在途请求并发,下界为 37.5 ms。 B. 如果只把 H 增大到 80,则三个资源约束合成的时间下界变为 20 ms。 C. 若只将 Pmax 翻倍,实际测得的运行时间必然至少减少 50%。 D. 如果只把 τ 降到 40 ns,则三个资源约束合成的时间下界变为 20 ms。 E. Q/Bmax=20 ms 是该 Kernel 真实运行时间的上界。
可选提示(不含答案)
把三个时间项都换算成毫秒。改变 H 或 τ 以后,必须重新取三个项的最大值;下界不是运行时间预测或上界。Lv4|顺序阶段建模、资源投资选择与阈值证明(40 分,预计 10 分钟,证明/开放设计)
综合设计题:一次数据分析由顺序运行的 Kernel A、B 组成(A 完成后 B 才能开始),两段各有非重叠固定开销 S_A=S_B=4 ms。A 的 F_A=15 GFLOP、Q_A=1.6 GB;B 的 F_B=30 GFLOP、Q_B=0.4 GB。共享同一台处理器,Pmax=1 TFLOP/s,Bmax=100 GB/s;在任一 Kernel 内,最多有 H=64 条 DRAM 请求在途,每条有效传输 s=64 B,平均驻留 τ=100 ns。各 Kernel 内计算、带宽传输、请求并发理想重叠;两段不能互相重叠。GB 按 10^9 字节,TFLOP/s 按 10^12 FLOP/s。
(A,10分) 从平均在途请求数或请求时间面积推导单段的并发时间下界,并写出两段顺序执行时的总时间下界。解释为什么不能直接对 A+B 所有资源的总需求只取一次 max。 (B,10分) 求 A、B 各自的三项时间下界、各段瓶颈以及总时间下界,单位 ms。 (C,12分) 预算只允许三选一:将 H 翻倍;或将 Pmax 翻倍;或将 Bmax 翻倍。其余量不变。逐一算新的总时间下界,按这一理想模型选择最优投资,并说明为何不能把下界比值当作实测速比。 (D,8分) 推导使 A 段的并发约束不再严格高于计算与带宽中较大者所需的最小整数 H,并给出两个可能令本模型失准的微架构因素及相应可观测指标。
可选提示(不含答案)
把每段的 max 分开求再相加。对 (D) 从 Q_A τ/(H s) ≤ max(F_A/Pmax,Q_A/Bmax) 解不等式,最后取上整。8. 总结与下一讲
本周的一条主线: 先用 (T=IC\cdot CPI/f) 定量描述现象,再用流水线机制提出原因;以 (F/P)、(Q/B)、(Q\tau/(Hs)) 构造乐观下界;用 Amdahl、强扩展和 (E=P_\mathrm{avg}T) 判断投入资源的真实价值。时间下界越低不等于实测一定越快,必须设计对照实验检验假设。
第 8 课预告(2026-10-27): 正式进入第 2 周「指令级并行 ILP 与乱序执行」。从为什么顺序双发射会受 RAW/WAR/WAW 卡住开始,区分寄存器重命名可以消除的假相关和无法消除的真依赖,再逐步过渡到 Issue Queue、ROB、提交顺序与精确异常。第 5 周将专门深入 TSO、Store Buffering、全局可见性与一致性。
批改约定: 回复四题作答后逐题评分、分析错误并给复习方向。总分 ≥80:按既定日历进入下一专题;60–79:补一例;<60:重点回顾后再练。补练不改变自然日课号。