计算机体系结构 · 第 6 课

强扩展、弱扩展与能耗:为什么加了核心,程序反而可能变慢?

2026 年 10 月 25 日|第 1 周第 6 课|约 18 分钟

本课核心问题: 即使一个程序 88% 的执行时间可以并行,为什么 8 核可能比 3 核更慢?如果考虑能耗,最快配置一定最好吗?

学习目标: ①从时间分解推导 Amdahl 定律;②严格区分 Strong Scaling 与 Weak Scaling、理解 Gustafson 定律的量词;③将计算、共享带宽、通信约束合并建模;④借助完整数值例题选择低延迟或低能耗配置,并设计对照实验。

前五课已经学习 CPI、Amdahl、Little、Roofline 和多瓶颈诊断。今天把它们真正用于架构选型:增加计算资源是否有价值,取决于其他资源是否同步扩展,以及你优化的是延迟还是能耗。

一、重建 Amdahl:固定同一道题

设某固定输入的单处理器运行时间为 T₁,其中 f 比例的时间严格串行,1−f 比例的工作可在 p 个处理器上完美平分。不考虑同步、访存冲突和调度开销,则

[ T_p^{\mathrm{ideal}}=fT_1+\frac{(1-f)T_1}{p}. ]

从而得到:

[ \boxed{S_A(p)=\frac{T_1}{T_p^{\mathrm{ideal}}}= \frac{1}{f+(1-f)/p}}. \tag{1} ]

对固定 (f>0),让 p 趋于无穷:

[ \boxed{S_A(\infty)=1/f}. ]

如果 f=0.12,极限为 8.33 倍。这是固定工作量、理想分配下的加速上限,不是增加核心后必然获得的实际加速。

定义并行效率:

[ \boxed{\eta(p)=\frac{T_1/T_p}{p}}. ]

若 p 核恰好带来 p 倍加速,则效率为 1;真实系统会因同步、共享资源争用降低效率。某些工作负载也会因为更大总缓存等原因出现超线性实测加速,所以不能不加条件地把 η≤1 当作普遍物理定理。

关键边界: Amdahl 的 f 是单核运行基线的时间份额,而不是指令条数份额。未区分重叠的 Cache Miss 时间,也不能直接作为可相加的“串行时间”。

二、Gustafson 的前提为什么不同?

强扩展(Strong Scaling)是固定总工作量,增加处理器以缩短完成时间;弱扩展(Weak Scaling)是每个处理器负责大致固定的工作量,同时增大总问题规模,研究完成时间能否基本保持稳定。

Gustafson 采用不同的归一化:以 p 核完成放大后问题的时间为 1,假设其中串行时间比例为 α,并行部分占 1−α。若让单核完成同一个放大后问题,串行段仍为 α,并行段需 p(1−α),因此:

[ \boxed{ S_G(p)=\alpha+p(1-\alpha)=p-(p-1)\alpha. } \tag{2} ]

两个公式并无矛盾:

理论/实验 固定量 变化量 典型目标
Amdahl / 强扩展 单个问题规模、工作量 处理器数 p 尽快完成同一道题
Gustafson / 扩展加速 每处理器近似工作量 总问题规模与 p 用更多资源解决更大的问题

特别注意,Gustafson 中的 α 是放大后问题在 p 核执行时的串行时间占比,不是直接照搬原固定问题单核中的 f。

共享带宽反例。 如果每个处理器都要从共享 DRAM 移动 0.5 GB 数据,而整机可持续带宽始终为 50 GB/s,那么 p 核运行的总流量为 0.5p GB:

[ T_{\mathrm{DRAM}}\ge\frac{0.5p}{50}\mathrm{s} =10p\ \mathrm{ms}. ]

因此即使每核计算量不变,弱扩展时间也未必保持不变:共享资源没有随处理器数一起扩展。

三、计算、带宽、通信:统一的强扩展模型

为了不重复计算可重叠时间,定义:

符号 含义
S 串行时间,不与并行主体重叠
W 并行计算在 1 核的理想耗时,p 核的计算下界 W/p
Q 同一个固定问题经 DRAM 实际传输的总字节数
B 整机共享、可持续的 DRAM 带宽,假设不随 p 变
C(p) 通信、同步和启动时间,假设与主体不重叠
T(p) p 核完成固定工作量的实际运行时间

假设主体计算与 DRAM 传输可以重叠,则两种资源都施加独立时间下界:

[ T_{\mathrm{body}}\ge\frac Wp,\qquad T_{\mathrm{body}}\ge\frac QB. ]

同时成立意味着:

[ T_{\mathrm{body}}\ge\max(W/p,Q/B). ]

由于 S 和 C(p) 按定义不与主体重叠,得到:

[ \boxed{ T(p)\ge S+C(p)+\max\left(\frac Wp,\frac QB\right). } \tag{3} ]

这里只是下界:当并行部分真的完美分配、计算与访存完全重叠、各资源达到所假设的吞吐上限并且没有其他瓶颈时,才能把右侧当成理想预测时间。真实 CPU/GPU 的延迟、依赖、MSHR、缓存容量和线程调度可能导致更长时间。

令计算时间下界与带宽下界相等,得到瓶颈转折:

[ \frac W{p_{\mathrm{sat}}}=\frac QB \quad\Longrightarrow\quad \boxed{p_{\mathrm{sat}}=\frac{WB}{Q}}. \tag{4} ]

p 越过临界值后,继续提高计算资源不能下降固定的 Q/B 时间下界;若 C(p) 还增加,整体时间反而可能上升。

flowchart TD
  A["固定工作量 S、W、Q"] --> B["选择处理器数 p"]
  B --> C["计算下界 W/p 随 p 下降"]
  B --> D["共享带宽下界 Q/B 不变"]
  B --> E["通信开销 C(p) 可能增长"]
  C --> F["并行主体 ≥ max(W/p,Q/B)"]
  D --> F
  E --> G["总时间 ≥ S+C(p)+主体"]
  F --> G
  G --> H["测量延迟、DRAM 带宽、功率验证假设"]

四、完整数值例题:为什么 8 核比 3 核慢?

设一个固定规模 Kernel 的教学参数:

  • S=12 ms;可并行计算在 1 核耗时 W=88 ms;
  • DRAM 流量 Q=2 GB,整机持续带宽 B=50 GB/s;
  • 非重叠通信时间 C(p)=2(p−1) ms;
  • 额外假设理想重叠、所有必要资源达到上界,因此本例使用预测等式。

由 (Q/B=2/50\ \mathrm{s}=40\ \mathrm{ms}):

[ \boxed{T(p)=12+2(p-1)+\max(88/p,40)\ \mathrm{ms}}. ]

如果忽略共享带宽与通信,经典 Amdahl 给出 (T_A(p)=12+88/p)。实际用此例的扩展模型得到:

p 只用 Amdahl 的时间(ms) W/p(ms) Q/B(ms) 扩展模型时间 T(p)(ms) 加速比 100/T(p)
1 100 88 40 100 1.000
2 56 44 40 58 1.724
3 41.333 29.333 40 56 1.786
4 34 22 40 58 1.724
8 23 11 40 66 1.515

转折点:

[ p_{\mathrm{sat}}=88/40=2.2. ]

所以整数 p≥3 后,40 ms 的共享 DRAM 下界始终更紧。与此同时通信开销还随 p 增加,8 核所需时间在此模型中反而高于 3 核。

这里的关键并不是“多核一定变慢”,而是:计算资源增加后,最紧上界可能转移到共享存储系统,额外协调成本继续增长。

对于真实实验,应测量 Q 是否随 p 发生变化、Cache 层级是否改变命中率、B 是否真的已逼近上界、C(p) 是否可与内存请求重叠,以及线程是否被系统调度影响。

五、从时间到能耗:最快不等于最省

功率是能量消耗速率,完成同一任务的能耗为:

[ \boxed{ E(p)=\int_0^{T(p)}P(t)\,dt =P_{\mathrm{avg}}(p)\,T(p). } \tag{5} ]

为建立一个可算的案例,假设同一设备的平均整机功率仅由如下教学式给出:

[ P_{\mathrm{avg}}(p)=30+15p\ \mathrm W. ]

那么:

p T(p)(ms) 平均功率(W) 总能耗(J)
1 100 45 4.50
2 58 60 3.48
3 56 75 4.20
4 58 90 5.22
8 66 150 9.90

由表可见:最快是 p=3,最低能耗却是 p=2。 p=4 与 p=2 时间相同、能耗更高,所以在延迟—能耗两项指标上被 p=2 支配。

若想同时偏好低能耗与短延迟,可使用能耗延迟积:

[ \boxed{\mathrm{EDP}=E\cdot T=P_{\mathrm{avg}}T^2}. ]

但 EDP 不是普遍唯一的优化目标。比如有硬实时 deadline,就应该先筛选延迟达标方案,再按成本或能耗选择。

六、功耗直觉:DVFS 为什么不能只看 W 数?

CMOS 动态功率常见一阶模型是:

[ \boxed{P_{\mathrm{dyn}}\simeq \alpha C_{\mathrm{sw}}V^2f}, ]

其中 (\alpha) 是开关活动系数,(C_{\mathrm{sw}}) 是有效开关电容,V 为电压,f 为频率。芯片还存在泄漏等静态功耗。对于同一执行工作量,降低频率可能降低瞬时功率,却延长计算时间,使漏电能耗积累得更多;降低电压的收益又依赖可稳定运行的频率范围。

反例: 平均功率从 80 W 降到 60 W,但运行时间从 1 s 延长为 2 s,能耗由 80 J 增至 120 J。功率小≠完成任务的能耗必然小。 本课的线性功率公式只是便于验证的玩具模型,不是具体芯片的功耗预测。

七、如何验证这套模型,而不是只看一个 IPC?

对固定输入进行 p=1、2、3、4、8 的扫描,重复测量并记录:(1)端到端时间、并行主体时间及同步时间;(2)DRAM 实际搬运量 Q、持续带宽、访问延迟和请求并发;(3)频率、功率时间积分及温度。对比预测 (\max(W/p,Q/B)) 是否能解释时间变化。

再做对照:固定 p,通过 Tiling 或 Fusion 减少 Q;或固定问题与 p,通过频率设置改变计算资源。如果模型宣称“带宽已经是最紧瓶颈”,但降低 Q 后时间完全不变,应调查是否真的改变了 DRAM 流量、是否受依赖与同步限制。若增核后慢了,不能自动归因到带宽,还应检查跨核同步、NUMA、缓存竞争和线程调度。

适用边界。 模型假设 Q、B、W 不随 p 变化,理想并行、指定的非重叠关系、稳定平均功率;实际多核扩展可能改变 Cache 命中、DRAM 事务数、互连排队及 DVFS。公式 (3) 是资源时间下界,绝不等价于实际运行时间保证。


八、四级自测|总分 100 分

本次不提供正确答案。 前三题客观判分,第四题为开放推导与架构设计,只能按 rubric 自评或由人工/ChatGPT 批改。

Lv1|Strong Scaling 与共享带宽(15 分,预计 2 分钟)

题型:单选。

对固定总工作量做 Strong Scaling。已测得可并行计算随核数 p 理想缩短,但 DRAM 总流量 Q 和整机可持续带宽 B 保持不变。哪项结论最严谨?

A. 算力翻倍一定使整个程序时间减半。

B. 如果 Q/B 已经比 W/p 更紧,仅增加计算单元不能降低 DRAM 带宽时间下界。

C. DRAM 带宽利用率低必然说明程序 Compute Bound。

D. 处理器数量增加一定降低总能耗。

可选中立提示:考虑共享带宽这一独立资源的时间下界;理论下界不能直接当作实测时间。

Lv2|计算与访存重叠的时间计算(20 分,预计 4 分钟)

题型:数值。

采用理想模型 T(p)=S+C(p)+max(W/p,Q/B)。给定 S=6 ms、W=90 ms、Q=1.8 GB、整机共享 B=60 GB/s、C(p)=1.5(p−1) ms、p=5。求 T(5),单位 ms,保留两位小数。请列出三项时间,采用十进制 GB。

可选中立提示:计算 W/p 和 Q/B 后取最大值,再加上不能重叠的 S 与 C(p)。

Lv3|强/弱扩展、能耗和模型边界(25 分,预计 5 分钟)

题型:多选。

选择所有正确的判断(多选):

A. 固定工作量、Q 和共享带宽 B 时,一旦 Q/B 超过 W/p,继续提高 p 不会减小主体的带宽时间下界。

B. Gustafson 的 S_scaled=p−(p−1)α 可直接套用固定工作量,并令 α 无条件等于单核的串行时间占比。

C. 固定同一工作量,如果两个配置实测耗时相同,而配置甲平均整机功率更高,则甲的总能耗更高。

D. 固定工作量中 90% 可并行,则使用 10 核后无论通信、内存和调度开销如何,实测加速至少为 5。

可选中立提示:把强扩展与弱扩展分开;用 E=P_avg×T 判断能耗,区分理论屋顶与真实性能。

Lv4|多核扩展性和能耗的综合设计(40 分,预计 12 分钟)

题型:证明 / 开放设计。

固定工作量教学模型:串行时间 S=10 ms;单核承担并行计算耗时 W=120 ms;必须从 DRAM 移动 Q=3 GB;整机共享带宽 B=75 GB/s;通信开销 C(p)=(p−1) ms 不与主体重叠;平均整机功率 P_avg(p)=25+12p W。处理器数只允许取 p∈{1,2,4,8}。假设 Q、B、S、W 不随 p 变化、并行计算可均分,计算与 DRAM 传输理想重叠。

A(10分):论证下界 T(p)≥S+C(p)+max(W/p,Q/B),说明在什么额外假设下可以把它用作等式预测。

B(10分):对四种 p 分别计算预测执行时间(ms)与相对 p=1 的加速比,求连续的计算/带宽转折点 p_sat。

C(12分):用 E=P_avg×T 计算四种总能耗(J)。找出四种候选中(i)最快;(ii)最省能耗;(iii)要求时间≤60 ms 时最省能耗的配置。说明为什么目标不同。

D(8分):提出两项可以证伪上述简化模型的实验,每项写清控制变量与观测指标,并解释 Gustafson 弱扩展为何不能直接保证固定工作量的加速。

可选中立提示:先算固定的 Q/B,速度选择和能耗选择应分别比较;功率乘时间时记得将 ms 转成 s。


九、本课总结与下节预告

固定工作量:

[ S_A(p)=\frac1{f+(1-f)/p}. ]

扩展后工作量:

[ S_G(p)=p-(p-1)\alpha. ]

共享计算与内存瓶颈:

[ T(p)\ge S+C(p)+\max(W/p,Q/B). ]

最终决策还需考虑 (\boxed{E=P_{\mathrm{avg}}T})。核心数的最优值取决于工作量规模、共享带宽、同步开销和优化目标,而不是单看理论峰值算力。

下一讲:2026 年 10 月 26 日,第 7 课是第一周系统复盘。 我们将用一题贯穿 CPI、Amdahl、Little、Roofline、扩展性与能耗,并复习 Latency 与 Throughput 的不同。第 8 课开始第二周 ILP、乱序执行与寄存器重命名;第五周再集中强化 TSO Store Buffering 与全局可见性。

经典参考: John L. Gustafson, Reevaluating Amdahl’s Law, Communications of the ACM, 1988, DOI 10.1145/42411.42415;Cornell Virtual Workshop, Amdahl’s Law and Parallel Efficiency。