计算机体系结构 · 第 6 课
强扩展、弱扩展与能耗:为什么加了核心,程序反而可能变慢?
2026 年 10 月 25 日|第 1 周第 6 课|约 18 分钟
本课核心问题: 即使一个程序 88% 的执行时间可以并行,为什么 8 核可能比 3 核更慢?如果考虑能耗,最快配置一定最好吗?
学习目标: ①从时间分解推导 Amdahl 定律;②严格区分 Strong Scaling 与 Weak Scaling、理解 Gustafson 定律的量词;③将计算、共享带宽、通信约束合并建模;④借助完整数值例题选择低延迟或低能耗配置,并设计对照实验。
前五课已经学习 CPI、Amdahl、Little、Roofline 和多瓶颈诊断。今天把它们真正用于架构选型:增加计算资源是否有价值,取决于其他资源是否同步扩展,以及你优化的是延迟还是能耗。
一、重建 Amdahl:固定同一道题
设某固定输入的单处理器运行时间为 T₁,其中 f 比例的时间严格串行,1−f 比例的工作可在 p 个处理器上完美平分。不考虑同步、访存冲突和调度开销,则
[ T_p^{\mathrm{ideal}}=fT_1+\frac{(1-f)T_1}{p}. ]
从而得到:
[ \boxed{S_A(p)=\frac{T_1}{T_p^{\mathrm{ideal}}}= \frac{1}{f+(1-f)/p}}. \tag{1} ]
对固定 (f>0),让 p 趋于无穷:
[ \boxed{S_A(\infty)=1/f}. ]
如果 f=0.12,极限为 8.33 倍。这是固定工作量、理想分配下的加速上限,不是增加核心后必然获得的实际加速。
定义并行效率:
[ \boxed{\eta(p)=\frac{T_1/T_p}{p}}. ]
若 p 核恰好带来 p 倍加速,则效率为 1;真实系统会因同步、共享资源争用降低效率。某些工作负载也会因为更大总缓存等原因出现超线性实测加速,所以不能不加条件地把 η≤1 当作普遍物理定理。
关键边界: Amdahl 的 f 是单核运行基线的时间份额,而不是指令条数份额。未区分重叠的 Cache Miss 时间,也不能直接作为可相加的“串行时间”。
二、Gustafson 的前提为什么不同?
强扩展(Strong Scaling)是固定总工作量,增加处理器以缩短完成时间;弱扩展(Weak Scaling)是每个处理器负责大致固定的工作量,同时增大总问题规模,研究完成时间能否基本保持稳定。
Gustafson 采用不同的归一化:以 p 核完成放大后问题的时间为 1,假设其中串行时间比例为 α,并行部分占 1−α。若让单核完成同一个放大后问题,串行段仍为 α,并行段需 p(1−α),因此:
[ \boxed{ S_G(p)=\alpha+p(1-\alpha)=p-(p-1)\alpha. } \tag{2} ]
两个公式并无矛盾:
| 理论/实验 | 固定量 | 变化量 | 典型目标 |
|---|---|---|---|
| Amdahl / 强扩展 | 单个问题规模、工作量 | 处理器数 p | 尽快完成同一道题 |
| Gustafson / 扩展加速 | 每处理器近似工作量 | 总问题规模与 p | 用更多资源解决更大的问题 |
特别注意,Gustafson 中的 α 是放大后问题在 p 核执行时的串行时间占比,不是直接照搬原固定问题单核中的 f。
共享带宽反例。 如果每个处理器都要从共享 DRAM 移动 0.5 GB 数据,而整机可持续带宽始终为 50 GB/s,那么 p 核运行的总流量为 0.5p GB:
[ T_{\mathrm{DRAM}}\ge\frac{0.5p}{50}\mathrm{s} =10p\ \mathrm{ms}. ]
因此即使每核计算量不变,弱扩展时间也未必保持不变:共享资源没有随处理器数一起扩展。
三、计算、带宽、通信:统一的强扩展模型
为了不重复计算可重叠时间,定义:
| 符号 | 含义 |
|---|---|
| S | 串行时间,不与并行主体重叠 |
| W | 并行计算在 1 核的理想耗时,p 核的计算下界 W/p |
| Q | 同一个固定问题经 DRAM 实际传输的总字节数 |
| B | 整机共享、可持续的 DRAM 带宽,假设不随 p 变 |
| C(p) | 通信、同步和启动时间,假设与主体不重叠 |
| T(p) | p 核完成固定工作量的实际运行时间 |
假设主体计算与 DRAM 传输可以重叠,则两种资源都施加独立时间下界:
[ T_{\mathrm{body}}\ge\frac Wp,\qquad T_{\mathrm{body}}\ge\frac QB. ]
同时成立意味着:
[ T_{\mathrm{body}}\ge\max(W/p,Q/B). ]
由于 S 和 C(p) 按定义不与主体重叠,得到:
[ \boxed{ T(p)\ge S+C(p)+\max\left(\frac Wp,\frac QB\right). } \tag{3} ]
这里只是下界:当并行部分真的完美分配、计算与访存完全重叠、各资源达到所假设的吞吐上限并且没有其他瓶颈时,才能把右侧当成理想预测时间。真实 CPU/GPU 的延迟、依赖、MSHR、缓存容量和线程调度可能导致更长时间。
令计算时间下界与带宽下界相等,得到瓶颈转折:
[ \frac W{p_{\mathrm{sat}}}=\frac QB \quad\Longrightarrow\quad \boxed{p_{\mathrm{sat}}=\frac{WB}{Q}}. \tag{4} ]
p 越过临界值后,继续提高计算资源不能下降固定的 Q/B 时间下界;若 C(p) 还增加,整体时间反而可能上升。
flowchart TD
A["固定工作量 S、W、Q"] --> B["选择处理器数 p"]
B --> C["计算下界 W/p 随 p 下降"]
B --> D["共享带宽下界 Q/B 不变"]
B --> E["通信开销 C(p) 可能增长"]
C --> F["并行主体 ≥ max(W/p,Q/B)"]
D --> F
E --> G["总时间 ≥ S+C(p)+主体"]
F --> G
G --> H["测量延迟、DRAM 带宽、功率验证假设"]
四、完整数值例题:为什么 8 核比 3 核慢?
设一个固定规模 Kernel 的教学参数:
- S=12 ms;可并行计算在 1 核耗时 W=88 ms;
- DRAM 流量 Q=2 GB,整机持续带宽 B=50 GB/s;
- 非重叠通信时间 C(p)=2(p−1) ms;
- 额外假设理想重叠、所有必要资源达到上界,因此本例使用预测等式。
由 (Q/B=2/50\ \mathrm{s}=40\ \mathrm{ms}):
[ \boxed{T(p)=12+2(p-1)+\max(88/p,40)\ \mathrm{ms}}. ]
如果忽略共享带宽与通信,经典 Amdahl 给出 (T_A(p)=12+88/p)。实际用此例的扩展模型得到:
| p | 只用 Amdahl 的时间(ms) | W/p(ms) | Q/B(ms) | 扩展模型时间 T(p)(ms) | 加速比 100/T(p) |
|---|---|---|---|---|---|
| 1 | 100 | 88 | 40 | 100 | 1.000 |
| 2 | 56 | 44 | 40 | 58 | 1.724 |
| 3 | 41.333 | 29.333 | 40 | 56 | 1.786 |
| 4 | 34 | 22 | 40 | 58 | 1.724 |
| 8 | 23 | 11 | 40 | 66 | 1.515 |
转折点:
[ p_{\mathrm{sat}}=88/40=2.2. ]
所以整数 p≥3 后,40 ms 的共享 DRAM 下界始终更紧。与此同时通信开销还随 p 增加,8 核所需时间在此模型中反而高于 3 核。
这里的关键并不是“多核一定变慢”,而是:计算资源增加后,最紧上界可能转移到共享存储系统,额外协调成本继续增长。
对于真实实验,应测量 Q 是否随 p 发生变化、Cache 层级是否改变命中率、B 是否真的已逼近上界、C(p) 是否可与内存请求重叠,以及线程是否被系统调度影响。
五、从时间到能耗:最快不等于最省
功率是能量消耗速率,完成同一任务的能耗为:
[ \boxed{ E(p)=\int_0^{T(p)}P(t)\,dt =P_{\mathrm{avg}}(p)\,T(p). } \tag{5} ]
为建立一个可算的案例,假设同一设备的平均整机功率仅由如下教学式给出:
[ P_{\mathrm{avg}}(p)=30+15p\ \mathrm W. ]
那么:
| p | T(p)(ms) | 平均功率(W) | 总能耗(J) |
|---|---|---|---|
| 1 | 100 | 45 | 4.50 |
| 2 | 58 | 60 | 3.48 |
| 3 | 56 | 75 | 4.20 |
| 4 | 58 | 90 | 5.22 |
| 8 | 66 | 150 | 9.90 |
由表可见:最快是 p=3,最低能耗却是 p=2。 p=4 与 p=2 时间相同、能耗更高,所以在延迟—能耗两项指标上被 p=2 支配。
若想同时偏好低能耗与短延迟,可使用能耗延迟积:
[ \boxed{\mathrm{EDP}=E\cdot T=P_{\mathrm{avg}}T^2}. ]
但 EDP 不是普遍唯一的优化目标。比如有硬实时 deadline,就应该先筛选延迟达标方案,再按成本或能耗选择。
六、功耗直觉:DVFS 为什么不能只看 W 数?
CMOS 动态功率常见一阶模型是:
[ \boxed{P_{\mathrm{dyn}}\simeq \alpha C_{\mathrm{sw}}V^2f}, ]
其中 (\alpha) 是开关活动系数,(C_{\mathrm{sw}}) 是有效开关电容,V 为电压,f 为频率。芯片还存在泄漏等静态功耗。对于同一执行工作量,降低频率可能降低瞬时功率,却延长计算时间,使漏电能耗积累得更多;降低电压的收益又依赖可稳定运行的频率范围。
反例: 平均功率从 80 W 降到 60 W,但运行时间从 1 s 延长为 2 s,能耗由 80 J 增至 120 J。功率小≠完成任务的能耗必然小。 本课的线性功率公式只是便于验证的玩具模型,不是具体芯片的功耗预测。
七、如何验证这套模型,而不是只看一个 IPC?
对固定输入进行 p=1、2、3、4、8 的扫描,重复测量并记录:(1)端到端时间、并行主体时间及同步时间;(2)DRAM 实际搬运量 Q、持续带宽、访问延迟和请求并发;(3)频率、功率时间积分及温度。对比预测 (\max(W/p,Q/B)) 是否能解释时间变化。
再做对照:固定 p,通过 Tiling 或 Fusion 减少 Q;或固定问题与 p,通过频率设置改变计算资源。如果模型宣称“带宽已经是最紧瓶颈”,但降低 Q 后时间完全不变,应调查是否真的改变了 DRAM 流量、是否受依赖与同步限制。若增核后慢了,不能自动归因到带宽,还应检查跨核同步、NUMA、缓存竞争和线程调度。
适用边界。 模型假设 Q、B、W 不随 p 变化,理想并行、指定的非重叠关系、稳定平均功率;实际多核扩展可能改变 Cache 命中、DRAM 事务数、互连排队及 DVFS。公式 (3) 是资源时间下界,绝不等价于实际运行时间保证。
八、四级自测|总分 100 分
本次不提供正确答案。 前三题客观判分,第四题为开放推导与架构设计,只能按 rubric 自评或由人工/ChatGPT 批改。
Lv1|Strong Scaling 与共享带宽(15 分,预计 2 分钟)
题型:单选。
对固定总工作量做 Strong Scaling。已测得可并行计算随核数 p 理想缩短,但 DRAM 总流量 Q 和整机可持续带宽 B 保持不变。哪项结论最严谨?
A. 算力翻倍一定使整个程序时间减半。
B. 如果 Q/B 已经比 W/p 更紧,仅增加计算单元不能降低 DRAM 带宽时间下界。
C. DRAM 带宽利用率低必然说明程序 Compute Bound。
D. 处理器数量增加一定降低总能耗。
可选中立提示:考虑共享带宽这一独立资源的时间下界;理论下界不能直接当作实测时间。
Lv2|计算与访存重叠的时间计算(20 分,预计 4 分钟)
题型:数值。
采用理想模型 T(p)=S+C(p)+max(W/p,Q/B)。给定 S=6 ms、W=90 ms、Q=1.8 GB、整机共享 B=60 GB/s、C(p)=1.5(p−1) ms、p=5。求 T(5),单位 ms,保留两位小数。请列出三项时间,采用十进制 GB。
可选中立提示:计算 W/p 和 Q/B 后取最大值,再加上不能重叠的 S 与 C(p)。
Lv3|强/弱扩展、能耗和模型边界(25 分,预计 5 分钟)
题型:多选。
选择所有正确的判断(多选):
A. 固定工作量、Q 和共享带宽 B 时,一旦 Q/B 超过 W/p,继续提高 p 不会减小主体的带宽时间下界。
B. Gustafson 的 S_scaled=p−(p−1)α 可直接套用固定工作量,并令 α 无条件等于单核的串行时间占比。
C. 固定同一工作量,如果两个配置实测耗时相同,而配置甲平均整机功率更高,则甲的总能耗更高。
D. 固定工作量中 90% 可并行,则使用 10 核后无论通信、内存和调度开销如何,实测加速至少为 5。
可选中立提示:把强扩展与弱扩展分开;用 E=P_avg×T 判断能耗,区分理论屋顶与真实性能。
Lv4|多核扩展性和能耗的综合设计(40 分,预计 12 分钟)
题型:证明 / 开放设计。
固定工作量教学模型:串行时间 S=10 ms;单核承担并行计算耗时 W=120 ms;必须从 DRAM 移动 Q=3 GB;整机共享带宽 B=75 GB/s;通信开销 C(p)=(p−1) ms 不与主体重叠;平均整机功率 P_avg(p)=25+12p W。处理器数只允许取 p∈{1,2,4,8}。假设 Q、B、S、W 不随 p 变化、并行计算可均分,计算与 DRAM 传输理想重叠。
A(10分):论证下界 T(p)≥S+C(p)+max(W/p,Q/B),说明在什么额外假设下可以把它用作等式预测。
B(10分):对四种 p 分别计算预测执行时间(ms)与相对 p=1 的加速比,求连续的计算/带宽转折点 p_sat。
C(12分):用 E=P_avg×T 计算四种总能耗(J)。找出四种候选中(i)最快;(ii)最省能耗;(iii)要求时间≤60 ms 时最省能耗的配置。说明为什么目标不同。
D(8分):提出两项可以证伪上述简化模型的实验,每项写清控制变量与观测指标,并解释 Gustafson 弱扩展为何不能直接保证固定工作量的加速。
可选中立提示:先算固定的 Q/B,速度选择和能耗选择应分别比较;功率乘时间时记得将 ms 转成 s。
九、本课总结与下节预告
固定工作量:
[ S_A(p)=\frac1{f+(1-f)/p}. ]
扩展后工作量:
[ S_G(p)=p-(p-1)\alpha. ]
共享计算与内存瓶颈:
[ T(p)\ge S+C(p)+\max(W/p,Q/B). ]
最终决策还需考虑 (\boxed{E=P_{\mathrm{avg}}T})。核心数的最优值取决于工作量规模、共享带宽、同步开销和优化目标,而不是单看理论峰值算力。
下一讲:2026 年 10 月 26 日,第 7 课是第一周系统复盘。 我们将用一题贯穿 CPI、Amdahl、Little、Roofline、扩展性与能耗,并复习 Latency 与 Throughput 的不同。第 8 课开始第二周 ILP、乱序执行与寄存器重命名;第五周再集中强化 TSO Store Buffering 与全局可见性。
经典参考: John L. Gustafson, Reevaluating Amdahl’s Law, Communications of the ACM, 1988, DOI 10.1145/42411.42415;Cornell Virtual Workshop, Amdahl’s Law and Parallel Efficiency。