人工智能:理论、算法与系统 · 第24课
Scaling Laws 与 Compute-Optimal Training:为什么参数并非越大越好?
2026 年 11 月 12 日|第 4 周第 3 课|约 18 分钟
上一课讨论了预训练数据配比、去重和评测污染。今天的问题是:如果只有固定训练计算预算,应训练更大的模型、还是让小一些的模型学习更多 Token?
本课将区分三件事:经验事实(特定实验里损失随规模下降)、数学推导(给定经验函数后的约束优化)和系统决策(GPU、数据及推理部署约束)。学完后应能自己推导计算最优的 (N,D) 关系,而非死记某个 Token/参数比例。
一、三个变量与一个不能混淆的损失
- (N):模型参数量。经典论文有时统计非 Embedding 参数,引用或复现时须对齐口径;对于稠密模型常用非 Embedding 参数作计算近似。
- (D):训练中处理过的有效 Token 数,重复遍历同一文档也会增加 (D);不等于不同原始文档中拥有多少独立信息。
- (C):训练计算量,通常用 FLOPs 表示,而不是 GPU 小时或人民币费用。
- (L(N,D)):在固定的 held-out 数据、Tokenizer 和损失定义下的 Token-level 负对数似然(越小越好)。
上一课的混合数据权重 (q_d) 会改变目标分布;如果数据质量和混合比也同时变化,就不能把差异全部归因于 (N,D)。
二、经验幂律:拟合公式不是物理定律
一种常用的 Chinchilla 风格经验模型是:
[ \boxed{L(N,D)=E+\frac{A}{N^\alpha}+\frac{B}{D^\beta}} ]
要求 (A,B,\alpha,\beta>0)。其中 (E) 是这个评估损失拟合式的渐近基底;两个幂律项分别刻画参数规模与数据规模的有限性。该可分离形式是模型假设,不是从神经网络基本公理推出来的恒等式。
固定 (D) 足够大且参数项占主导时,减去 (E) 可得到:
[ \log(L-E)\approx\log A-\alpha\log N. ]
因此在 log-log 图上,斜率近似为 (-\alpha)。同理,固定足够大的 (N) 可用数据轴近似估计 (-\beta)。必须先注意基底 (E) 和另一项残差:直接对 (\log L) 拟合斜率通常不是 (-\alpha)。
从曲线读出的指数只在原实验架构、预训练配方、数据和规模范围内具有经验解释;长上下文、重复训练、小模型优化不足都可能造成偏离。
三、为什么常写 (C\approx6ND)?
对典型稠密 Decoder-only Transformer 的大矩阵乘法,可以用一阶近似:每个参数作用于一个 Token 的 Forward 乘加约为 (2) FLOPs,Backward 为同量级的约 (4) FLOPs。
所以处理 (D) 个训练 Token 时:
[ \boxed{C_{\mathrm{train}}\approx(2+4)ND=6ND.} ]
这个系数只是常见大模型粗估,不是严格精确的 FLOPs 计算器。它省略或近似了 Attention 的 (T^2) 项、归一化、Softmax、Embedding/LM Head 的实现差别、激活重计算、稀疏 MoE 激活参数与全部设备通信。真实壁钟时间还需要 GPU 有效 FLOP/s、数据加载与通信等信息。
例如 (N=10^{10}) 参数、(D=2\times10^{11}) Token 时:
[ C\approx6\times10^{10}\times2\times10^{11} =1.2\times10^{22}\;\mathrm{FLOPs}. ]
这是算术量估计,不能据此单独声称需要多少小时。
四、固定预算的优化:严格推导 (N^,D^)
设 (k>0)(通常近似取 6),固定预算 (C=kND)。记 (K=C/k),因此:
[ D=\frac{K}{N}. ]
把它代入经验式:
[ L(N)=E+AN^{-\alpha}+B\left(\frac{N}{K}\right)^\beta. ]
第一项随 (N) 变大而下降;第二项随 (N) 变大而上升,因为这时剩余 Token 预算变少。
求导:
[ \frac{dL}{dN}=-\alpha AN^{-\alpha-1} +\beta BK^{-\beta}N^{\beta-1}. ]
令导数为 0:
[ \alpha AN^{-\alpha} =\beta B K^{-\beta}N^\beta =\beta BD^{-\beta}. ]
于是最优点的加权边际贡献平衡为:
[ \boxed{\frac{\alpha A}{(N^)^\alpha} =\frac{\beta B}{(D^)^\beta}.} ]
整理得到:
[ \boxed{ N^*=\left(\frac{\alpha A}{\beta B}\right)^{1/(\alpha+\beta)} \left(\frac Ck\right)^{\beta/(\alpha+\beta)} } ]
[ \boxed{ D^*=\left(\frac{\beta B}{\alpha A}\right)^{1/(\alpha+\beta)} \left(\frac Ck\right)^{\alpha/(\alpha+\beta)}. } ]
该点是在 (N,D>0) 连续、经验式有效且约束只有 (kND=C) 的理想模型中的唯一内部极小点;对 (N) 取对数,可发现两项分别是凸指数函数,确保它是全局极小值。
如果 (\alpha=\beta),便有:
[ \boxed{N^\propto C^{1/2},\quad D^\propto C^{1/2}.} ]
因此模型大小与训练 Token 随计算预算以同样的幂次增长,最优 (D/N) 在该模型中为常数。如果 (\alpha\ne\beta),它们随 (C) 增长的指数并不一样。
一组完整数值计算
取完全人为的教学参数(不代表真实模型的指数或规模):
[ L(N,D)=1+\frac2N+\frac8D,\quad C=6ND=600. ]
由 (ND=100),代入 (D=100/N):
[ L(N)=1+\frac2N+0.08N. ]
求导得 (-2/N^2+0.08=0),得到 (N^=5,D^=20)。
| 参数 (N) | Token (D) | 同一预算 (ND) | 预测损失 |
|---|---|---|---|
| 2 | 50 | 100 | 2.16 |
| 5 | 20 | 100 | 1.80 |
| 10 | 10 | 100 | 2.00 |
| 20 | 5 | 100 | 2.70 |
所以,在这个玩具模型里,最大参数并不是固定预算下的最小损失方案。关键不在“永远选 N=5”,而在通过拟合曲线求出当前预算下的折中点。
五、Kaplan 与 Chinchilla:为什么结论看起来不同?
Kaplan 等的 Scaling Laws for Neural Language Models(2020)系统测量了语言模型交叉熵损失随模型、数据、计算量的经验幂律,并提出固定预算下的计算配置建议。
Hoffmann 等的 Training Compute-Optimal Large Language Models(2022,Chinchilla)使用更多针对固定 FLOPs 的模型/数据配置测量,报告在其设置中模型参数量与训练 Token 数应近似同比例扩张。论文比较了相近训练预算下 70B 参数的 Chinchilla 与 280B 参数的 Gopher;前者用了约 4 倍训练数据,并取得更好的多项评测结果。
有时人们将其总结为“约 20 Tokens/Parameter”。这属于该研究设计下的量级经验,不是所有模型的严格最佳比例。混合数据、Tokenizer、架构(尤其 MoE)和训练/推理业务目标改变后,需要重新测量。
可复现研究应先问:拟合的 (N) 是什么口径?(D) 是否包含重复训练?训练和评测数据是否相同?学习率与终止策略是否充分调优?用哪些 FLOPs 和成本定义?
六、只优化训练,为什么可能选错部署模型?
上述约束是固定预训练 FLOPs下最小化 held-out loss。但真正部署还会付出请求推理成本。
一个简化目标为:
[ \boxed{ C_{\mathrm{total}}=kND+Q\,c_{\mathrm{infer}}(N,T_{\mathrm{in}},T_{\mathrm{out}},\text{硬件}). } ]
其中 (Q) 是未来请求数量;(c_{\mathrm{infer}}) 是每请求成本(需要明确单位,如 FLOPs 或货币成本)。还应加入质量下限、峰值显存和延迟 SLO 约束。
当 (Q) 很大时,在可比质量下用更小模型训练更多 Token,可能比训练一个较大但推理更昂贵的模型总成本更低。但这不是自动成立:推理吞吐受 batch、KV Cache、带宽、上下文长度和 GPU kernel 影响。研究 Beyond Chinchilla-Optimal(ICML 2024)正是把推理需求纳入模型缩放决策。
七、如何实际拟合缩放律,而不被漂亮曲线误导?
flowchart TD
A["冻结 Tokenizer、训练/评测语料、架构和配方"] --> B["选三档以上训练 FLOPs:C₁、C₂、C₃"]
B --> C["每档多个 (N,D),且近似 kND=C"]
C --> D["充分训练;记录训练/验证 CE 与真实 FLOPs"]
D --> E["拟合 E,A,B,α,β"]
E --> F["预测未参与拟合的预算档 N*,D*"]
F --> G["验证并报告误差、多 seed、域分组质量"]
G --> H["考虑 GPU 时延、显存、推理请求量与成本"]
设计实验应关注四个层次:
1. 等 FLOPs(iso-FLOP)实验。 每档 (C) 选若干 (N),由 (D\approx C/(kN)) 确定 Token 预算。每种配置都使用经过调优的学习率计划和相同数据目标;记录有效训练 Token 和实际 profiler FLOPs。
2. 不要只拟合最优点。 保留非最优 ((N,D)) 组合用于拟合整个损失曲面;在若干预算档或模型尺寸上做独立留出,检验外推误差。
3. 检查数据边界。 数据去重率、重复 epoch、混合域权重可能改变数据项的形状;不同 Tokenizer 的 per-token CE 也不能不经处理直接比较。
4. 不仅报告验证 CE。 记录下游任务、长上下文、稀有域、训练稳定性及实际 GPU 吞吐和部署时延。经验式不能保证某个能力指标会随 CE 平滑下降。
# 教学伪代码:小规模 iso-FLOP 扫描
for C in compute_budgets:
for N in candidate_model_sizes(C):
D_target = C / (k * N)
loss, measured_flops = train_and_validate(
N=N, effective_tokens=D_target,
fixed_tokenizer=True, fixed_eval=True)
record(C, N, D_target, measured_flops, loss)
fit_params = fit_power_law(training_records)
evaluate_predictions(fit_params, held_out_budget_runs)
实际实验中 (N,D) 是离散可实现值,模型结构与 batch 受到 GPU 内存限制;训练稳定性、数据覆盖等约束可能令理论最优点不可实现。计算最优点是决策参考,不是替代真实训练验证的法则。
八、易错反例
| 误解 | 正确认识 |
|---|---|
| 更多参数一定意味着更好的固定 FLOPs 结果 | (C) 固定时,增大 (N) 会减少 (D) |
| Scaling Law 是严格普适定理 | 它是有有效范围的经验拟合 |
| (C=6ND) 能精确预测 GPU 小时 | FLOPs 与墙钟延迟还取决于硬件和实现 |
| Chinchilla 的比例永远严格为 20 | 具体比例随拟合系数与训练/部署设置变化 |
| 重复 10 次语料等于获得 10 倍独立信息 | 处理 token 增加,不等于唯一信息增加 |
| 验证 CE 更低就保证所有下游能力更好 | 训练目标与目标能力存在分布/指标差异 |
| 最低训练成本就是最低总拥有成本 | 部署时还需考虑 (Q) 次推理与 SLO |
经典理论与新研究边界
条件约束优化、幂函数求导和对数坐标是数学工具;Kaplan(2020)、Chinchilla(2022)是训练规模的实证规律;把推理成本、架构、数据重复等纳入缩放目标属于后续研究。数值比例和收益必须看对应论文的数据范围,不能写成定理。
参考资料:
- Scaling Laws for Neural Language Models(Kaplan et al., 2020)
- Training Compute-Optimal Large Language Models(Hoffmann et al., 2022)
- Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws(Sardana et al., ICML 2024)
九、四级递进自测(总分 100)
首次授课不展示答案。 前三题客观判分,最后一题开放评分。提交后逐题解释;80 分及以上继续,60–79 分针对性补练,低于 60 分复习再练。
Lv1|经验缩放律与计算最优的机制边界(15 分|预计 2 分钟|单选)
一组 Decoder-only 模型的验证损失能用经验式 L(N,D)=E+A/N^α+B/D^β 近似拟合,训练 FLOPs 约为 6ND。下列哪项解释最严谨?
A. 只要参数 N 增加,固定总训练 FLOPs 的最终验证损失必然严格下降。
B. 经验缩放律是对特定模型、数据和预算范围的拟合;固定计算量时增大 N 会压缩可训练的 D,因此可能存在内部最优分配。
C. E 是任何下游任务的不可突破准确率上限,且在不同 tokenizer 与数据分布下不变。
D. Chinchilla 意味着所有模型、硬件和应用场景的最优 D/N 都严格等于 20。
提示:区别经验拟合与定理;在 6ND 固定时,N 变化会怎样影响 D?
Lv2|固定 FLOPs 下的最优 Token 数值计算(20 分|预计 4 分钟|数值)
教学玩具模型 L(N,D)=1+1/√N+2/√D,且训练预算 C=6ND=2400(N、D 均用抽象单位,允许连续值)。在该预算下令 L 最小,求最优训练 token 量 D*。填写十进制数。
请填写十进制数值。
提示:先用 ND=C/6 消去一个变量,再求导;注意两项的指数都是 1/2。
Lv3|处理 Token、算术复杂度与部署边界(25 分|预计 6 分钟|多选)
考虑密集 Decoder-only 预训练,N 为模型参数数、D 为处理过的训练 token 数、C≈6ND 是忽略部分开销的经验 FLOPs 估计;假定固定架构和 tokenizer。以下哪些判断成立?(多选)
A. 固定 C 而把 N 乘以 2,在 C≈6ND 的近似下,D 必须约减半。
B. 在 L=E+A/N^α+B/D^β 且 C≈6ND 下,任意正的 α、β 都使最优 N 和 D 随 C 以完全相同的幂次增长。
C. 若相同语料被训练两个 epoch,D 可以计入重复处理的 token,但不代表独立文本量也翻倍。
D. 因为 C≈6ND 已计入所有现实系统开销,所以它可不经校准精确预测任意长上下文 MoE 的墙钟时间。
E. 若部署存在大量推理请求,最小化训练 FLOPs 下的损失未必等于最小化训练加服务总成本下的最优模型选择。
F. 在不同 tokenizer 和不同 held-out 数据上,单个 token 的交叉熵可以不加限制地比较而不会引入偏差。
提示:把 FLOPs 近似、唯一数据量、最优幂指数以及实际部署成本拆开判断。
Lv4|经验公式推导、拟合与部署实验方案(40 分|预计 15 分钟|开放题)
研究/推导题:设 L(N,D)=E+A N^(−α)+B D^(−β),其中 A,B,α,β>0,训练 FLOPs 近似 C=kND(k>0)。A(14分)固定 C,推导 N(C)、D(C) 和最优点的边际收益平衡式,并说明 α=β 时的增长指数;B(10分)设计至少三个 iso-FLOP 预算、多个 N/D 组合的小规模预实验与拟合/留出验证流程;C(8分)说明为何训练 token 数、唯一数据量、不同 tokenizer 的验证 CE,以及超出拟合区间的预测需要谨慎;D(8分)当模型需服务大量推理请求时,提出训练+推理成本目标和公平系统评测指标。
提示:A 令 D=C/(kN) 并对 N 求导;B 用多个尺度与多随机种子检查外推;C 区分训练采样次数与独立信息;D 将实际推理请求量纳入成本。
十、下一课预告
第 25 课|2026 年 11 月 13 日|第四周第 4 课:预训练学习率调度、Warmup、梯度裁剪与大规模训练稳定性。
将把固定 FLOPs 的预算设计接回优化器,推导 Warmup/Cosine 调度,区分 Gradient Clipping 与损失缩放,理解为何大规模预训练出现 loss spike 及如何用可复现实验诊断。
第 28 课(2026 年 11 月 16 日)为第四周复盘与第一阶段考核。