人工智能:理论、算法与系统 · 第24课

Scaling Laws 与 Compute-Optimal Training:为什么参数并非越大越好?

2026 年 11 月 12 日|第 4 周第 3 课|约 18 分钟

上一课讨论了预训练数据配比、去重和评测污染。今天的问题是:如果只有固定训练计算预算,应训练更大的模型、还是让小一些的模型学习更多 Token?

本课将区分三件事:经验事实(特定实验里损失随规模下降)、数学推导(给定经验函数后的约束优化)和系统决策(GPU、数据及推理部署约束)。学完后应能自己推导计算最优的 (N,D) 关系,而非死记某个 Token/参数比例。

一、三个变量与一个不能混淆的损失

  • (N):模型参数量。经典论文有时统计非 Embedding 参数,引用或复现时须对齐口径;对于稠密模型常用非 Embedding 参数作计算近似。
  • (D):训练中处理过的有效 Token 数,重复遍历同一文档也会增加 (D);不等于不同原始文档中拥有多少独立信息。
  • (C):训练计算量,通常用 FLOPs 表示,而不是 GPU 小时或人民币费用。
  • (L(N,D)):在固定的 held-out 数据、Tokenizer 和损失定义下的 Token-level 负对数似然(越小越好)。

上一课的混合数据权重 (q_d) 会改变目标分布;如果数据质量和混合比也同时变化,就不能把差异全部归因于 (N,D)。

二、经验幂律:拟合公式不是物理定律

一种常用的 Chinchilla 风格经验模型是:

[ \boxed{L(N,D)=E+\frac{A}{N^\alpha}+\frac{B}{D^\beta}} ]

要求 (A,B,\alpha,\beta>0)。其中 (E) 是这个评估损失拟合式的渐近基底;两个幂律项分别刻画参数规模与数据规模的有限性。该可分离形式是模型假设,不是从神经网络基本公理推出来的恒等式。

固定 (D) 足够大且参数项占主导时,减去 (E) 可得到:

[ \log(L-E)\approx\log A-\alpha\log N. ]

因此在 log-log 图上,斜率近似为 (-\alpha)。同理,固定足够大的 (N) 可用数据轴近似估计 (-\beta)。必须先注意基底 (E) 和另一项残差:直接对 (\log L) 拟合斜率通常不是 (-\alpha)。

从曲线读出的指数只在原实验架构、预训练配方、数据和规模范围内具有经验解释;长上下文、重复训练、小模型优化不足都可能造成偏离。

三、为什么常写 (C\approx6ND)?

对典型稠密 Decoder-only Transformer 的大矩阵乘法,可以用一阶近似:每个参数作用于一个 Token 的 Forward 乘加约为 (2) FLOPs,Backward 为同量级的约 (4) FLOPs。

所以处理 (D) 个训练 Token 时:

[ \boxed{C_{\mathrm{train}}\approx(2+4)ND=6ND.} ]

这个系数只是常见大模型粗估,不是严格精确的 FLOPs 计算器。它省略或近似了 Attention 的 (T^2) 项、归一化、Softmax、Embedding/LM Head 的实现差别、激活重计算、稀疏 MoE 激活参数与全部设备通信。真实壁钟时间还需要 GPU 有效 FLOP/s、数据加载与通信等信息。

例如 (N=10^{10}) 参数、(D=2\times10^{11}) Token 时:

[ C\approx6\times10^{10}\times2\times10^{11} =1.2\times10^{22}\;\mathrm{FLOPs}. ]

这是算术量估计,不能据此单独声称需要多少小时。

四、固定预算的优化:严格推导 (N^,D^)

设 (k>0)(通常近似取 6),固定预算 (C=kND)。记 (K=C/k),因此:

[ D=\frac{K}{N}. ]

把它代入经验式:

[ L(N)=E+AN^{-\alpha}+B\left(\frac{N}{K}\right)^\beta. ]

第一项随 (N) 变大而下降;第二项随 (N) 变大而上升,因为这时剩余 Token 预算变少。

求导:

[ \frac{dL}{dN}=-\alpha AN^{-\alpha-1} +\beta BK^{-\beta}N^{\beta-1}. ]

令导数为 0:

[ \alpha AN^{-\alpha} =\beta B K^{-\beta}N^\beta =\beta BD^{-\beta}. ]

于是最优点的加权边际贡献平衡为:

[ \boxed{\frac{\alpha A}{(N^)^\alpha} =\frac{\beta B}{(D^)^\beta}.} ]

整理得到:

[ \boxed{ N^*=\left(\frac{\alpha A}{\beta B}\right)^{1/(\alpha+\beta)} \left(\frac Ck\right)^{\beta/(\alpha+\beta)} } ]

[ \boxed{ D^*=\left(\frac{\beta B}{\alpha A}\right)^{1/(\alpha+\beta)} \left(\frac Ck\right)^{\alpha/(\alpha+\beta)}. } ]

该点是在 (N,D>0) 连续、经验式有效且约束只有 (kND=C) 的理想模型中的唯一内部极小点;对 (N) 取对数,可发现两项分别是凸指数函数,确保它是全局极小值。

如果 (\alpha=\beta),便有:

[ \boxed{N^\propto C^{1/2},\quad D^\propto C^{1/2}.} ]

因此模型大小与训练 Token 随计算预算以同样的幂次增长,最优 (D/N) 在该模型中为常数。如果 (\alpha\ne\beta),它们随 (C) 增长的指数并不一样。

一组完整数值计算

取完全人为的教学参数(不代表真实模型的指数或规模):

[ L(N,D)=1+\frac2N+\frac8D,\quad C=6ND=600. ]

由 (ND=100),代入 (D=100/N):

[ L(N)=1+\frac2N+0.08N. ]

求导得 (-2/N^2+0.08=0),得到 (N^=5,D^=20)。

参数 (N) Token (D) 同一预算 (ND) 预测损失
2 50 100 2.16
5 20 100 1.80
10 10 100 2.00
20 5 100 2.70

所以,在这个玩具模型里,最大参数并不是固定预算下的最小损失方案。关键不在“永远选 N=5”,而在通过拟合曲线求出当前预算下的折中点。

五、Kaplan 与 Chinchilla:为什么结论看起来不同?

Kaplan 等的 Scaling Laws for Neural Language Models(2020)系统测量了语言模型交叉熵损失随模型、数据、计算量的经验幂律,并提出固定预算下的计算配置建议。

Hoffmann 等的 Training Compute-Optimal Large Language Models(2022,Chinchilla)使用更多针对固定 FLOPs 的模型/数据配置测量,报告在其设置中模型参数量与训练 Token 数应近似同比例扩张。论文比较了相近训练预算下 70B 参数的 Chinchilla 与 280B 参数的 Gopher;前者用了约 4 倍训练数据,并取得更好的多项评测结果。

有时人们将其总结为“约 20 Tokens/Parameter”。这属于该研究设计下的量级经验,不是所有模型的严格最佳比例。混合数据、Tokenizer、架构(尤其 MoE)和训练/推理业务目标改变后,需要重新测量。

可复现研究应先问:拟合的 (N) 是什么口径?(D) 是否包含重复训练?训练和评测数据是否相同?学习率与终止策略是否充分调优?用哪些 FLOPs 和成本定义?

六、只优化训练,为什么可能选错部署模型?

上述约束是固定预训练 FLOPs下最小化 held-out loss。但真正部署还会付出请求推理成本。

一个简化目标为:

[ \boxed{ C_{\mathrm{total}}=kND+Q\,c_{\mathrm{infer}}(N,T_{\mathrm{in}},T_{\mathrm{out}},\text{硬件}). } ]

其中 (Q) 是未来请求数量;(c_{\mathrm{infer}}) 是每请求成本(需要明确单位,如 FLOPs 或货币成本)。还应加入质量下限、峰值显存和延迟 SLO 约束。

当 (Q) 很大时,在可比质量下用更小模型训练更多 Token,可能比训练一个较大但推理更昂贵的模型总成本更低。但这不是自动成立:推理吞吐受 batch、KV Cache、带宽、上下文长度和 GPU kernel 影响。研究 Beyond Chinchilla-Optimal(ICML 2024)正是把推理需求纳入模型缩放决策。

七、如何实际拟合缩放律,而不被漂亮曲线误导?

flowchart TD
  A["冻结 Tokenizer、训练/评测语料、架构和配方"] --> B["选三档以上训练 FLOPs:C₁、C₂、C₃"]
  B --> C["每档多个 (N,D),且近似 kND=C"]
  C --> D["充分训练;记录训练/验证 CE 与真实 FLOPs"]
  D --> E["拟合 E,A,B,α,β"]
  E --> F["预测未参与拟合的预算档 N*,D*"]
  F --> G["验证并报告误差、多 seed、域分组质量"]
  G --> H["考虑 GPU 时延、显存、推理请求量与成本"]

设计实验应关注四个层次:

1. 等 FLOPs(iso-FLOP)实验。 每档 (C) 选若干 (N),由 (D\approx C/(kN)) 确定 Token 预算。每种配置都使用经过调优的学习率计划和相同数据目标;记录有效训练 Token 和实际 profiler FLOPs。

2. 不要只拟合最优点。 保留非最优 ((N,D)) 组合用于拟合整个损失曲面;在若干预算档或模型尺寸上做独立留出,检验外推误差。

3. 检查数据边界。 数据去重率、重复 epoch、混合域权重可能改变数据项的形状;不同 Tokenizer 的 per-token CE 也不能不经处理直接比较。

4. 不仅报告验证 CE。 记录下游任务、长上下文、稀有域、训练稳定性及实际 GPU 吞吐和部署时延。经验式不能保证某个能力指标会随 CE 平滑下降。

# 教学伪代码:小规模 iso-FLOP 扫描
for C in compute_budgets:
    for N in candidate_model_sizes(C):
        D_target = C / (k * N)
        loss, measured_flops = train_and_validate(
            N=N, effective_tokens=D_target,
            fixed_tokenizer=True, fixed_eval=True)
        record(C, N, D_target, measured_flops, loss)

fit_params = fit_power_law(training_records)
evaluate_predictions(fit_params, held_out_budget_runs)

实际实验中 (N,D) 是离散可实现值,模型结构与 batch 受到 GPU 内存限制;训练稳定性、数据覆盖等约束可能令理论最优点不可实现。计算最优点是决策参考,不是替代真实训练验证的法则。

八、易错反例

误解 正确认识
更多参数一定意味着更好的固定 FLOPs 结果 (C) 固定时,增大 (N) 会减少 (D)
Scaling Law 是严格普适定理 它是有有效范围的经验拟合
(C=6ND) 能精确预测 GPU 小时 FLOPs 与墙钟延迟还取决于硬件和实现
Chinchilla 的比例永远严格为 20 具体比例随拟合系数与训练/部署设置变化
重复 10 次语料等于获得 10 倍独立信息 处理 token 增加,不等于唯一信息增加
验证 CE 更低就保证所有下游能力更好 训练目标与目标能力存在分布/指标差异
最低训练成本就是最低总拥有成本 部署时还需考虑 (Q) 次推理与 SLO

经典理论与新研究边界

条件约束优化、幂函数求导和对数坐标是数学工具;Kaplan(2020)、Chinchilla(2022)是训练规模的实证规律;把推理成本、架构、数据重复等纳入缩放目标属于后续研究。数值比例和收益必须看对应论文的数据范围,不能写成定理。

参考资料:

九、四级递进自测(总分 100)

首次授课不展示答案。 前三题客观判分,最后一题开放评分。提交后逐题解释;80 分及以上继续,60–79 分针对性补练,低于 60 分复习再练。

Lv1|经验缩放律与计算最优的机制边界(15 分|预计 2 分钟|单选)

一组 Decoder-only 模型的验证损失能用经验式 L(N,D)=E+A/N^α+B/D^β 近似拟合,训练 FLOPs 约为 6ND。下列哪项解释最严谨?

A. 只要参数 N 增加,固定总训练 FLOPs 的最终验证损失必然严格下降。

B. 经验缩放律是对特定模型、数据和预算范围的拟合;固定计算量时增大 N 会压缩可训练的 D,因此可能存在内部最优分配。

C. E 是任何下游任务的不可突破准确率上限,且在不同 tokenizer 与数据分布下不变。

D. Chinchilla 意味着所有模型、硬件和应用场景的最优 D/N 都严格等于 20。

提示:区别经验拟合与定理;在 6ND 固定时,N 变化会怎样影响 D?

Lv2|固定 FLOPs 下的最优 Token 数值计算(20 分|预计 4 分钟|数值)

教学玩具模型 L(N,D)=1+1/√N+2/√D,且训练预算 C=6ND=2400(N、D 均用抽象单位,允许连续值)。在该预算下令 L 最小,求最优训练 token 量 D*。填写十进制数。

请填写十进制数值。

提示:先用 ND=C/6 消去一个变量,再求导;注意两项的指数都是 1/2。

Lv3|处理 Token、算术复杂度与部署边界(25 分|预计 6 分钟|多选)

考虑密集 Decoder-only 预训练,N 为模型参数数、D 为处理过的训练 token 数、C≈6ND 是忽略部分开销的经验 FLOPs 估计;假定固定架构和 tokenizer。以下哪些判断成立?(多选)

A. 固定 C 而把 N 乘以 2,在 C≈6ND 的近似下,D 必须约减半。

B. 在 L=E+A/N^α+B/D^β 且 C≈6ND 下,任意正的 α、β 都使最优 N 和 D 随 C 以完全相同的幂次增长。

C. 若相同语料被训练两个 epoch,D 可以计入重复处理的 token,但不代表独立文本量也翻倍。

D. 因为 C≈6ND 已计入所有现实系统开销,所以它可不经校准精确预测任意长上下文 MoE 的墙钟时间。

E. 若部署存在大量推理请求,最小化训练 FLOPs 下的损失未必等于最小化训练加服务总成本下的最优模型选择。

F. 在不同 tokenizer 和不同 held-out 数据上,单个 token 的交叉熵可以不加限制地比较而不会引入偏差。

提示:把 FLOPs 近似、唯一数据量、最优幂指数以及实际部署成本拆开判断。

Lv4|经验公式推导、拟合与部署实验方案(40 分|预计 15 分钟|开放题)

研究/推导题:设 L(N,D)=E+A N^(−α)+B D^(−β),其中 A,B,α,β>0,训练 FLOPs 近似 C=kND(k>0)。A(14分)固定 C,推导 N(C)、D(C) 和最优点的边际收益平衡式,并说明 α=β 时的增长指数;B(10分)设计至少三个 iso-FLOP 预算、多个 N/D 组合的小规模预实验与拟合/留出验证流程;C(8分)说明为何训练 token 数、唯一数据量、不同 tokenizer 的验证 CE,以及超出拟合区间的预测需要谨慎;D(8分)当模型需服务大量推理请求时,提出训练+推理成本目标和公平系统评测指标。

提示:A 令 D=C/(kN) 并对 N 求导;B 用多个尺度与多随机种子检查外推;C 区分训练采样次数与独立信息;D 将实际推理请求量纳入成本。

十、下一课预告

第 25 课|2026 年 11 月 13 日|第四周第 4 课:预训练学习率调度、Warmup、梯度裁剪与大规模训练稳定性。

将把固定 FLOPs 的预算设计接回优化器,推导 Warmup/Cosine 调度,区分 Gradient Clipping 与损失缩放,理解为何大规模预训练出现 loss spike 及如何用可复现实验诊断。

第 28 课(2026 年 11 月 16 日)为第四周复盘与第一阶段考核。