人工智能:理论、算法与系统 · 第25课
预训练稳定性:Warmup、Cosine、梯度裁剪与 Loss Spike
2026 年 11 月 13 日|第 4 周第 4 课|约 18 分钟
上一课研究固定 FLOPs 下如何分配参数量 N 与训练 Token 数 D。今天进一步讨论:理论上算力足够,为什么大模型仍可能因为优化过程不稳定,花费大量计算却得到更差结果?
本课要掌握四件事:从下降引理理解学习率的数学边界;推导 Warmup + Cosine 与梯度裁剪;区分梯度裁剪和混合精度 Loss Scaling;设计能够区分数据异常、数值错误与真实优化失稳的实验。
一、预训练是一串带状态的更新,而非一次最小化
以每个有效 Token 平均的交叉熵为目标,参数为 θ。最简单的随机梯度更新为:
[ \theta_{t+1}=\theta_t-\eta_t g_t,\qquad g_t=\nabla_\theta\widehat{\mathcal L}_t(\theta_t). ]
这里的 t 是优化器更新步数,不一定等于 microbatch 数,也不等于累计训练 Token 数。如果每步有效 Token 数变化,那么相同的 t 可能代表不同训练数据覆盖量。
更常见的 AdamW 则保存一阶和二阶状态(先忽略偏置之外的实现细节):
[ m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\quad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2. ]
这里的平方为逐元素平方。偏置修正:
[ \hat m_t=\frac{m_t}{1-\beta_1^t},\qquad \hat v_t=\frac{v_t}{1-\beta_2^t}. ]
一种常见的 decoupled weight decay 写法是:
[ \boxed{ \theta_{t+1}=(1-\eta_t\lambda)\theta_t -\eta_t\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon} } ]
其中 λ 是权重衰减系数,η_t 是当前学习率。不同参数组可以设置不同的权重衰减或学习率。
关键区别: SGD 的更新直接沿 g;AdamW 的更新还受历史 m、v 预条件与权重衰减影响。所以控制输入的梯度范数,并不严格等于控制完整 AdamW 参数更新的范数。
二、下降引理:大步长何时会使损失上升?
先考虑理想的确定性全梯度下降。设目标 f 可微且梯度满足 L-Lipschitz 条件:
[ |\nabla f(x)-\nabla f(y)|_2\le L|x-y|_2. ]
这叫 L-smooth。它给出下降引理:
[ f(y)\le f(x)+\nabla f(x)^\top(y-x)+\frac L2|y-x|_2^2. ]
将 y=x−η∇f(x) 代入:
[ f(x-\eta\nabla f(x)) \le f(x)-\eta|\nabla f(x)|^2 +\frac{L\eta^2}{2}|\nabla f(x)|^2. ]
整理:
[ \boxed{ f(x-\eta\nabla f(x)) \le f(x)-\eta\left(1-\frac{L\eta}{2}\right)|\nabla f(x)|^2 } ]
当 (0<\eta<2/L) 时,上式右边不超过 f(x)。这是特定假设下全梯度 GD 的保证,不是对随机 AdamW、任意 minibatch 或非有限浮点数的单步保证。
若用随机梯度 g,下降引理中的线性项变成 (-\eta\nabla f^\top g),而二次项是 (L\eta^2|g|^2/2)。梯度噪声可能使某次更新的真实损失上升。AdamW 更不是直接把 g 代入 GD 的相同更新式。
因此 Warmup 的合理直觉是控制训练初期更新尺度和优化器状态形成过程,但不能宣称 Warmup 自动满足 (0<\eta_t<2/L) 或彻底阻止 Spike。
三、线性 Warmup + Cosine Decay 的精确公式
定义总更新步数 T、Warmup 步数 W,满足 (0<W<T),峰值学习率 (\eta_{\max}),最低学习率 (\eta_{\min}) 且 (0\le\eta_{\min}\le\eta_{\max})。
从零线性 Warmup:
[ \eta(t)=\eta_{\max}\frac{t}{W},\quad 0\le t\le W. ]
随后定义衰减进度 (p=(t-W)/(T-W)\in[0,1]),使用:
[ \boxed{ \eta(t)=\eta_{\min} +\frac{\eta_{\max}-\eta_{\min}}{2} [1+\cos(\pi p)],\quad W<t\le T } ]
它满足 (\eta(W)=\eta_{\max}) 和 (\eta(T)=\eta_{\min}),衰减起点与终点的一阶斜率都为零。这里讲的是以更新步数为时间轴的方案;若实际采用按 Token 的 schedule,需要替换进度定义。
手算三个时刻
设 (T=1000,W=100,\eta_{\max}=2\times10^{-4},\eta_{\min}=2\times10^{-5})。
在第 50 步:
[ \eta(50)=2\times10^{-4}\cdot\frac{50}{100}=10^{-4}. ]
在第 550 步,(p=(550-100)/(1000-100)=1/2),(\cos(\pi/2)=0),因此:
[ \eta(550)=2\times10^{-5}+\frac{1.8\times10^{-4}}2 =\boxed{1.1\times10^{-4}}. ]
在第 1000 步:(\eta(1000)=2\times10^{-5})。
一种后续常见变体是 Warmup–Stable–Decay(WSD):Warmup 后保持学习率一段时间,末段再衰减。它与 Cosine 的优劣依赖训练预算、模型和数据,不能仅用形状推断谁必然更好。
调度曲线与优化过程(示意)
flowchart LR
A["选定有效 Token 预算与更新步数"] --> B["Warmup:学习率逐步上升"]
B --> C["Cosine 或 Stable:控制中段更新"]
C --> D["Decay:收尾减小步长"]
D --> E["保存最终模型并做独立验证"]
A --> F["每步监测梯度范数 / Loss / 有效 Token"]
F --> G{"梯度或 Loss 出现异常?"}
G -->|否| D
G -->|是| H["定位数据、精度、优化器状态与并行错误"]
H --> I["保留证据,必要时回滚 Checkpoint"]
流程图中的阶段是计划而非保证:一个 Loss Spike 可能发生在任何阶段,也可能在没有明显梯度异常时发生。
四、梯度裁剪:限制的是梯度向量,不是损失函数
设累积后、反缩放后的全局梯度向量为 g,阈值 (c>0)。全局 L2 范数裁剪为:
[ \boxed{ g_{\rm clip} =g\cdot\min\left(1,\frac c{|g|_2}\right) } ]
零梯度可直接保留,实际实现常在分母加入极小 (\epsilon)。如果 (|g|_2>c),它保持方向,仅缩小长度,并非逐坐标截断。
例如:
[ g=(6,8),\quad |g|_2=10,\quad c=5. ]
裁剪因子为 (5/10=0.5),得到:
[ g_{\rm clip}=(3,4),\quad|g_{\rm clip}|_2=5. ]
若做学习率 (\eta=0.1) 的纯 SGD,则:
[ \Delta\theta=-0.1(3,4)=(-0.3,-0.4),\quad|\Delta\theta|_2=0.5. ]
这个 (\eta c) 的更新范数界针对无动量、无权重衰减的 SGD成立;对 AdamW 完整更新一般不成立,因为还有预条件、历史动量和权重衰减。
若使用梯度累积,通常要在所有 microbatch 梯度按目标归一化权重累加完后,再做全局裁剪。先逐 microbatch 裁剪再相加,会产生不同的更新方向或尺度。
五、Loss Scaling 不是 Gradient Clipping
FP16 可表示的指数范围有限,小梯度可能下溢成零。混合精度训练的一种方案是用比例 (s>0) 放大损失:
[ \mathcal L’=s\mathcal L,\quad g’=\nabla\mathcal L’=s\nabla\mathcal L. ]
反向传播之后,再把梯度除以 s:
[ \boxed{g=g’/s.} ]
这在浮点数可表示范围内有助于保留原本很小的梯度。比如 (s=128),真实梯度 ((0.01,-0.02)) 的缩放表示为 ((1.28,-2.56)),反缩放后回到原值。它不打算降低真实梯度的范数。
正确的顺序通常是:构造归一化 loss → scale → backward(多 microbatch 累积)→ unscale → 检查 Inf/NaN → 对有限的全局真实梯度裁剪 → optimizer step。若动态 Loss Scaling 发现非有限梯度,通常跳过该更新并调低 scale,不能继续用坏梯度更新参数。
BF16 比 FP16 具有更大的指数表示范围,通常不必借助 Loss Scaling 抵御同类下溢,但 BF16 较低的尾数精度及其他运算仍需数值稳定措施。
反例: 若拿 (sg) 直接按阈值 c 裁剪,得到的有效真实梯度可能比预期小 s 倍,破坏了设置 c 的本意。
六、Loss Spike:何时是真问题,何时只是监控信号?
一个 Training Loss Spike 指观察到训练损失突然上升;但单次 minibatch 难度变化也会让损失上升。应分别监控未平滑的 batch loss、固定 held-out loss、更新前梯度范数,并和参数更新、激活、logit、优化器状态及数据来源交叉分析。
| 观测现象 | 可能原因(非唯一) | 如何验证 |
|---|---|---|
| 特定数据域 batch loss 高 | 难数据、异常样本、损失掩码错误 | 固定权重离线重放该批数据,检查 token/label |
| 梯度范数先急升,随后 loss 恶化 | 更新尺度过大、局部 Jacobian 放大 | 记录 pre-clip norm、LR、裁剪率及层级范数 |
| NaN/Inf 突然出现 | 混合精度溢出、无效运算、通信数据损坏 | 检查 scaler、非有限张量、分布式一致性 |
| Train loss 波动,但 held-out 稳定 | minibatch 组成不同或随机噪声 | 固定不参与训练的验证数据及测量窗口 |
| 回滚仍在相同位置失败 | 可能有可重现输入/状态/环境因素 | 对齐模型、优化器、RNG、数据顺序和硬件日志 |
“梯度范数先升”和“Loss Spike”相关,不意味着每次都由同一因素导致。梯度裁剪只是一个稳定化手段;它可能掩盖问题,也可能改变有效优化路径。
真实研究中,2024 年的 Llama 3 技术报告记载了 AdamW、线性 Warmup、Cosine 调度和阶段性 Batch 调整;2023 年公开的 Spike No More 从残差通道与子层 Jacobian 分析训练稳定性;2025 年的 AdaGC 研究探索了自适应裁剪。这些是具体模型和实验上的结果,不是任何规模的普适保证。
参考:The Llama 3 Herd of Models(2024)、Spike No More(2023)、Mixed Precision Training(ICLR 2018)、AdaGC(2025)。
七、受控消融:不要只展示“漂亮的平滑 Loss 曲线”
考虑同一个 Decoder-only 模型,用相同 Tokenizer、数据顺序(或记录种子组)、全局 Token Batch、硬件、精度、训练预算、评价集与调参机会,比较:
| 实验变量 | 建议的对照 |
|---|---|
| Warmup 长度 W | 0、较短、较长 |
| 峰值学习率 (\eta_{\max}) | 保守值、基准值、较大值 |
| Global Clip 阈值 c | 不裁剪、较小阈值、较大阈值 |
| Learning-rate 末段 | Cosine、WSD(指定相同更新预算) |
有无 Warmup 为零时应单独定义公式,不直接代入 t/W。
记录:原始每步 loss 和验证 loss、pre-clip/post-clip norm、裁剪频率、参数/激活/logit 范数、非有限梯度次数、scaler 值、每步有效 Token、学习率、分域数据来源、checkpoint 时间与 GPU 吞吐。对多 seed 报告稳定性和最终质量,而不仅是单次曲线。
异常复现时应保存模型、AdamW 一二阶状态、scheduler、scaler、数据采样器位置、RNG、代码版本和精度设置。按相同 checkpoint 重放,有助于分辨稳定性是否与特定输入或参数状态相关;不能擅自把所有异常 batch 永久删除而不记录干预。
# 教学伪代码:梯度累积 + FP16 AMP,具体 API 可因框架而异
optimizer.zero_grad()
for micro in range(accum_steps):
with autocast():
loss = token_weighted_loss(micro) # 全局目标归一化
scaler.scale(loss).backward()
scaler.unscale_(optimizer) # 再看真实梯度
raw_norm = global_grad_norm_across_shards()
if all_gradients_finite():
clip_global_norm_(model.parameters(), max_norm=c)
scaler.step(optimizer) # AdamW 更新
else:
# 正确处理并跳过更新;不同框架由 scaler 管理
record_nonfinite_and_skip()
scaler.update()
scheduler_step_only_if_optimizer_updated()
optimizer.zero_grad()
说明:分布式并行的 global norm 需要正确聚合各分片平方范数,并避免误算重复副本;上述伪代码只用于表达操作顺序。GradScaler 可能内部检测非有限值并跳步,正式实现应防止重复 step、错误的 loss 归一化和学习率调度前进错位。
本课收束:四个不能混淆的“缩放”
| 操作 | 改变什么 | 不保证什么 |
|---|---|---|
| LR Warmup / Decay | 优化器使用的时间相关步长 (\eta_t) | 单步损失一定下降 |
| Global Gradient Clipping | 送入优化器的梯度范数 | AdamW 完整更新范数必定 ≤ ηc |
| Loss Scaling | 混合精度反向时梯度的数值表示尺度 | 梯度被真正正则化 |
| Weight Decay | 参数上的额外收缩项 | 等同于梯度裁剪 |
经典部分: Smoothness 下降引理、SGD、AdamW、全局范数裁剪及 FP16 反缩放的数学关系。研究部分: 特定网络中的 Spike 根因、自适应裁剪、最佳学习率策略与实际大规模稳定性必须通过受控数据和日志验证。
八、四级递进自测(100 分)
首次授课只提供提示,不展示标准答案。 前三题客观判分;最后一题按推导与实验设计评分。80+ 继续,60–79 定向补练,低于 60 复习再练。
Lv1|机制辨析(15 分|预计 2 分钟|单选)
对大模型预训练中的 Warmup、Cosine Decay 和梯度裁剪,下列哪项机制解释最严谨?(单选)
A. 只要使用线性 Warmup,每一步的训练损失都必然单调下降。
B. Cosine Decay 的作用是把梯度按照余弦逐坐标变换,因此它等价于梯度裁剪。
C. Warmup 逐步提高优化器使用的学习率,后续 Decay 降低学习率;它们有助于控制更新过程,但不保证消除 Loss Spike。
D. Warmup 的唯一作用是改变 Tokenizer 产生的序列长度。
提示:区分学习率对更新量的控制、梯度范数的约束,以及随机训练中是否存在逐步单调保证。
Lv2|数值计算(20 分|预计 4 分钟|数值)
纯 SGD(无动量、无权重衰减)使用全局 L2 范数裁剪:原始梯度 g=(5,12),阈值 c=6.5,学习率 η=0.04。先裁剪梯度,再做 θ_new=θ_old−η·g_clip。求第一个参数的更新量 Δθ₁=θ_new,1−θ_old,1。填写带符号十进制数。
提示:先计算二维梯度的 L2 范数,再按整个向量的同一缩放因子裁剪,最后应用 SGD 的负号。
Lv3|系统与算法边界(25 分|预计 6 分钟|多选)
在使用 AdamW、梯度累积与混合精度的 Decoder-only 预训练中,下列哪些陈述成立?(多选;默认讨论常见正确实现,梯度范数按整个模型计算。)
A. FP16 使用 Loss Scaling 时应先把缩放的梯度反缩放,再依据真实梯度做裁剪及优化器更新。
B. 全局裁剪阈值为 c、学习率为 η,就严格保证 AdamW(含动量、二阶预条件与权重衰减)每一步参数更新的 L2 范数不超过 ηc。
C. 若想对一个有效大 Batch 的累积梯度做全局范数裁剪,应在完成相应梯度累积后裁剪,而不是分别裁剪每个 Microbatch 再相加。
D. Loss Spike 一定是某一条训练样本本身错误;直接删除当步数据就能证明模型稳定。
E. 如果训练中每个 optimizer step 的有效 Token 数发生变化,按 step 设计的学习率曲线和按累计 Token 设计的曲线未必对应相同数据进度。
F. BF16 的指数范围通常大于 FP16,因而一般比 FP16 更不依赖 Loss Scaling;但它并不能自动防止所有数值异常。
提示:检查操作顺序:反缩放→累积后全局裁剪→优化器;再区分 SGD 的步长界与 AdamW 的实际更新,以及 step 与 token 两种计时单位。
Lv4|理论推导与实验设计(40 分|预计 15 分钟|开放)
研究/推导题(40 分)。设计一个用于 1B 级 Decoder-only 预训练的稳定性分析方案。
A(12 分):从 L-smooth 损失的下降引理出发,推导确定性全梯度下降在合适学习率下的单步下降条件;解释该结论为何不能直接保证随机 AdamW 训练没有 Loss Spike。
B(10 分):写出线性 Warmup + Cosine Decay 的分段公式,明确总步数 T、Warmup 步数 W、η_max、η_min;再写出全局 L2 梯度裁剪公式,说明它与权重衰减不同。
C(10 分):设计一个 Warmup 时长、峰值学习率、裁剪阈值的受控消融实验,说明如何发现 Loss Spike、区分数据异常与数值/优化不稳定,并避免只凭平滑训练曲线下结论。
D(8 分):给出 FP16 Loss Scaling 与梯度累积时安全的反向—反缩放—裁剪—更新顺序,并列出分布式训练应保存的诊断指标、复现元数据和至少一种恢复策略。
提示:A 代入 θ_new=θ−η∇f 并观察一阶负项与二阶正项;B 明确余弦的进度变量;C 记录未裁剪范数与每域 loss;D 关注 unscale、NaN/Inf 检查、有效 Token 数和 checkpoint。
九、下一课预告
第 26 课|2026 年 11 月 14 日|第 4 周第 5 课:Batch Size、梯度累积、数据并行与训练吞吐。
我们将把今天的优化稳定性放到多 GPU 环境,推导有效 Token Batch、梯度累积的正确加权、All-Reduce / ZeRO / FSDP 的内存—通信权衡,并分析 Gradient Noise Scale 与规模扩展时的学习率调整。第 28 课(2026 年 11 月 16 日)进行第四周复盘兼第一次阶段考核。