人工智能:理论、算法与系统 · 第25课

预训练稳定性:Warmup、Cosine、梯度裁剪与 Loss Spike

2026 年 11 月 13 日|第 4 周第 4 课|约 18 分钟

上一课研究固定 FLOPs 下如何分配参数量 N 与训练 Token 数 D。今天进一步讨论:理论上算力足够,为什么大模型仍可能因为优化过程不稳定,花费大量计算却得到更差结果?

本课要掌握四件事:从下降引理理解学习率的数学边界;推导 Warmup + Cosine 与梯度裁剪;区分梯度裁剪和混合精度 Loss Scaling;设计能够区分数据异常、数值错误与真实优化失稳的实验。

一、预训练是一串带状态的更新,而非一次最小化

以每个有效 Token 平均的交叉熵为目标,参数为 θ。最简单的随机梯度更新为:

[ \theta_{t+1}=\theta_t-\eta_t g_t,\qquad g_t=\nabla_\theta\widehat{\mathcal L}_t(\theta_t). ]

这里的 t 是优化器更新步数,不一定等于 microbatch 数,也不等于累计训练 Token 数。如果每步有效 Token 数变化,那么相同的 t 可能代表不同训练数据覆盖量。

更常见的 AdamW 则保存一阶和二阶状态(先忽略偏置之外的实现细节):

[ m_t=\beta_1m_{t-1}+(1-\beta_1)g_t,\quad v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2. ]

这里的平方为逐元素平方。偏置修正:

[ \hat m_t=\frac{m_t}{1-\beta_1^t},\qquad \hat v_t=\frac{v_t}{1-\beta_2^t}. ]

一种常见的 decoupled weight decay 写法是:

[ \boxed{ \theta_{t+1}=(1-\eta_t\lambda)\theta_t -\eta_t\frac{\hat m_t}{\sqrt{\hat v_t}+\epsilon} } ]

其中 λ 是权重衰减系数,η_t 是当前学习率。不同参数组可以设置不同的权重衰减或学习率。

关键区别: SGD 的更新直接沿 g;AdamW 的更新还受历史 m、v 预条件与权重衰减影响。所以控制输入的梯度范数,并不严格等于控制完整 AdamW 参数更新的范数。

二、下降引理:大步长何时会使损失上升?

先考虑理想的确定性全梯度下降。设目标 f 可微且梯度满足 L-Lipschitz 条件:

[ |\nabla f(x)-\nabla f(y)|_2\le L|x-y|_2. ]

这叫 L-smooth。它给出下降引理:

[ f(y)\le f(x)+\nabla f(x)^\top(y-x)+\frac L2|y-x|_2^2. ]

将 y=x−η∇f(x) 代入:

[ f(x-\eta\nabla f(x)) \le f(x)-\eta|\nabla f(x)|^2 +\frac{L\eta^2}{2}|\nabla f(x)|^2. ]

整理:

[ \boxed{ f(x-\eta\nabla f(x)) \le f(x)-\eta\left(1-\frac{L\eta}{2}\right)|\nabla f(x)|^2 } ]

当 (0<\eta<2/L) 时,上式右边不超过 f(x)。这是特定假设下全梯度 GD 的保证,不是对随机 AdamW、任意 minibatch 或非有限浮点数的单步保证。

若用随机梯度 g,下降引理中的线性项变成 (-\eta\nabla f^\top g),而二次项是 (L\eta^2|g|^2/2)。梯度噪声可能使某次更新的真实损失上升。AdamW 更不是直接把 g 代入 GD 的相同更新式。

因此 Warmup 的合理直觉是控制训练初期更新尺度和优化器状态形成过程,但不能宣称 Warmup 自动满足 (0<\eta_t<2/L) 或彻底阻止 Spike。

三、线性 Warmup + Cosine Decay 的精确公式

定义总更新步数 T、Warmup 步数 W,满足 (0<W<T),峰值学习率 (\eta_{\max}),最低学习率 (\eta_{\min}) 且 (0\le\eta_{\min}\le\eta_{\max})。

从零线性 Warmup:

[ \eta(t)=\eta_{\max}\frac{t}{W},\quad 0\le t\le W. ]

随后定义衰减进度 (p=(t-W)/(T-W)\in[0,1]),使用:

[ \boxed{ \eta(t)=\eta_{\min} +\frac{\eta_{\max}-\eta_{\min}}{2} [1+\cos(\pi p)],\quad W<t\le T } ]

它满足 (\eta(W)=\eta_{\max}) 和 (\eta(T)=\eta_{\min}),衰减起点与终点的一阶斜率都为零。这里讲的是以更新步数为时间轴的方案;若实际采用按 Token 的 schedule,需要替换进度定义。

手算三个时刻

设 (T=1000,W=100,\eta_{\max}=2\times10^{-4},\eta_{\min}=2\times10^{-5})。

在第 50 步:

[ \eta(50)=2\times10^{-4}\cdot\frac{50}{100}=10^{-4}. ]

在第 550 步,(p=(550-100)/(1000-100)=1/2),(\cos(\pi/2)=0),因此:

[ \eta(550)=2\times10^{-5}+\frac{1.8\times10^{-4}}2 =\boxed{1.1\times10^{-4}}. ]

在第 1000 步:(\eta(1000)=2\times10^{-5})。

一种后续常见变体是 Warmup–Stable–Decay(WSD):Warmup 后保持学习率一段时间,末段再衰减。它与 Cosine 的优劣依赖训练预算、模型和数据,不能仅用形状推断谁必然更好。

调度曲线与优化过程(示意)

flowchart LR
  A["选定有效 Token 预算与更新步数"] --> B["Warmup:学习率逐步上升"]
  B --> C["Cosine 或 Stable:控制中段更新"]
  C --> D["Decay:收尾减小步长"]
  D --> E["保存最终模型并做独立验证"]
  A --> F["每步监测梯度范数 / Loss / 有效 Token"]
  F --> G{"梯度或 Loss 出现异常?"}
  G -->|否| D
  G -->|是| H["定位数据、精度、优化器状态与并行错误"]
  H --> I["保留证据,必要时回滚 Checkpoint"]

流程图中的阶段是计划而非保证:一个 Loss Spike 可能发生在任何阶段,也可能在没有明显梯度异常时发生。

四、梯度裁剪:限制的是梯度向量,不是损失函数

设累积后、反缩放后的全局梯度向量为 g,阈值 (c>0)。全局 L2 范数裁剪为:

[ \boxed{ g_{\rm clip} =g\cdot\min\left(1,\frac c{|g|_2}\right) } ]

零梯度可直接保留,实际实现常在分母加入极小 (\epsilon)。如果 (|g|_2>c),它保持方向,仅缩小长度,并非逐坐标截断。

例如:

[ g=(6,8),\quad |g|_2=10,\quad c=5. ]

裁剪因子为 (5/10=0.5),得到:

[ g_{\rm clip}=(3,4),\quad|g_{\rm clip}|_2=5. ]

若做学习率 (\eta=0.1) 的纯 SGD,则:

[ \Delta\theta=-0.1(3,4)=(-0.3,-0.4),\quad|\Delta\theta|_2=0.5. ]

这个 (\eta c) 的更新范数界针对无动量、无权重衰减的 SGD成立;对 AdamW 完整更新一般不成立,因为还有预条件、历史动量和权重衰减。

若使用梯度累积,通常要在所有 microbatch 梯度按目标归一化权重累加完后,再做全局裁剪。先逐 microbatch 裁剪再相加,会产生不同的更新方向或尺度。

五、Loss Scaling 不是 Gradient Clipping

FP16 可表示的指数范围有限,小梯度可能下溢成零。混合精度训练的一种方案是用比例 (s>0) 放大损失:

[ \mathcal L’=s\mathcal L,\quad g’=\nabla\mathcal L’=s\nabla\mathcal L. ]

反向传播之后,再把梯度除以 s:

[ \boxed{g=g’/s.} ]

这在浮点数可表示范围内有助于保留原本很小的梯度。比如 (s=128),真实梯度 ((0.01,-0.02)) 的缩放表示为 ((1.28,-2.56)),反缩放后回到原值。它不打算降低真实梯度的范数。

正确的顺序通常是:构造归一化 loss → scale → backward(多 microbatch 累积)→ unscale → 检查 Inf/NaN → 对有限的全局真实梯度裁剪 → optimizer step。若动态 Loss Scaling 发现非有限梯度,通常跳过该更新并调低 scale,不能继续用坏梯度更新参数。

BF16 比 FP16 具有更大的指数表示范围,通常不必借助 Loss Scaling 抵御同类下溢,但 BF16 较低的尾数精度及其他运算仍需数值稳定措施。

反例: 若拿 (sg) 直接按阈值 c 裁剪,得到的有效真实梯度可能比预期小 s 倍,破坏了设置 c 的本意。

六、Loss Spike:何时是真问题,何时只是监控信号?

一个 Training Loss Spike 指观察到训练损失突然上升;但单次 minibatch 难度变化也会让损失上升。应分别监控未平滑的 batch loss、固定 held-out loss、更新前梯度范数,并和参数更新、激活、logit、优化器状态及数据来源交叉分析。

观测现象 可能原因(非唯一) 如何验证
特定数据域 batch loss 高 难数据、异常样本、损失掩码错误 固定权重离线重放该批数据,检查 token/label
梯度范数先急升,随后 loss 恶化 更新尺度过大、局部 Jacobian 放大 记录 pre-clip norm、LR、裁剪率及层级范数
NaN/Inf 突然出现 混合精度溢出、无效运算、通信数据损坏 检查 scaler、非有限张量、分布式一致性
Train loss 波动,但 held-out 稳定 minibatch 组成不同或随机噪声 固定不参与训练的验证数据及测量窗口
回滚仍在相同位置失败 可能有可重现输入/状态/环境因素 对齐模型、优化器、RNG、数据顺序和硬件日志

“梯度范数先升”和“Loss Spike”相关,不意味着每次都由同一因素导致。梯度裁剪只是一个稳定化手段;它可能掩盖问题,也可能改变有效优化路径。

真实研究中,2024 年的 Llama 3 技术报告记载了 AdamW、线性 Warmup、Cosine 调度和阶段性 Batch 调整;2023 年公开的 Spike No More 从残差通道与子层 Jacobian 分析训练稳定性;2025 年的 AdaGC 研究探索了自适应裁剪。这些是具体模型和实验上的结果,不是任何规模的普适保证。

参考:The Llama 3 Herd of Models(2024)、Spike No More(2023)、Mixed Precision Training(ICLR 2018)、AdaGC(2025)。

七、受控消融:不要只展示“漂亮的平滑 Loss 曲线”

考虑同一个 Decoder-only 模型,用相同 Tokenizer、数据顺序(或记录种子组)、全局 Token Batch、硬件、精度、训练预算、评价集与调参机会,比较:

实验变量 建议的对照
Warmup 长度 W 0、较短、较长
峰值学习率 (\eta_{\max}) 保守值、基准值、较大值
Global Clip 阈值 c 不裁剪、较小阈值、较大阈值
Learning-rate 末段 Cosine、WSD(指定相同更新预算)

有无 Warmup 为零时应单独定义公式,不直接代入 t/W。

记录:原始每步 loss 和验证 loss、pre-clip/post-clip norm、裁剪频率、参数/激活/logit 范数、非有限梯度次数、scaler 值、每步有效 Token、学习率、分域数据来源、checkpoint 时间与 GPU 吞吐。对多 seed 报告稳定性和最终质量,而不仅是单次曲线。

异常复现时应保存模型、AdamW 一二阶状态、scheduler、scaler、数据采样器位置、RNG、代码版本和精度设置。按相同 checkpoint 重放,有助于分辨稳定性是否与特定输入或参数状态相关;不能擅自把所有异常 batch 永久删除而不记录干预。

# 教学伪代码:梯度累积 + FP16 AMP,具体 API 可因框架而异
optimizer.zero_grad()
for micro in range(accum_steps):
    with autocast():
        loss = token_weighted_loss(micro)   # 全局目标归一化
    scaler.scale(loss).backward()

scaler.unscale_(optimizer)                    # 再看真实梯度
raw_norm = global_grad_norm_across_shards()
if all_gradients_finite():
    clip_global_norm_(model.parameters(), max_norm=c)
    scaler.step(optimizer)                   # AdamW 更新
else:
    # 正确处理并跳过更新;不同框架由 scaler 管理
    record_nonfinite_and_skip()
scaler.update()
scheduler_step_only_if_optimizer_updated()
optimizer.zero_grad()

说明:分布式并行的 global norm 需要正确聚合各分片平方范数,并避免误算重复副本;上述伪代码只用于表达操作顺序。GradScaler 可能内部检测非有限值并跳步,正式实现应防止重复 step、错误的 loss 归一化和学习率调度前进错位。

本课收束:四个不能混淆的“缩放”

操作 改变什么 不保证什么
LR Warmup / Decay 优化器使用的时间相关步长 (\eta_t) 单步损失一定下降
Global Gradient Clipping 送入优化器的梯度范数 AdamW 完整更新范数必定 ≤ ηc
Loss Scaling 混合精度反向时梯度的数值表示尺度 梯度被真正正则化
Weight Decay 参数上的额外收缩项 等同于梯度裁剪

经典部分: Smoothness 下降引理、SGD、AdamW、全局范数裁剪及 FP16 反缩放的数学关系。研究部分: 特定网络中的 Spike 根因、自适应裁剪、最佳学习率策略与实际大规模稳定性必须通过受控数据和日志验证。

八、四级递进自测(100 分)

首次授课只提供提示,不展示标准答案。 前三题客观判分;最后一题按推导与实验设计评分。80+ 继续,60–79 定向补练,低于 60 复习再练。

Lv1|机制辨析(15 分|预计 2 分钟|单选)

对大模型预训练中的 Warmup、Cosine Decay 和梯度裁剪,下列哪项机制解释最严谨?(单选)

A. 只要使用线性 Warmup,每一步的训练损失都必然单调下降。

B. Cosine Decay 的作用是把梯度按照余弦逐坐标变换,因此它等价于梯度裁剪。

C. Warmup 逐步提高优化器使用的学习率,后续 Decay 降低学习率;它们有助于控制更新过程,但不保证消除 Loss Spike。

D. Warmup 的唯一作用是改变 Tokenizer 产生的序列长度。

提示:区分学习率对更新量的控制、梯度范数的约束,以及随机训练中是否存在逐步单调保证。

Lv2|数值计算(20 分|预计 4 分钟|数值)

纯 SGD(无动量、无权重衰减)使用全局 L2 范数裁剪:原始梯度 g=(5,12),阈值 c=6.5,学习率 η=0.04。先裁剪梯度,再做 θ_new=θ_old−η·g_clip。求第一个参数的更新量 Δθ₁=θ_new,1−θ_old,1。填写带符号十进制数。

提示:先计算二维梯度的 L2 范数,再按整个向量的同一缩放因子裁剪,最后应用 SGD 的负号。

Lv3|系统与算法边界(25 分|预计 6 分钟|多选)

在使用 AdamW、梯度累积与混合精度的 Decoder-only 预训练中,下列哪些陈述成立?(多选;默认讨论常见正确实现,梯度范数按整个模型计算。)

A. FP16 使用 Loss Scaling 时应先把缩放的梯度反缩放,再依据真实梯度做裁剪及优化器更新。

B. 全局裁剪阈值为 c、学习率为 η,就严格保证 AdamW(含动量、二阶预条件与权重衰减)每一步参数更新的 L2 范数不超过 ηc。

C. 若想对一个有效大 Batch 的累积梯度做全局范数裁剪,应在完成相应梯度累积后裁剪,而不是分别裁剪每个 Microbatch 再相加。

D. Loss Spike 一定是某一条训练样本本身错误;直接删除当步数据就能证明模型稳定。

E. 如果训练中每个 optimizer step 的有效 Token 数发生变化,按 step 设计的学习率曲线和按累计 Token 设计的曲线未必对应相同数据进度。

F. BF16 的指数范围通常大于 FP16,因而一般比 FP16 更不依赖 Loss Scaling;但它并不能自动防止所有数值异常。

提示:检查操作顺序:反缩放→累积后全局裁剪→优化器;再区分 SGD 的步长界与 AdamW 的实际更新,以及 step 与 token 两种计时单位。

Lv4|理论推导与实验设计(40 分|预计 15 分钟|开放)

研究/推导题(40 分)。设计一个用于 1B 级 Decoder-only 预训练的稳定性分析方案。

A(12 分):从 L-smooth 损失的下降引理出发,推导确定性全梯度下降在合适学习率下的单步下降条件;解释该结论为何不能直接保证随机 AdamW 训练没有 Loss Spike。

B(10 分):写出线性 Warmup + Cosine Decay 的分段公式,明确总步数 T、Warmup 步数 W、η_max、η_min;再写出全局 L2 梯度裁剪公式,说明它与权重衰减不同。

C(10 分):设计一个 Warmup 时长、峰值学习率、裁剪阈值的受控消融实验,说明如何发现 Loss Spike、区分数据异常与数值/优化不稳定,并避免只凭平滑训练曲线下结论。

D(8 分):给出 FP16 Loss Scaling 与梯度累积时安全的反向—反缩放—裁剪—更新顺序,并列出分布式训练应保存的诊断指标、复现元数据和至少一种恢复策略。

提示:A 代入 θ_new=θ−η∇f 并观察一阶负项与二阶正项;B 明确余弦的进度变量;C 记录未裁剪范数与每域 loss;D 关注 unscale、NaN/Inf 检查、有效 Token 数和 checkpoint。

九、下一课预告

第 26 课|2026 年 11 月 14 日|第 4 周第 5 课:Batch Size、梯度累积、数据并行与训练吞吐。

我们将把今天的优化稳定性放到多 GPU 环境,推导有效 Token Batch、梯度累积的正确加权、All-Reduce / ZeRO / FSDP 的内存—通信权衡,并分析 Gradient Noise Scale 与规模扩展时的学习率调整。第 28 课(2026 年 11 月 16 日)进行第四周复盘兼第一次阶段考核。