人工智能:理论、算法与系统 · 第 10 课
Momentum、Nesterov 与 Adam:梯度为什么需要记忆?
2026 年 10 月 29 日|第 2 周第 3 课|约 18 分钟
上一课我们得到小批量梯度的条件方差 $\mathbb E|G_B-\nabla F|^2=\sigma^2/B$(需独立有放回抽样等假设),并看到 SGD 的目标值不必逐步下降。今天进一步问:既然梯度带噪声、不同参数方向的曲率又差很多,只盯着当前梯度是否浪费了历史信息?
本课目标是能够:推导 Heavy-ball Momentum 的递推和稳定性直觉;区别 Momentum 与 Nesterov;从零初始化推导 Adam 的偏差修正;区分 Adam+L2 和 AdamW;理解它们的内存成本与可验证的实验结论。
一、为什么普通 GD 在狭长谷地里走得慢?
考虑正定二次目标:
\[F(x,y)=\frac12(2x^2+100y^2),\quad \nabla F=(2x,100y).\]这里 Hessian 特征值为 $2$ 和 $100$,条件数 $\kappa=100/2=50$。普通梯度下降为:
\[x_{t+1}=(1-2\eta)x_t,\qquad y_{t+1}=(1-100\eta)y_t.\]为了保证两个方向误差都收缩,固定步长需要 $0<\eta<2/100=0.02$。例如取 $\eta=0.01$,则 $x$ 方向每次只缩小为原来的 $0.98$,而 $y$ 方向一次就到零。陡峭方向约束了学习率,平坦方向于是进展缓慢。 若加入 SGD 噪声,还可能在陡峭方向反复摆动。
这提示我们保留上一轮甚至更久的“运动趋势”,同时利用当下梯度修正方向。
二、Heavy-ball Momentum:累积历史梯度
一种常见写法是:
\[\boxed{u_{t+1}=\mu u_t+g_t},\qquad \boxed{w_{t+1}=w_t-\eta u_{t+1}},\]其中 $g_t$ 为当前完整梯度或随机梯度,$0\le\mu<1$,$u_0=0$。这叫 Heavy-ball Momentum(经典动量)。注意这里的 $u$ 是梯度累积量;有些资料会把更新位移 $-\eta u$ 称作 velocity。
递推展开:
\[u_{t+1}=g_t+\mu g_{t-1}+\mu^2g_{t-2}+\cdots+\mu^tg_0.\]因此,当前更新不是只使用 $g_t$,而是历史梯度的指数加权和。例如 $\mu=0.9$ 时,上一步梯度权重 $0.9$,两步前 $0.81$。持续指向同一方向的梯度会被强化;频繁变号的梯度可以互相抵消(但并不能保证永远抑制震荡)。
另一种常见约定是使用指数移动平均:
\[v_{t+1}=\mu v_t+(1-\mu)g_t,\qquad w_{t+1}=w_t-\widetilde\eta v_{t+1}.\]两种写法的变量尺度不同;若初始状态一致并恰当缩放学习率,轨迹可以对应。比较实现时必须先核对是否含 $1-\mu$,否则同名 learning rate 并不一定可比。
三、动量的数学机制:为什么会加速,也可能振荡?
考虑一维二次函数:
\[F(x)=\frac{\lambda}{2}x^2,\qquad \lambda>0,\quad g_t=\lambda x_t.\]采用 Heavy-ball:
\[u_{t+1}=\mu u_t+\lambda x_t,\qquad x_{t+1}=x_t-\eta u_{t+1}.\]由于上一步有 $x_t=x_{t-1}-\eta u_t$,即 $u_t=(x_{t-1}-x_t)/\eta$,代入得到:
\[\boxed{x_{t+1}=(1+\mu-\eta\lambda)x_t-\mu x_{t-1}.}\]尝试解 $x_t=r^t$,得到特征方程:
\[\boxed{r^2-(1+\mu-\eta\lambda)r+\mu=0.}\]当两个特征根的绝对值都小于 1 时,误差向零收缩。相比之下,普通 GD 的特征因子只有 $r=1-\eta\lambda$。动量相当于给更新引入了一个二阶动态系统。
对于 $0\le\mu<1$ 的一维正定二次问题,Heavy-ball 的严格稳定范围可以写为:
\[\boxed{0<\eta\lambda<2(1+\mu).}\]这可以由二阶特征多项式的单位圆稳定条件得到。它是此处确定性二次模型的条件,不是所有非凸神经网络的通用安全步长。
一个具体例子:取 $\eta=0.2,\ \mu=0.9$,讨论同一目标的两个特征方向。
在平坦方向 $\lambda=0.2$,普通 GD 的收缩因子是 $1-0.2\times0.2=0.96$;动量特征方程的两根为共轭复数,模长为 $\sqrt{0.9}\approx0.949$。这一方向上,动量的渐近误差因子更小。
但对陡峭方向 $\lambda=8$,普通 GD 因子为 $-0.6$(模长 $0.6$),动量两根仍可能具有模长约 $0.949$:同一组参数的动量并非在每个方向都更快。这也是为什么动量系数、步长通常需要联合调参。
随机梯度下,历史噪声也会进入 $u_t$。当噪声独立、零均值且方差固定时,平稳的未归一化动量缓存噪声方差相对单步噪声可积累为约 $1/(1-\mu^2)$ 倍。因此不能简单宣称动量总能降低更新噪声;它改变了信号、噪声和步长的共同作用。
四、Nesterov:在预计会走到的位置看梯度
Heavy-ball 在当前位置 $w_t$ 计算 $g_t$,然后加上历史动量。如果历史动量很强,我们是否应先看一眼预计要走到哪里,再计算用于修正的梯度?
一种经典的 Nesterov lookahead 记法是:
\(\widetilde w_t=w_t-\eta\mu u_t,\) \(\boxed{u_{t+1}=\mu u_t+\nabla F(\widetilde w_t)},\qquad \boxed{w_{t+1}=w_t-\eta u_{t+1}}.\)
差别在于梯度计算位置:Heavy-ball 用 $\nabla F(w_t)$;上述 Nesterov 形式用 $\nabla F(w_t-\eta\mu u_t)$。这不是简单地“把当前梯度乘大一点”。
flowchart LR
A["当前参数 w_t"] --> B["历史缓存 u_t"]
B --> C["预测位置 w_t - ημu_t"]
C --> D["在预测位置计算梯度"]
D --> E["更新缓存 u_(t+1)"]
E --> F["更新 w_(t+1)"]
A -. "Heavy-ball 在这里计算梯度" .-> G["当前梯度"]
G -.-> E
不要混淆算法家族与某一行代码。 深度学习框架里的 Nesterov SGD 常使用经过代数重排的更新形式;Nesterov 加速梯度法(NAG/AGD)也有不同的凸优化符号约定。经典凸光滑优化里,特定参数序列的 Nesterov 方法可达到 $O(1/t^2)$ 的函数值差界,而普通凸 GD 的典型界是 $O(1/t)$;不能将此结论不加条件地搬到一般非凸、带噪声的网络训练。
五、Adam:同时记住梯度方向与梯度平方
Momentum 只累积一阶梯度。Adam(Adaptive Moment Estimation)在每个参数坐标上同时维护:
\(\boxed{m_t=\beta_1m_{t-1}+(1-\beta_1)g_t},\) \(\boxed{v_t=\beta_2v_{t-1}+(1-\beta_2)g_t^2},\)
其中 $g_t^2$ 表示逐元素平方;初值为 $m_0=v_0=0$。$m_t$ 类似方向的指数移动平均;$v_t$ 是未中心化的梯度二阶矩,不是 $\mathbb E[(g-\mathbb Eg)^2]$ 那种方差。
于是更新可以理解为:
\[\text{参数更新}\ \approx\ -\eta\frac{\text{平均梯度}}{\sqrt{\text{平均梯度平方}}+\epsilon}.\]若某坐标长期梯度幅度很大,其分母通常也大;若某坐标梯度幅度较小,其分母相对较小。这个逐坐标缩放使 Adam 对某些梯度尺度差异不敏感,但它不是直接计算 Hessian 的逆,也不能保证找到了最优预条件矩阵。
六、为什么 Adam 要做 bias correction?
因为 $m_0=v_0=0$,早期指数平均会偏向零。
把一阶矩展开:
\[m_t=(1-\beta_1)\sum_{k=1}^t\beta_1^{\,t-k}g_k.\]如果在这个推导中假设每一步的梯度具有相同均值 $\mathbb E[g_k]=\bar g$,则:
\[\begin{aligned} \mathbb E[m_t] &=(1-\beta_1)\bar g\sum_{j=0}^{t-1}\beta_1^j\\ &=(1-\beta_1^t)\bar g. \end{aligned}\]因此定义:
\[\boxed{\widehat m_t=\frac{m_t}{1-\beta_1^t}},\qquad \boxed{\widehat v_t=\frac{v_t}{1-\beta_2^t}}.\]同理,如果每步梯度平方的期望相同,这个修正消除 $v_t$ 因零初始化造成的权重和偏差。
最后按坐标更新:
\[\boxed{ w_{t+1}=w_t-\eta\frac{\widehat m_t}{\sqrt{\widehat v_t}+\epsilon}. }\]三个细节不能漏: 第一,实际训练梯度分布通常随 $w_t$ 变化,修正后的 $\widehat m_t$ 仍是历史梯度的加权平均,不能声称总是“当前梯度的无偏估计”。第二,$\widehat v_t$ 估计的是平方梯度均值而非中心化方差。第三,$\widehat m_t/\sqrt{\widehat v_t}$ 这一随机比值本身也没有普遍的无偏性。
手算一个第 1 步更新
设 $g_1=3$、$m_0=v_0=0$,$\beta_1=0.9,\beta_2=0.99$。
则:
\[m_1=0.1\times3=0.3,\quad v_1=0.01\times9=0.09.\]修正后:
\[\widehat m_1=\frac{0.3}{0.1}=3,\qquad \widehat v_1=\frac{0.09}{0.01}=9.\]若 $\epsilon=0$ 且学习率 $\eta=0.01$,第一步在这个坐标上的更新幅度为:
\[0.01\times\frac{3}{\sqrt9}=0.01.\]这里的数值展示了偏差修正在训练最初一步的作用,而非证明 Adam 的每步更新一定等于学习率。特别地,如果初始梯度为负数,更新方向也会变化。
七、AdamW:为什么 L2 正则不等同于 weight decay?
对于普通 SGD(无动量、没有其他预条件或复杂变换),若把正则项
\[\frac\lambda2\|w\|^2\]加到损失上,则数据梯度变为 $g+\lambda w$,更新:
\[w^+=w-\eta(g+\lambda w) =(1-\eta\lambda)w-\eta g.\]看起来恰好等于在参数更新中直接缩小参数 $w$。
但 Adam 会对梯度进行历史矩估计与逐坐标自适应缩放:如果改用 $g_t’=g_t+\lambda w_t$,正则项会进入 $m_t$ 和 $v_t$;这一般不等价于直接把参数缩小。
AdamW 的解耦权重衰减使用仅由数据梯度计算的矩状态,并进行:
\[\boxed{ w_{t+1} = (1-\eta\lambda)w_t- \eta\frac{\widehat m_t}{\sqrt{\widehat v_t}+\epsilon}. }\]这里给出了常见的无额外调度项的形式。是否对所有参数衰减、是否对 bias/norm 参数设例外,属于实践中的配置选择。AdamW 也不保证测试风险随 $\lambda$ 增大而单调下降。
八、系统视角:Adam 为什么会更占显存?
如果模型参数量为 $P$,并把每个优化器状态保存为 FP32,则:
| 优化器 | 额外逐参数状态 | 优化器状态占用(不含参数/梯度) |
|---|---|---|
| 普通 SGD | 无 | 约 0 |
| Heavy-ball / SGD Momentum | 一份 $u$ | 约 $4P$ 字节 |
| Adam / AdamW | 一份 $m$,一份 $v$ | 约 $8P$ 字节 |
例如 $P=10^9$,Adam 的两组 FP32 矩缓存就约为 $8\times10^9$ 字节(十进制约 8 GB),还没有计入模型权重、梯度、混合精度 master weights、激活、通信缓存等。混合精度并不自动意味着优化器状态都按 BF16 存储。
优化器通常还需要读取、修改、写回其状态张量,因而涉及显存带宽与 kernel launch 开销。实际系统可通过融合优化器 kernel、切分/卸载状态、低精度状态等方法减少瓶颈,但会带来通信、精度或实现复杂度权衡;不能只根据状态字节数推断整体训练速度。
九、如何公平地评估四种优化器?
一个基本方案是选择病态正定二次目标和一个小型非凸网络,并分别做多种随机种子实验:
for method in ["GD", "Momentum", "Nesterov", "Adam", "AdamW"]:
for seed in seeds:
reset_model_to_same_initial_weights(seed)
reset_optimizer_state(method)
for step in range(max_steps):
loss = train_step(method)
log(step, loss, gradient_norm(), update_norm())
evaluate_on_fixed_validation_set()
比较时分别报告等更新步数、等处理样本数与等墙钟时间三套结果;不同优化器应允许在相同调参预算内搜索学习率和相应超参数。二次函数还可以直接跟踪各 Hessian 特征方向的误差;非凸网络应记录训练/验证损失、峰值显存、吞吐与 NaN/发散频次。若使用 stochastic gradient,确保 batch size 和样本顺序对照明确。
不能由单次固定学习率实验就断言:“Adam 永远优于 SGD”或“Nesterov 总快于 Heavy-ball”。这些是需要实验检验的经验问题,不是本课经典公式自动导出的普遍结论。
十、易错反例与知识边界
错误一:“动量一定降低噪声。” 未归一化动量累积噪声可能提高缓存方差;它主要改变各频率方向的响应与惯性。
错误二:“Nesterov 就是无条件更快的 Momentum。” 某些凸优化理论中的加速界依赖特定算法形式与假设,不能直接移植到带噪声的非凸训练。
错误三:“Adam 的 v 是梯度方差。” 它是平方梯度的指数移动平均,没有减去均值平方。
错误四:“Adam 的 bias correction 使更新方向完全无偏。” 修正的是零初始化下的几何权重和;非平稳训练和比值非线性仍然存在。
错误五:“AdamW 就是把 L2 项加进 Adam loss。” 解耦 weight decay 不进入矩估计,路径通常不同。
经典理论与新研究的界线: Heavy-ball、Nesterov 加速法、Adam 和 AdamW 是已经建立的优化方法;本课的线性代数分析与有条件的收敛结果属于经典内容。现代大模型训练中的学习率调度、低精度优化器状态、分布式状态切分以及各种 Adam 变体仍是持续演进的系统与研究问题,本课不将某项工程经验说成普适定理。
十一、本课四级测评(100 分)
首次授课仅提供题目和提示,不公开标准答案。提交后按 15/20/25/40 分逐题解析;80 分及以上继续,60–79 分针对性补练,低于 60 分复习再练。
Lv1|15 分|考点:动量与自适应优化的机制边界|预计 2 分钟|单选
考虑随机梯度、动量和 Adam。下列哪一项最准确地区分它们的机制与理论保证?
A. 动量把过去梯度进行加权累计,可能抑制某些方向的震荡,但不能保证任何非凸目标都收敛到全局最优。
B. Adam 的二阶矩变量 v_t 就是当前梯度的无偏方差估计,所以不需要偏差修正。
C. Nesterov 的 lookahead 要求先永久更新模型参数,再用新参数的梯度更新旧参数,因此每步必须训练两遍。
D. 只要采用 AdamW,增大 weight decay 系数就一定同时降低训练误差与测试误差。
提示:检查二阶矩与方差的区别;不要把一种优化启发式理解为全局最优保证。
Lv2|20 分|考点:Adam 两步偏差修正与参数前向计算|预计 4 分钟|数值题
对一维 Adam(不含 weight decay),初始 w_0=1、m_0=v_0=0,学习率 η=0.1,β₁=β₂=0.5,ε=0。连续两步观测梯度 g₁=2、g₂=4。按 m_t=β₁m_{t-1}+(1-β₁)g_t,v_t=β₂v_{t-1}+(1-β₂)g_t²,m̂t=m_t/(1-β₁^t),v̂_t=v_t/(1-β₂^t),w_t=w{t-1}-ηm̂_t/√v̂_t,计算 w₂(保留至少 5 位小数)。
提示:先算每个时间步的 m、v,再分别除以 1-β^t;不要只对第二步做偏差修正。
Lv3|25 分|考点:优化器状态复杂度、尺度变换与收敛边界|预计 6 分钟|多选
考虑维度为 P 的模型、逐坐标 Adam 与 Heavy-ball Momentum。对以下陈述选择所有正确项(不考虑其他额外状态,且假定步长与衰减系数满足各选项所述条件)。
A. 若每个参数使用 FP32 动量缓存,Heavy-ball Momentum 需要约 4P 字节的动量状态;若 Adam 的 m、v 都用 FP32,各需要约 4P 字节,总计约 8P 字节的优化器矩状态。
B. 对任意不同时间步的梯度序列,只把其中某一步梯度放大 10 倍,Adam 的该步参数更新在 ε=0 时也严格不变。
C. 在 β₁、β₂ 与初始状态固定、ε=0 且所有历史梯度都乘以同一正数 c 时,Adam 的 m̂/√v̂ 比例保持不变(分母非零时)。
D. 对 Adam 而言,把 L2 正则项加进 loss 所产生的梯度,与 AdamW 解耦 weight decay 的参数轨迹对任意梯度历史都严格相同。
E. 即使对光滑二次目标,固定动量系数与学习率选择不当,也可能导致 Heavy-ball 的特征方向不收敛。
提示:分别考虑优化器状态内存、整体正比例缩放与仅修改某一步的区别,以及解耦权重衰减是否进入动量缓存。
Lv4|40 分|考点:动量稳定性推导、偏差修正与实验设计|预计 15 分钟|开放题
研究与推导题(40 分):A(15 分)对一维二次目标 f(x)=λx²/2(λ>0)考虑 Heavy-ball:u_{t+1}=μu_t+λx_t,x_{t+1}=x_t-ηu_{t+1}。消去 u 写出 x 的二阶递推、特征多项式,并说明怎样利用根的模判断局部/全局线性收敛;讨论它与普通 GD 的差别。B(10 分)从零初始化的 Adam 一阶矩 m_t=β₁m_{t-1}+(1-β₁)g_t 展开加权求和,假设各步 E[g_t]=ḡ,推导偏差修正 m̂_t,并解释当梯度的均值随迭代变化时为什么不能简单称它是“当前梯度的无偏估计”。C(8 分)写出 AdamW 的解耦权重衰减更新,并解释其为何通常不同于把 λ‖w‖²/2 加入 Adam 的 loss。D(7 分)设计一个可复现实验,在同一病态二次函数和一个小型非凸网络上比较 GD、Momentum、Nesterov、Adam/AdamW,给出控制变量、记录指标和判断标准。
提示:A 用 x_t=x_{t-1}-ηu_t 消去速度变量;B 把几何加权求和展开;C 区分梯度项和直接对参数的缩放;D 避免把墙钟时间与更新次数混为一谈。
十二、下一课预告
第 11 课|2026 年 10 月 30 日:初始化、梯度传播与信号方差——为什么深层网络难训练?
我们将从线性层前向方差与反向梯度方差的传播出发,推导 Xavier/He 初始化的适用假设,解释激活函数、网络深度与残差结构如何影响训练稳定性,并用小型数值例子检查“方差不爆炸”是否等同于“梯度不消失”。