人工智能:理论、算法与系统 · 第 8 课

梯度下降为什么会下降?学习率、光滑性与曲率

2026 年 10 月 27 日|第 2 周第 1 课|约 17 分钟

本周学习深度学习优化、初始化、归一化与残差。上一周我们研究“训练目标与真实风险的区别”;这次先回答一个更基础的问题:即使只要求训练损失下降,为什么沿负梯度走得太远,损失反而会升高?

学完应能:(1)从方向导数解释梯度更新;(2)严格推出下降步长范围;(3)通过 Hessian 特征值预测振荡和发散;(4)分清非凸优化与随机梯度的保证边界。

一、负梯度是局部方向,不是任意步长的保证

令参数 (w\in\mathbb R^d),训练目标 (f(w)) 可微,梯度 (g=\nabla f(w))。沿单位方向 (d) 移动极小距离 (\varepsilon) 时:

[ f(w+\varepsilon d)=f(w)+\varepsilon g^\top d+o(\varepsilon). ]

若 (g\neq0),Cauchy–Schwarz 不等式给出 (g^\top d\ge-|g|),在 (d=-g/|g|) 时取等。所以负梯度是普通欧氏范数下的最速局部下降方向,而不是所有有限距离中下降最多的方向。它依赖了参数空间的度量;使用预条件或不同参数尺度时,“最速方向”也会改变。

梯度下降(Gradient Descent, GD):

[ \boxed{w_{t+1}=w_t-\eta\nabla f(w_t)},\qquad\eta>0. ]

(\eta) 是学习率。负梯度方向只保证足够小的正步长能局部下降。一旦走远,前面一阶近似里被略去的高阶误差就可能变大。一个形象的比喻是:你站在山坡上,面朝最陡下坡方向,但一步跨过山谷走到对坡更高的位置,是完全可能的。

二、L-smooth:限制梯度变化的速度

我们需要限制目标的曲率。假设梯度是 (L)-Lipschitz 连续的:

[ \boxed{|\nabla f(u)-\nabla f(v)|\le L|u-v|},\qquad L>0. ]

常称 (f) 为 (L)-smooth。这不是“损失函数有界”,也不是“损失一定凸”;它要求梯度变化不超过位移的 (L) 倍。如果二阶导数存在,(|\nabla^2 f(w)|_2\le L) 是一种常见的充分条件。

下面证明下降引理。令 (\Delta=v-w)。沿直线从 (w) 到 (v) 积分:

[ f(v)-f(w)=\int_0^1 \nabla f(w+t\Delta)^\top\Delta\,dt. ]

加减初始梯度项:

[ =\nabla f(w)^\top\Delta+ \int_0^1[\nabla f(w+t\Delta)-\nabla f(w)]^\top\Delta\,dt. ]

由 Cauchy–Schwarz 及 Lipschitz 假设,被积函数的第二项满足:

[ [\nabla f(w+t\Delta)-\nabla f(w)]^\top\Delta \le Lt|\Delta|^2. ]

所以积分上界为 (L|\Delta|^2\int_0^1t\,dt=L|\Delta|^2/2)。得到:

[ \boxed{f(v)\le f(w)+\nabla f(w)^\top(v-w)+\frac L2|v-w|^2.} ]

这个不等式说:从当前位置出发,函数至多比一阶线性近似高出一个受限二次项。它对符合条件的非凸函数也成立。

三、代入更新式:学习率究竟应该多小?

把 (v=w-\eta g) 代回下降引理,其中 (g=\nabla f(w)):

[ \begin{aligned} f(w-\eta g) &\le f(w)+g^\top(-\eta g)+\frac L2|-\eta g|^2
&= f(w)-\eta|g|^2+\frac{L\eta^2}{2}|g|^2
&=\boxed{f(w)-\eta(1-L\eta/2)|g|^2}. \end{aligned} ]

只要

[ \boxed{0<\eta<2/L}, ]

括号内就为正,因此 (g\ne0) 时可严格保证一次下降。如果 (g=0),更新不会移动。工程推导更喜欢采用容易处理的保守范围 (0<\eta\le1/L),因为此时 (1-L\eta/2\ge 1/2),得到

[ \boxed{f(w_{t+1})\le f(w_t)-\frac\eta2|\nabla f(w_t)|^2.} ]

注意四个限制:(1)使用精确的整体梯度;(2)没有额外的投影或非标准更新;(3)光滑性条件在有关区域成立;(4)这只是充分条件。当 (\eta>2/L),我们不能继续宣称统一下降保证,但并不意味着每个初始点都会立刻发散。

四、手算一个二维例子:振荡与发散不是一回事

考虑二次损失:

[ f(x,y)=x^2+4y^2=\tfrac12(2x^2+8y^2). ]

梯度为 (\nabla f=(2x,8y)),Hessian 为 (H=\operatorname{diag}(2,8)),所以 (L=8),强凸参数 (\mu=2),全局最优点是 ((0,0))。

梯度下降可分解为两个独立递推:

[ x_{t+1}=(1-2\eta)x_t,\qquad y_{t+1}=(1-8\eta)y_t. ]

以 ((x_0,y_0)=(1,1)) 为起点,(f_0=5)。

取学习率 (\eta=0.2):

[ (x_1,y_1)=(0.6,-0.6),\quad f_1=0.36+4(0.36)=1.8; ] [ (x_2,y_2)=(0.36,0.36),\quad f_2=0.1296+4(0.1296)=0.648. ]

(y) 的符号连续翻转,但绝对值递减,所以有振荡仍能收敛。

取学习率 (\eta=0.3):

[ (x_1,y_1)=(0.4,-1.4),\quad f_1=0.16+4(1.96)=8. ]

损失从 5 增加到了 8:高曲率坐标因子 (1-8(0.3)=-1.4),绝对值大于 1,后续将放大。该目标的保证范围是 (0<\eta<0.25)。

(\eta) (x) 更新乘数 (y) 更新乘数 行为
0.10 0.8 0.2 都平稳衰减
0.20 0.6 −0.6 (y) 振荡但幅度缩小
0.25 0.5 −1.0 (y) 等幅振荡,处于边界
0.30 0.4 −1.4 (y) 方向误差放大
flowchart LR
 A["起点 (1,1)<br/>f=5"] --> B{"学习率"}
 B -->|"0.2"| C["(0.6,-0.6)<br/>f=1.8"]
 C --> D["(0.36,0.36)<br/>f=0.648"]
 B -->|"0.3"| E["(0.4,-1.4)<br/>f=8"]
 E --> F["高曲率方向放大"]

这个例子告诉我们:允许的最大学习率主要受最大曲率控制,不是平均曲率或参数个数直接决定。

五、Hessian 特征值解释“为什么有的方向特别慢”

一般正定二次目标:

[ f(w)=\frac12w^\top Hw,\qquad H=H^\top\succ0. ]

设 (H=Q\Lambda Q^\top),特征值 (0<\mu=\lambda_{\min}\le\lambda_i\le L=\lambda_{\max})。梯度下降变成

[ w_{t+1}=(I-\eta H)w_t. ]

引入特征坐标 (z_t=Q^\top w_t),于是各个方向彼此独立:

[ \boxed{z_{i,t+1}=(1-\eta\lambda_i)z_{i,t}.} ]

只有当每个因子的绝对值都小于 1 时,参数误差才会在全部方向上几何衰减。最坏方向收缩率:

[ q(\eta)=\max_i|1-\eta\lambda_i|. ]

令端点 (\mu) 和 (L) 处的收缩因子绝对值相等,可得最优固定步长

[ \eta^=\frac{2}{L+\mu},\qquad q(\eta^)=\frac{L-\mu}{L+\mu}=\frac{\kappa-1}{\kappa+1}, \quad\kappa=\frac L\mu. ]

当条件数 (\kappa) 很大,(q) 接近 1。为适应非常陡峭的方向,我们不得不选择较小步长,导致平坦方向走得很慢。这为后续动量、预条件和自适应优化提供直观动机。这条最佳步长结论针对正定二次模型的最坏特征方向,不能直接当作任意深度网络的最佳学习率公式。

六、非凸网络能保证到哪里?不是全局最优

真实深度网络损失通常非凸。假设 (f) 是 (L)-smooth 且下有界 (f_{\inf}>-\infty),选择固定 (0<\eta\le1/L)。由第三节:

[ \frac\eta2|\nabla f(w_t)|^2\le f(w_t)-f(w_{t+1}). ]

从第 0 次加到第 (T-1) 次,右边望远镜消去:

[ \frac\eta2\sum_{t=0}^{T-1}|\nabla f(w_t)|^2 \le f(w_0)-f(w_T) \le f(w_0)-f_{\inf}. ]

最小值不大于平均值,得到

[ \boxed{\min_{0\le t<T}|\nabla f(w_t)|^2 \le\frac{2[f(w_0)-f_{\inf}]}{\eta T}.} ]

这是梯度范数平方的 (O(1/T)) 界;若要求梯度范数不超过 (\varepsilon),迭代量级一般是 (O(1/\varepsilon^2)),其他常数固定时成立。

但“梯度小”与“找到全局最优”不是同义词:令

[ f(w)=1-\cos w,\qquad f’(w)=\sin w. ]

起点 (w_0=\pi) 处梯度为零,GD 原地不动,却不是全局最优点:(f(\pi)=2),而 (f(0)=0)。这个反例的二阶导数 (f’‘(w)=\cos w) 在全空间绝对值不超过 1,因而它本身也满足全局 (L=1) 的光滑性假设;(w=\pi) 是局部极大点。它说明一阶驻点条件不足以排除极大点、鞍点或次优局部极小点。

七、为什么 mini-batch 训练损失可以一会儿升、一会儿降?

以上证明用的是精确全批量梯度。如果改用随机梯度 (\widetilde g),设它在给定当前 (w) 时无偏:

[ \mathbb E[\widetilde g\mid w]=g=\nabla f(w) ]

并有方差界

[ \mathbb E[|\widetilde g-g|^2\mid w]\le\sigma^2/B, ]

其中 (B) 是 batch size。对下降引理取条件期望:

[ \boxed{ \mathbb E[f(w-\eta\widetilde g)\mid w] \le f(w)-\eta(1-L\eta/2)|g|^2 +\frac{L\eta^2\sigma^2}{2B}. } ]

与精确梯度相比,多了噪声代价。即使学习率小于 (2/L),随机更新也不保证每一步的真实目标下降。越接近驻点,真实梯度越小,噪声项就可能越显著。该方差随 (1/B) 缩小的模型还依赖于适当的独立抽样与方差条件。

更重要的是,日志里的“当前 batch 损失”与固定训练集的“完整目标”不同。后一轮抽到更难的 batch,损失记录上升,并不等于模型参数变差了。比较实验应使用固定探针数据衡量每一步变化,同时保存各 batch 的原始记录。

八、如何诊断学习率而不是凭经验猜?

比较不同学习率时,先固定目标函数、初始化、样本、数值精度和计时口径。用全批量梯度排除抽样噪声,再用不同 batch size 引入噪声。一个简化实验:

for lr in [0.05, 0.10, 0.20, 0.30]:
    w = same_initial_weights()
    for step in range(T):
        g = full_batch_gradient(w)
        record(lr, step, objective(w),
               norm(g), norm(lr * g))
        w = w - lr * g
# 再运行 mini_batch_gradient 的对照,
# 每个配置重复随机种子,并保持样本/精度一致。

至少记录:同一固定数据上的损失、梯度范数、更新范数、是否出现 NaN、不同随机种子之间的方差;有能力时再估计 Hessian 的大特征值。这样才能区分“步长越过曲率阈值”“梯度数值溢出”“随机抽样噪声过大”等不同问题。

三个易错反例:(1)负梯度是局部下降方向,不代表任意大步长安全;(2)(L)-smooth 不等于凸,GD 单调下降不保证全局最优;(3)精确 GD 的逐步下降定理不能不说明假设就套用到 SGD、Adam 或带动量优化。

本课总结与下一讲

一句话:梯度给方向,光滑性给步长保证,Hessian 谱解释振荡与病态,非凸性和随机性决定保证的边界。

第 9 课(2026 年 10 月 28 日)预告:全批量、随机梯度与小批量训练。我们将推导梯度估计的方差、batch size 与更新次数的关系,并讨论 SGD 中哪些“噪声的好处”只是经验现象,哪些具有明确的理论前提。


四级递进自测(100分)

四题分别考查概念边界、梯度计算、Hessian谱推理和综合证明设计。前三题可客观判分;第四题需自评或人工/ChatGPT批改。首次授课不提供正确答案,只有不泄题提示。

Lv1|机制与损失理解

15分|预计2分钟|单选

设 f 可微且梯度为 L-Lipschitz(L>0),使用精确全批量梯度下降 w_{t+1}=w_t−η∇f(w_t),不含额外约束。以下哪项陈述最准确?

A. 当 0<η<2/L 时,每步目标值不会增加,但若 f 非凸,不能由此保证到达全局最优解。

B. 只要方向取负梯度,任意大的正学习率都保证下降。

C. 只要训练目标每步下降,独立测试风险也一定每步下降。

D. 只要 f 非凸,任何正学习率都不可能保证单步下降。

可选提示:分清方向导数、有限步长、目标值下降与全局最优这四个概念。

Lv2|梯度与参数数值计算

20分|预计4分钟|数值题

一维线性模型预测为 ŷ=3w,单个训练样本的真实标签 y=6,平方损失 f(w)=1/2(3w−6)²。以 w₀=0 为起点,使用学习率 η=0.1 做一次精确梯度下降。求更新后的 w₁(填写数值)。

可选提示:先用链式法则计算 df/dw=(3w−6)×3,再代入更新式;注意这是参数 w 而非预测 ŷ。

Lv3|曲率和收敛边界推理

25分|预计6分钟|多选

考虑二次函数 f(x,y)=1/2(2x²+10y²),使用精确梯度下降,记 μ=2、L=10。以下哪些判断正确?(多选)

A. 当 η=0.1 时,高曲率的 y 坐标在一次更新后变为 0。

B. 当 η=0.21 时,函数值对任意初值都保证每步不增加。

C. 在该二次模型中,使最坏坐标误差收缩因子 max{ 1−2η , 1−10η } 最小的固定步长是 η=2/(μ+L)。

D. 当 η=0.2 时,两个坐标在每一步都严格向 0 收缩。

E. 把精确梯度替换为无偏小批量随机梯度后,只要 η<2/L,训练目标仍保证逐步单调下降。

可选提示:分别计算两个特征方向的乘数 1−ηλ;随机梯度还包含噪声。

Lv4|完整公式证明及实验方案

40分|预计15分钟|开放题

综合推导与实验设计。A(10分):从梯度 L-Lipschitz 出发,用积分形式推导下降引理,并代入梯度更新,给出严格下降的步长条件。B(12分):若 f 下有界且 η≤1/L,证明 T 次迭代的 min_{0≤t<T}   ∇f(w_t)   ² 的 O(1/T) 上界,并说明它为什么不代表非凸问题达到全局最优。C(8分):对 H=diag(2,8) 的二次目标,分别判断 η=0.2、η=0.3 在两个特征方向的更新因子及稳定性。D(10分):设计一个对照实验,区分学习率过大、曲率差异与小批量梯度噪声的影响,说明应记录哪些指标、固定哪些变量、如何判定假设。

可选提示:A 使用沿直线段的微积分基本定理;B 将单步下降不等式从 t=0 加到 T−1;C 对每个特征方向分别写递推;D 分开精确全批量与随机小批量。

作答方式: 回复“1. 选项;2. 数值;3. 选项集合;4. 推导与实验方案”。批改时逐题解释、给总分100;80分以上继续,60–79分补练,低于60分复习再练;不修改自然日课号。