人工智能:理论、算法与系统 · 第 8 课
梯度下降为什么会下降?学习率、光滑性与曲率
2026 年 10 月 27 日|第 2 周第 1 课|约 17 分钟
本周学习深度学习优化、初始化、归一化与残差。上一周我们研究“训练目标与真实风险的区别”;这次先回答一个更基础的问题:即使只要求训练损失下降,为什么沿负梯度走得太远,损失反而会升高?
学完应能:(1)从方向导数解释梯度更新;(2)严格推出下降步长范围;(3)通过 Hessian 特征值预测振荡和发散;(4)分清非凸优化与随机梯度的保证边界。
一、负梯度是局部方向,不是任意步长的保证
令参数 (w\in\mathbb R^d),训练目标 (f(w)) 可微,梯度 (g=\nabla f(w))。沿单位方向 (d) 移动极小距离 (\varepsilon) 时:
[ f(w+\varepsilon d)=f(w)+\varepsilon g^\top d+o(\varepsilon). ]
若 (g\neq0),Cauchy–Schwarz 不等式给出 (g^\top d\ge-|g|),在 (d=-g/|g|) 时取等。所以负梯度是普通欧氏范数下的最速局部下降方向,而不是所有有限距离中下降最多的方向。它依赖了参数空间的度量;使用预条件或不同参数尺度时,“最速方向”也会改变。
梯度下降(Gradient Descent, GD):
[ \boxed{w_{t+1}=w_t-\eta\nabla f(w_t)},\qquad\eta>0. ]
(\eta) 是学习率。负梯度方向只保证足够小的正步长能局部下降。一旦走远,前面一阶近似里被略去的高阶误差就可能变大。一个形象的比喻是:你站在山坡上,面朝最陡下坡方向,但一步跨过山谷走到对坡更高的位置,是完全可能的。
二、L-smooth:限制梯度变化的速度
我们需要限制目标的曲率。假设梯度是 (L)-Lipschitz 连续的:
[ \boxed{|\nabla f(u)-\nabla f(v)|\le L|u-v|},\qquad L>0. ]
常称 (f) 为 (L)-smooth。这不是“损失函数有界”,也不是“损失一定凸”;它要求梯度变化不超过位移的 (L) 倍。如果二阶导数存在,(|\nabla^2 f(w)|_2\le L) 是一种常见的充分条件。
下面证明下降引理。令 (\Delta=v-w)。沿直线从 (w) 到 (v) 积分:
[ f(v)-f(w)=\int_0^1 \nabla f(w+t\Delta)^\top\Delta\,dt. ]
加减初始梯度项:
[ =\nabla f(w)^\top\Delta+ \int_0^1[\nabla f(w+t\Delta)-\nabla f(w)]^\top\Delta\,dt. ]
由 Cauchy–Schwarz 及 Lipschitz 假设,被积函数的第二项满足:
[ [\nabla f(w+t\Delta)-\nabla f(w)]^\top\Delta \le Lt|\Delta|^2. ]
所以积分上界为 (L|\Delta|^2\int_0^1t\,dt=L|\Delta|^2/2)。得到:
[ \boxed{f(v)\le f(w)+\nabla f(w)^\top(v-w)+\frac L2|v-w|^2.} ]
这个不等式说:从当前位置出发,函数至多比一阶线性近似高出一个受限二次项。它对符合条件的非凸函数也成立。
三、代入更新式:学习率究竟应该多小?
把 (v=w-\eta g) 代回下降引理,其中 (g=\nabla f(w)):
[
\begin{aligned}
f(w-\eta g)
&\le f(w)+g^\top(-\eta g)+\frac L2|-\eta g|^2
&= f(w)-\eta|g|^2+\frac{L\eta^2}{2}|g|^2
&=\boxed{f(w)-\eta(1-L\eta/2)|g|^2}.
\end{aligned}
]
只要
[ \boxed{0<\eta<2/L}, ]
括号内就为正,因此 (g\ne0) 时可严格保证一次下降。如果 (g=0),更新不会移动。工程推导更喜欢采用容易处理的保守范围 (0<\eta\le1/L),因为此时 (1-L\eta/2\ge 1/2),得到
[ \boxed{f(w_{t+1})\le f(w_t)-\frac\eta2|\nabla f(w_t)|^2.} ]
注意四个限制:(1)使用精确的整体梯度;(2)没有额外的投影或非标准更新;(3)光滑性条件在有关区域成立;(4)这只是充分条件。当 (\eta>2/L),我们不能继续宣称统一下降保证,但并不意味着每个初始点都会立刻发散。
四、手算一个二维例子:振荡与发散不是一回事
考虑二次损失:
[ f(x,y)=x^2+4y^2=\tfrac12(2x^2+8y^2). ]
梯度为 (\nabla f=(2x,8y)),Hessian 为 (H=\operatorname{diag}(2,8)),所以 (L=8),强凸参数 (\mu=2),全局最优点是 ((0,0))。
梯度下降可分解为两个独立递推:
[ x_{t+1}=(1-2\eta)x_t,\qquad y_{t+1}=(1-8\eta)y_t. ]
以 ((x_0,y_0)=(1,1)) 为起点,(f_0=5)。
取学习率 (\eta=0.2):
[ (x_1,y_1)=(0.6,-0.6),\quad f_1=0.36+4(0.36)=1.8; ] [ (x_2,y_2)=(0.36,0.36),\quad f_2=0.1296+4(0.1296)=0.648. ]
(y) 的符号连续翻转,但绝对值递减,所以有振荡仍能收敛。
取学习率 (\eta=0.3):
[ (x_1,y_1)=(0.4,-1.4),\quad f_1=0.16+4(1.96)=8. ]
损失从 5 增加到了 8:高曲率坐标因子 (1-8(0.3)=-1.4),绝对值大于 1,后续将放大。该目标的保证范围是 (0<\eta<0.25)。
| (\eta) | (x) 更新乘数 | (y) 更新乘数 | 行为 |
|---|---|---|---|
| 0.10 | 0.8 | 0.2 | 都平稳衰减 |
| 0.20 | 0.6 | −0.6 | (y) 振荡但幅度缩小 |
| 0.25 | 0.5 | −1.0 | (y) 等幅振荡,处于边界 |
| 0.30 | 0.4 | −1.4 | (y) 方向误差放大 |
flowchart LR
A["起点 (1,1)<br/>f=5"] --> B{"学习率"}
B -->|"0.2"| C["(0.6,-0.6)<br/>f=1.8"]
C --> D["(0.36,0.36)<br/>f=0.648"]
B -->|"0.3"| E["(0.4,-1.4)<br/>f=8"]
E --> F["高曲率方向放大"]
这个例子告诉我们:允许的最大学习率主要受最大曲率控制,不是平均曲率或参数个数直接决定。
五、Hessian 特征值解释“为什么有的方向特别慢”
一般正定二次目标:
[ f(w)=\frac12w^\top Hw,\qquad H=H^\top\succ0. ]
设 (H=Q\Lambda Q^\top),特征值 (0<\mu=\lambda_{\min}\le\lambda_i\le L=\lambda_{\max})。梯度下降变成
[ w_{t+1}=(I-\eta H)w_t. ]
引入特征坐标 (z_t=Q^\top w_t),于是各个方向彼此独立:
[ \boxed{z_{i,t+1}=(1-\eta\lambda_i)z_{i,t}.} ]
只有当每个因子的绝对值都小于 1 时,参数误差才会在全部方向上几何衰减。最坏方向收缩率:
[ q(\eta)=\max_i|1-\eta\lambda_i|. ]
令端点 (\mu) 和 (L) 处的收缩因子绝对值相等,可得最优固定步长
[ \eta^=\frac{2}{L+\mu},\qquad q(\eta^)=\frac{L-\mu}{L+\mu}=\frac{\kappa-1}{\kappa+1}, \quad\kappa=\frac L\mu. ]
当条件数 (\kappa) 很大,(q) 接近 1。为适应非常陡峭的方向,我们不得不选择较小步长,导致平坦方向走得很慢。这为后续动量、预条件和自适应优化提供直观动机。这条最佳步长结论针对正定二次模型的最坏特征方向,不能直接当作任意深度网络的最佳学习率公式。
六、非凸网络能保证到哪里?不是全局最优
真实深度网络损失通常非凸。假设 (f) 是 (L)-smooth 且下有界 (f_{\inf}>-\infty),选择固定 (0<\eta\le1/L)。由第三节:
[ \frac\eta2|\nabla f(w_t)|^2\le f(w_t)-f(w_{t+1}). ]
从第 0 次加到第 (T-1) 次,右边望远镜消去:
[ \frac\eta2\sum_{t=0}^{T-1}|\nabla f(w_t)|^2 \le f(w_0)-f(w_T) \le f(w_0)-f_{\inf}. ]
最小值不大于平均值,得到
[ \boxed{\min_{0\le t<T}|\nabla f(w_t)|^2 \le\frac{2[f(w_0)-f_{\inf}]}{\eta T}.} ]
这是梯度范数平方的 (O(1/T)) 界;若要求梯度范数不超过 (\varepsilon),迭代量级一般是 (O(1/\varepsilon^2)),其他常数固定时成立。
但“梯度小”与“找到全局最优”不是同义词:令
[ f(w)=1-\cos w,\qquad f’(w)=\sin w. ]
起点 (w_0=\pi) 处梯度为零,GD 原地不动,却不是全局最优点:(f(\pi)=2),而 (f(0)=0)。这个反例的二阶导数 (f’‘(w)=\cos w) 在全空间绝对值不超过 1,因而它本身也满足全局 (L=1) 的光滑性假设;(w=\pi) 是局部极大点。它说明一阶驻点条件不足以排除极大点、鞍点或次优局部极小点。
七、为什么 mini-batch 训练损失可以一会儿升、一会儿降?
以上证明用的是精确全批量梯度。如果改用随机梯度 (\widetilde g),设它在给定当前 (w) 时无偏:
[ \mathbb E[\widetilde g\mid w]=g=\nabla f(w) ]
并有方差界
[ \mathbb E[|\widetilde g-g|^2\mid w]\le\sigma^2/B, ]
其中 (B) 是 batch size。对下降引理取条件期望:
[ \boxed{ \mathbb E[f(w-\eta\widetilde g)\mid w] \le f(w)-\eta(1-L\eta/2)|g|^2 +\frac{L\eta^2\sigma^2}{2B}. } ]
与精确梯度相比,多了噪声代价。即使学习率小于 (2/L),随机更新也不保证每一步的真实目标下降。越接近驻点,真实梯度越小,噪声项就可能越显著。该方差随 (1/B) 缩小的模型还依赖于适当的独立抽样与方差条件。
更重要的是,日志里的“当前 batch 损失”与固定训练集的“完整目标”不同。后一轮抽到更难的 batch,损失记录上升,并不等于模型参数变差了。比较实验应使用固定探针数据衡量每一步变化,同时保存各 batch 的原始记录。
八、如何诊断学习率而不是凭经验猜?
比较不同学习率时,先固定目标函数、初始化、样本、数值精度和计时口径。用全批量梯度排除抽样噪声,再用不同 batch size 引入噪声。一个简化实验:
for lr in [0.05, 0.10, 0.20, 0.30]:
w = same_initial_weights()
for step in range(T):
g = full_batch_gradient(w)
record(lr, step, objective(w),
norm(g), norm(lr * g))
w = w - lr * g
# 再运行 mini_batch_gradient 的对照,
# 每个配置重复随机种子,并保持样本/精度一致。
至少记录:同一固定数据上的损失、梯度范数、更新范数、是否出现 NaN、不同随机种子之间的方差;有能力时再估计 Hessian 的大特征值。这样才能区分“步长越过曲率阈值”“梯度数值溢出”“随机抽样噪声过大”等不同问题。
三个易错反例:(1)负梯度是局部下降方向,不代表任意大步长安全;(2)(L)-smooth 不等于凸,GD 单调下降不保证全局最优;(3)精确 GD 的逐步下降定理不能不说明假设就套用到 SGD、Adam 或带动量优化。
本课总结与下一讲
一句话:梯度给方向,光滑性给步长保证,Hessian 谱解释振荡与病态,非凸性和随机性决定保证的边界。
第 9 课(2026 年 10 月 28 日)预告:全批量、随机梯度与小批量训练。我们将推导梯度估计的方差、batch size 与更新次数的关系,并讨论 SGD 中哪些“噪声的好处”只是经验现象,哪些具有明确的理论前提。
四级递进自测(100分)
四题分别考查概念边界、梯度计算、Hessian谱推理和综合证明设计。前三题可客观判分;第四题需自评或人工/ChatGPT批改。首次授课不提供正确答案,只有不泄题提示。
Lv1|机制与损失理解
15分|预计2分钟|单选
设 f 可微且梯度为 L-Lipschitz(L>0),使用精确全批量梯度下降 w_{t+1}=w_t−η∇f(w_t),不含额外约束。以下哪项陈述最准确?
A. 当 0<η<2/L 时,每步目标值不会增加,但若 f 非凸,不能由此保证到达全局最优解。
B. 只要方向取负梯度,任意大的正学习率都保证下降。
C. 只要训练目标每步下降,独立测试风险也一定每步下降。
D. 只要 f 非凸,任何正学习率都不可能保证单步下降。
可选提示:分清方向导数、有限步长、目标值下降与全局最优这四个概念。
Lv2|梯度与参数数值计算
20分|预计4分钟|数值题
一维线性模型预测为 ŷ=3w,单个训练样本的真实标签 y=6,平方损失 f(w)=1/2(3w−6)²。以 w₀=0 为起点,使用学习率 η=0.1 做一次精确梯度下降。求更新后的 w₁(填写数值)。
可选提示:先用链式法则计算 df/dw=(3w−6)×3,再代入更新式;注意这是参数 w 而非预测 ŷ。
Lv3|曲率和收敛边界推理
25分|预计6分钟|多选
考虑二次函数 f(x,y)=1/2(2x²+10y²),使用精确梯度下降,记 μ=2、L=10。以下哪些判断正确?(多选)
A. 当 η=0.1 时,高曲率的 y 坐标在一次更新后变为 0。
B. 当 η=0.21 时,函数值对任意初值都保证每步不增加。
| C. 在该二次模型中,使最坏坐标误差收缩因子 max{ | 1−2η | , | 1−10η | } 最小的固定步长是 η=2/(μ+L)。 |
D. 当 η=0.2 时,两个坐标在每一步都严格向 0 收缩。
E. 把精确梯度替换为无偏小批量随机梯度后,只要 η<2/L,训练目标仍保证逐步单调下降。
可选提示:分别计算两个特征方向的乘数 1−ηλ;随机梯度还包含噪声。
Lv4|完整公式证明及实验方案
40分|预计15分钟|开放题
| 综合推导与实验设计。A(10分):从梯度 L-Lipschitz 出发,用积分形式推导下降引理,并代入梯度更新,给出严格下降的步长条件。B(12分):若 f 下有界且 η≤1/L,证明 T 次迭代的 min_{0≤t<T} | ∇f(w_t) | ² 的 O(1/T) 上界,并说明它为什么不代表非凸问题达到全局最优。C(8分):对 H=diag(2,8) 的二次目标,分别判断 η=0.2、η=0.3 在两个特征方向的更新因子及稳定性。D(10分):设计一个对照实验,区分学习率过大、曲率差异与小批量梯度噪声的影响,说明应记录哪些指标、固定哪些变量、如何判定假设。 |
可选提示:A 使用沿直线段的微积分基本定理;B 将单步下降不等式从 t=0 加到 T−1;C 对每个特征方向分别写递推;D 分开精确全批量与随机小批量。
作答方式: 回复“1. 选项;2. 数值;3. 选项集合;4. 推导与实验方案”。批改时逐题解释、给总分100;80分以上继续,60–79分补练,低于60分复习再练;不修改自然日课号。