第 2 课｜L-Smooth、强凸性与梯度下降收敛
阅读提示：这是从聊天授课内容重构的课程讲义，不是原消息的逐字拷贝。建议先阅读概念动画，再跟随推导、数值算例和练习巩固知识。
学习问题
Smoothness 提供曲率上界与单步下降保证；强凸性提供曲率下界与更快的收敛界。
[[diagram:gradient]]
核心公式
\[f(y) ≤ f(x)+∇f(x)ᵀ(y-x)+(L/2)||y-x||²\]数值例题
设 f(x,y)=0.5(x²+4y²)，初值 (4,2)，Hessian=diag(1,4)，取步长 1/L=1/4。第一步到 (3,0)，第二步到 (2.25,0)，目标值由 16 降至 4.5，再至 2.53125。
推导、假设与边界
| 将 y=x-η∇f(x) 代入 Descent Lemma，得到 f(x_next)≤f(x)-η(1-Lη/2) | ∇f(x) | ²。若凸且 L-Smooth，η=1/L，函数误差上界 O(1/k)；若额外 μ-强凸，则可得 (1-μ/L)^k 的线性收敛上界。 |
为什么 Smoothness 恰好能保证下降？
取 $d=y-x$。由微积分基本定理：
\[f(y)-f(x)=\int_0^1\nabla f(x+td)^\top d\,dt.\]加减 $\nabla f(x)$，剩余项利用 Cauchy–Schwarz 与 Lipschitz 梯度：
\[(\nabla f(x+td)-\nabla f(x))^\top d\leq Lt\|d\|^2.\]积分 $t\in[0,1]$ 得到 $L|d|^2/2$，即 Descent Lemma。将 $d=-\eta\nabla f(x)$ 代入即可得到：
\[f(x^+)\leq f(x)-\eta(1-L\eta/2)\|\nabla f(x)\|^2.\]当 $0<\eta<2/L$ 且梯度非零时，函数值下降；单调下降本身并不等于达到全局最优，因为 Smoothness 本身并不要求凸性。
为什么强凸可以给出更快的速度？
$\mu$-强凸函数满足：
\[f(y)\geq f(x)+\nabla f(x)^\top(y-x)+\frac\mu2\|y-x\|^2.\]将 $y=x^*$，并对右侧二次函数配方，可得：
\[\|\nabla f(x)\|^2\geq2\mu(f(x)-f^*).\]带入 $1/L$ 步长的单步下降式：
\[f(x_{k+1})-f^*\leq\left(1-\frac\mu L\right)(f(x_k)-f^*).\]进一步递推得到 $\left(1-\mu/L\right)^k$ 的几何衰减上界。条件数 $\kappa=L/\mu$ 越大，该理论因子越接近 1。
反例与边界
$f(x)=\sin x$ 满足梯度 1-Lipschitz，但它非凸。从 $x_0=\pi/2$ 出发，梯度为 0 而目标值不是全局最小。此时梯度下降停在该点，说明 L-Smooth + 梯度下降并不保证全局最优。
在存在约束、投影、噪声梯度或变化步长的情况下，今天的无约束确定性 GD 收敛式不能直接原样套用，需要修改相应的关键不等式。
课后练习（暂不提供答案）
练习：对 f(x,y)=0.5(x²+25y²)，求 L、μ、κ，对比步长 1/L 与 2/(L+μ) 对误差矩阵的谱半径。
后续学习
沿各门课 12 周知识树继续递进，必要时回顾本课基本概念。