第 1 课|凸集、凸函数与约束最优性

阅读提示:这是从聊天授课内容重构的课程讲义,不是原消息的逐字拷贝。建议先阅读概念动画,再跟随推导、数值算例和练习巩固知识。

学习问题

凸集包含其任意两个点之间的整条线段;可微凸函数的切平面是全局下界。

[[diagram:convex]]

核心公式

\[f(y) ≥ f(x)+∇f(x)ᵀ(y-x)\]

数值例题

考虑 min (x-2)²+(y+1)² s.t. x+y≤0。无约束点 (2,-1) 不可行,最优点在 x+y=0 上,代入 y=-x 求得 (1.5,-1.5),最优值为 0.5。

推导、假设与边界

对凸可行域 C 与可微凸目标 f,x* 最优当且仅当 ∇f(x)ᵀ(x-x)≥0 对所有 x∈C 成立。最优点的梯度不必为零,KKT 乘子可解释为活跃约束的法向阻力。

核心推导:一阶凸性不等式

可微凸函数满足:

\[f((1-t)x+ty)\leq(1-t)f(x)+tf(y),\quad t\in(0,1].\]

把 $(1-t)x+ty$ 写为 $x+t(y-x)$,移项再除以 $t$:

\[\frac{f(x+t(y-x))-f(x)}t\leq f(y)-f(x).\]

当 $t\to0^+$ 时,左边趋于 $\nabla f(x)^\top(y-x)$,故:

\[\boxed{f(y)\geq f(x)+\nabla f(x)^\top(y-x).}\]

这不是局部 Taylor 近似,而是对整个凸域有效的全局下界。也是为什么一阶最优性条件能给出全局证明。

有约束情形更一般的一阶判据

设 $\mathcal C$ 凸,$f$ 凸可微,则 $x^*$ 全局最优当且仅当:

\[\nabla f(x^*)^\top(x-x^*)\geq0,\qquad\forall x\in\mathcal C.\]

充分性:用上述切平面下界即可。必要性:对任意可行 $x$,沿线段 $x^+t(x-x^)$ 走一个足够小的正步长仍可行;局部最优要求这个可行方向的一阶方向导数非负。

KKT 乘子从何而来?

对约束 $g(x)\leq0$,定义 $\mathcal L(x,\lambda)=f(x)+\lambda g(x)$,$\lambda\geq0$。活跃约束满足 $g(x^)=0$;不活跃约束满足 $g(x^)<0$,互补松弛强制对应乘子 $\lambda^*=0$。

在二维算例里,$\nabla f=(-1,-1)$,活跃约束外法向 $\nabla g=(1,1)$,$\nabla f+1\nabla g=0$。最优点仍存在负梯度,但负梯度已经指向不可行方向。 这就是为什么有约束最优不一定要求梯度为零。

注意:KKT 的必要性需要合适的约束资格条件;对凸优化、合适的可行乘子等条件下,它提供全局最优性的充分依据。这些条件将在下一周正式学习。

课后练习(暂不提供答案)

练习:min x²+4y²-4x-8y s.t. x+y≤1。求最优点与乘子,验证驻点、可行性和互补松弛。

后续学习

沿各门课 12 周知识树继续递进,必要时回顾本课基本概念。