第 1 课|凸集、凸函数与约束最优性
阅读提示:这是从聊天授课内容重构的课程讲义,不是原消息的逐字拷贝。建议先阅读概念动画,再跟随推导、数值算例和练习巩固知识。
学习问题
凸集包含其任意两个点之间的整条线段;可微凸函数的切平面是全局下界。
[[diagram:convex]]
核心公式
\[f(y) ≥ f(x)+∇f(x)ᵀ(y-x)\]数值例题
考虑 min (x-2)²+(y+1)² s.t. x+y≤0。无约束点 (2,-1) 不可行,最优点在 x+y=0 上,代入 y=-x 求得 (1.5,-1.5),最优值为 0.5。
推导、假设与边界
对凸可行域 C 与可微凸目标 f,x* 最优当且仅当 ∇f(x)ᵀ(x-x)≥0 对所有 x∈C 成立。最优点的梯度不必为零,KKT 乘子可解释为活跃约束的法向阻力。
核心推导:一阶凸性不等式
可微凸函数满足:
\[f((1-t)x+ty)\leq(1-t)f(x)+tf(y),\quad t\in(0,1].\]把 $(1-t)x+ty$ 写为 $x+t(y-x)$,移项再除以 $t$:
\[\frac{f(x+t(y-x))-f(x)}t\leq f(y)-f(x).\]当 $t\to0^+$ 时,左边趋于 $\nabla f(x)^\top(y-x)$,故:
\[\boxed{f(y)\geq f(x)+\nabla f(x)^\top(y-x).}\]这不是局部 Taylor 近似,而是对整个凸域有效的全局下界。也是为什么一阶最优性条件能给出全局证明。
有约束情形更一般的一阶判据
设 $\mathcal C$ 凸,$f$ 凸可微,则 $x^*$ 全局最优当且仅当:
\[\nabla f(x^*)^\top(x-x^*)\geq0,\qquad\forall x\in\mathcal C.\]充分性:用上述切平面下界即可。必要性:对任意可行 $x$,沿线段 $x^+t(x-x^)$ 走一个足够小的正步长仍可行;局部最优要求这个可行方向的一阶方向导数非负。
KKT 乘子从何而来?
对约束 $g(x)\leq0$,定义 $\mathcal L(x,\lambda)=f(x)+\lambda g(x)$,$\lambda\geq0$。活跃约束满足 $g(x^)=0$;不活跃约束满足 $g(x^)<0$,互补松弛强制对应乘子 $\lambda^*=0$。
在二维算例里,$\nabla f=(-1,-1)$,活跃约束外法向 $\nabla g=(1,1)$,$\nabla f+1\nabla g=0$。最优点仍存在负梯度,但负梯度已经指向不可行方向。 这就是为什么有约束最优不一定要求梯度为零。
注意:KKT 的必要性需要合适的约束资格条件;对凸优化、合适的可行乘子等条件下,它提供全局最优性的充分依据。这些条件将在下一周正式学习。
课后练习(暂不提供答案)
练习:min x²+4y²-4x-8y s.t. x+y≤1。求最优点与乘子,验证驻点、可行性和互补松弛。
后续学习
沿各门课 12 周知识树继续递进,必要时回顾本课基本概念。