人工智能:理论、算法与系统 · 第 7 课

第一周复盘:从概率训练目标到可信泛化

2026 年 10 月 26 日|第 1 周复盘|约 18 分钟

本日不是第七个全新理论专题,而是第 1–6 课的综合串讲 + 迁移练习:从「为什么选择这个损失」一路追踪到「为什么这个模型在未见数据上可能有效」。第一次发出时,四道正式自测题均不提供标准答案;可选提示不泄题。

本课要回答的核心问题

同一模型训练时发生三件不同的事:我们选定预测概率模型与损失;训练算法利用样本选出参数;研究者最后用某个数据集报告效果。它们分别对应概率统计、优化与泛化评估,不能相互替代。

flowchart TD
 A["真实数据分布 P"] --> B["采样:训练集 S"]
 B --> C["概率建模:MLE / CE"]
 C --> D["优化:ERM / Ridge / SGD"]
 D --> E["训练后模型 A(S)"]
 E --> F["经验风险 R_hat"]
 E --> G["总体风险 R"]
 H["模型复杂度:M 或 VC 维"] --> I["统一收敛:控制选择的代价"]
 J["算法稳定性:替换一个样本"] --> K["另一种期望泛化分析"]
 I --> G
 K --> G
 L["独立验证与最终测试协议"] --> G

一、为什么使用交叉熵?又为什么它不能保证泛化?

回顾第 1 课。 假设观测样本 $(x_i,y_i)$ 在给定模型时可按 i.i.d. 条件似然分解,条件概率预测器为 $q_\theta(y\mid x)$:

\[\mathcal L(\theta;S)=\prod_{i=1}^n q_\theta(y_i\mid x_i).\]

取负对数、除以样本数,最大似然估计(MLE)等价于:

\[\boxed{\min_\theta\widehat R_{\mathrm{NLL}}(\theta) =-\frac1n\sum_{i=1}^n\log q_\theta(y_i\mid x_i).}\]

对 one-hot 标签,交叉熵 $-\sum_k y_k\log q_k$ 只有真实类别一项非零,因此等于单样本 NLL。对真实条件分布 $p(y\mid x)$,在总体层面,对 $x$ 的真实边缘分布求期望:

\[\begin{aligned} \mathbb E_{x,y\sim P}[-\log q_\theta(y\mid x)] &=\mathbb E_x H(p(\cdot\mid x),q_\theta(\cdot\mid x))\\ &=\mathbb E_x H(p(\cdot\mid x)) +\mathbb E_x D_{\mathrm{KL}}\!\left(p(\cdot\mid x)\|q_\theta(\cdot\mid x)\right). \end{aligned}\]

为什么是这个方向的 KL? 数据来自 $p$,所以期望是对 $p$ 求和,产生 $\sum_y p(y\mid x)\log[p(y\mid x)/q_\theta(y\mid x)]$。第一项与 $\theta$ 无关,所以总体 CE 最小化相当于对给定模型族做正向 KL 投影(不等于有限样本训练已经得到真实总体最优)。

置信度与准确率并不是一回事。 对真实标签为正类的单个样本,模型 A 给真实类概率 $0.51$、模型 B 给 $0.99$,若二者都把正类作为预测标签,则这一次的 0-1 错误都为零,但损失分别为 $-\ln 0.51$ 与 $-\ln 0.99$,大小不同。反过来,错得极自信时 $-\ln q_y$ 会非常大,甚至无上界。这正是为什么不能把为 $[0,1]$ 损失推导的 Hoeffding 界直接用于未经截断的交叉熵。

再复习一条变量层面的警告:Softmax CE 对 logits $z$ 的梯度为 $\operatorname{softmax}(z)-\operatorname{onehot}(y)$,Hessian 为 $\operatorname{diag}(p)-pp^\top\succeq0$;但 $z=f_\theta(x)$ 经深度网络非线性参数化后,损失对 $\theta$ 一般不是凸的。

二、偏差—方差:为何训练拟合变差,测试反而可能变好?

回顾第 2–3 课。 用一个最小例子把随机性拆开。训练观测满足

\[Y_i=\mu+\varepsilon_i,\qquad \mathbb E\varepsilon_i=0,\quad \operatorname{Var}(\varepsilon_i)=\sigma^2,\]

训练噪声互相独立;测试点 $Y_{\mathrm{new}}=\mu+\varepsilon_{\mathrm{new}}$ 与训练集独立。令 $\bar Y=n^{-1}\sum_i Y_i$,并用收缩预测器 $\widehat\mu_\alpha=\alpha\bar Y$,其中 $0\le\alpha\le1$。

把测试误差改写为

\[Y_{\mathrm{new}}-\widehat\mu_\alpha =\varepsilon_{\mathrm{new}}+(1-\alpha)\mu-\alpha\bar\varepsilon.\]

平方后求期望。零均值独立项间的交叉乘积期望为零,又有 $\operatorname{Var}(\bar\varepsilon)=\sigma^2/n$,于是

\[\boxed{ \mathbb E[(Y_{\mathrm{new}}-\widehat\mu_\alpha)^2] =\underbrace{\sigma^2}_{\text{不可约噪声}} +\underbrace{(1-\alpha)^2\mu^2}_{\text{偏差平方}} +\underbrace{\alpha^2\sigma^2/n}_{\text{估计方差}}. }\]

对 $\alpha$ 求导(假设 $\mu^2+\sigma^2/n>0$):

\[-2(1-\alpha)\mu^2+2\alpha\frac{\sigma^2}{n}=0 \quad\Rightarrow\quad \alpha^*=\frac{\mu^2}{\mu^2+\sigma^2/n}.\]

数值演练。 假设 $\mu=2,\sigma^2=4,n=4$,不收缩 $\alpha=1$ 时,平均测试平方误差是 $4+1=5$。取 $\alpha=0.8$,则测试 MSE 为

\[4+(0.2)^2\cdot4+(0.8)^2\cdot\frac44 =4+0.16+0.64=4.8.\]

训练拟合更保守,却减少了训练样本带来的波动。过分收缩至 $\alpha=0$ 则可能产生很大偏差,不能得出「正则越强越好」。

这与 Ridge / L2 有直接联系。在常数预测模型中,若显式惩罚参数 $w$(这里不是通常不惩罚截距的实现),考虑

\[\min_w\,\frac1{2n}\sum_i(w-y_i)^2+\frac\lambda2w^2.\]

求导得 $(w-\bar y)+\lambda w=0$,所以

\[\boxed{\widehat w=\frac{\bar y}{1+\lambda}}, \qquad\alpha=\frac1{1+\lambda}.\]

它把偏差—方差中的「人为收缩」实现为具体的优化目标。若把惩罚解释成高斯先验,L2 还可对应特定概率模型下的 MAP;但 MAP 与 MLE 目标不同。以上平方损失分解不应不加条件套用到 0-1 分类错误或 Agent 成功率。

三、从固定模型到 ERM:为什么有两个 $\epsilon$?

回顾第 4 课。 假设 $n$ 个样本 i.i.d.、损失在 $[0,1]$。对一个采样前固定的假设 $h$,Hoeffding 给出:

\[\Pr\!\left(|R(h)-\widehat R_S(h)|>\epsilon\right) \le 2\exp(-2n\epsilon^2).\]

若采样前固定了 $M$ 个候选模型,使用并集界:

\[\Pr\!\left(\exists h\in\mathcal H: |R(h)-\widehat R_S(h)|>\epsilon\right) \le2M\exp(-2n\epsilon^2).\]

令右侧不超过 $\delta$,得到同时对所有候选成立的置信界:

\[\boxed{\epsilon=\sqrt{\frac{\ln(2M/\delta)}{2n}}.}\]

数值演练。 $n=2000,M=50,\delta=0.05$,则 $\epsilon=\sqrt{\ln(2000)/4000}\approx0.04359$。这说的是在假设成立时,以至少 95% 概率,各候选模型的真实与经验风险差同时不超过约 0.04359;并不是保证它们总体风险小于这个数字。

令 $\widehat h=\arg\min_{h\in\mathcal H}\widehat R(h)$,$h^*=\arg\min_{h\in\mathcal H}R(h)$。在同一个「所有模型同时受控」事件上:

\[\begin{aligned} R(\widehat h) &\le\widehat R(\widehat h)+\epsilon\\ &\le\widehat R(h^*)+\epsilon\\ &\le R(h^*)+2\epsilon. \end{aligned}\]

中间一步靠 ERM 选择了训练集最小经验风险。两个 $\epsilon$ 的来源:比较「所选模型的真风险与训练风险」用了一次,比较「最优候选的训练风险与真风险」又用了一次。只凭固定模型的单点界,不能直接对数据选出的模型作相同推断。

还需留意:$M$ 必须是上述统一事件所覆盖的事先固定的候选集合大小。如果研究人员用这批数据不断发明新的候选结构,不能在事后任意宣布「实际上只有最后 50 个,所以依旧 $M=50$」。需要额外分析所用算法或假设类的复杂度,或者使用足够独立的评价数据。

四、当模型无限多:VC 维究竟限制了什么?

回顾第 5 课。 神经网络或实数阈值分类器参数连续,模型数目可无限;把上面 $\ln M$ 机械设成 $\infty$ 没有意义。经典 VC 理论转而问:在给定 $n$ 个输入上,假设类最多能实现多少种二进制标记?

增长函数:

\[m_{\mathcal H}(n)=\max_{x_1,\ldots,x_n} \left|\{(h(x_1),\ldots,h(x_n)):h\in\mathcal H\}\right|.\]

若某 $d$ 点集合可以实现全部 $2^d$ 种标记,则称被打散;VC 维是能够被打散的最大点数(如果任意多点都可打散,则为无穷大)。

手算一个无限但低容量的例子。 单侧阈值 $h_t(x)=\mathbf1[x\ge t]$ 的参数 $t\in\mathbb R$ 无限多,但 $n$ 个互异点排序后,允许的标记只能是左侧一串 0、右侧一串 1:一共至多 $n+1$ 种。单个点可形成 0/1,两个点却不能把较左点标为 1、较右点标为 0,所以 $\mathrm{VCdim}(\mathcal H)=1$。

Sauer–Shelah 引理进一步表明,当 VC 维 $d<\infty$ 时:

\[m_{\mathcal H}(n)\le\sum_{j=0}^{d}\binom nj \quad(n\ge d),\]

而不一定爆炸为 $2^n$。再配合独立抽样、二分类 0-1 损失、对称化与浓缩不等式,可以得到形如

\[\sup_{h\in\mathcal H}|R(h)-\widehat R(h)| =O\!\left(\sqrt{\frac{d\log(n/d)+\log(1/\delta)}n}\right)\]

的典型高概率统一界(给定足够大的 $n$ 与相关技术条件;这里省略常数)。误区: VC 维有限不代表任何数据量都必然泛化得好;界还随样本量变化,也不自动说明实际 SGD 会找出好的模型。

五、另一条路:不数模型,只检查训练算法敏感不敏感

回顾第 6 课。 VC 理论关注假设集合的容量;算法稳定性关注训练集变动时,训练算法输出改变多大。

定义算法 $A$:$S\mapsto w_S$。若 $S,S’$ 只替换一个样本,且任意评估样本 $z$ 均满足

\[|\ell(w_S,z)-\ell(w_{S'},z)|\le\beta,\]

则称该算法具有统一稳定性 $\beta$。在独立同分布条件下,可用独立「幽灵样本」替换并交换期望,证明:

\[\boxed{\left|\mathbb E_S[R(w_S)-\widehat R_S(w_S)]\right|\le\beta.}\]
关键是期望差的绝对值;并非对每一个观察到的训练集都有 $ R-\widehat R \le\beta$。

对凸参数域 $K$、各样本损失关于参数凸且统一 $L$-Lipschitz、$\lambda>0$,并求得以下目标的精确最优解:

\[F_S(w)=\frac1n\sum_i\ell(w,z_i)+\frac\lambda2\|w\|^2,\]

$F_S$ 为 $\lambda$-强凸。对仅替换第 $i$ 个样本的 $S,S’$,其极小点为 $w,w’$,两组强凸最优性不等式相加,公共 $n-1$ 个损失项和相同正则项抵消:

\[\lambda\|w-w'\|^2\le\frac{2L}{n}\|w-w'\|.\]

若参数差非零,则约去一项,得到

\[\|w-w'\|\le\frac{2L}{\lambda n} \quad\Rightarrow\quad \boxed{\beta\le\frac{2L^2}{\lambda n}}.\]

这是一条有条件的稳定性上界,不是无条件对所有深度网络成立的结论。这里 $L$ 是损失对参数的函数值 Lipschitz 常数,不是梯度 smooth 的常数。增大 $\lambda$ 使这个上界变小,却也可能将参数过度收缩,增大偏差;与第二节的偏差—方差结论恰好呼应。

六、五种对象不要混淆:考试与研究都易错

看见的关键词 真正回答的问题 本周工具 不能直接推出
MLE / CE / KL 为什么选择这种概率损失? 概率分解、对数似然、KL 好的下游任务成功率
Bias–Variance / Ridge 如何权衡数据噪声与模型收缩? 平方损失分解、L2 正则越大测试误差越低
Hoeffding + Union 有限的事先固定假设集合,选择后还可靠吗? 有界损失浓缩、并集界 无界 CE 的相同界
VC 维 模型无限多时,容量怎样受控? 打散、增长函数、Sauer 所有训练算法都好
Uniform Stability 换一个训练样本输出还稳定吗? 样本替换、强凸和 Lipschitz 对单次训练样本的逐点 gap 保证

研究实践串联: 首先明确业务评价量(准确率、CE、校准度或 Agent 任务成功率),再选训练目标;准备独立训练集用于参数拟合、验证集用于选择模型与正则系数、最终保留测试集用于冻结方案后的报告。对于同一个验证集做过上百轮自适应实验,要谨慎解释它的最佳成绩,因为验证集也已经参与了选择。

# 测试协议伪代码(教学示例,不是定理证明)
train, valid, test = split_by_entity_or_time_if_needed(data)
for config in predeclared_or_logged_search_space:
    model = fit(train, config)
    score = evaluate(valid, model)
    log(config, score)
best = select_by_validation_score()
freeze_architecture_and_hyperparameters(best)
final_model = retrain_using_declared_protocol(best)
report_once(evaluate(test, final_model))
# 每次尝试的 score、随机种子和数据使用情况均应留痕。

七、今日复盘与第二周预告

现在应当能够完整解释如下链条,而不仅是分别背出六个术语:

概率模型定义了训练目标;样本波动与正则化影响学习到的参数;有限类统一收敛、无限类 VC 理论和学习算法稳定性提供了三种不同的泛化分析路线;独立评估协议决定报告的性能是否可信。

下一节:2026 年 10 月 27 日,第 8 课进入第二周——深度学习的优化动力学。 从最基本的梯度下降更新、步长与 smoothness 开始,讨论为什么学习率太大可能振荡,之后才延伸到参数初始化、归一化、残差连接与训练稳定性。

八、四级分级测评(100 分;首次不公布标准答案)

第 1–3 题为客观题,答题后可自动判分;第 4 题需根据评分要点由你自己或人工/ChatGPT 批改,不把机器语义判分伪称为可靠自动评分。

Lv1|概念与评估协议|15 分|预计 2 分钟|单选

研究者用同一验证集反复挑选学习率、正则化系数和模型结构,最终得到训练集上 0-1 错误率为 0 的分类器。下列哪项结论最严谨?

A. 训练误差为 0,意味着独立测试误差也必然为 0。

B. 只要训练使用 Softmax 交叉熵,就能对该无界损失直接套用 [0,1] Hoeffding 界。

C. 验证集参与反复选择可能产生乐观偏差;最终性能仍需在未参与选择的独立测试集上评估。

D. 加入 L2 正则项后,无论网络是否非凸,都自动满足本周凸正则 ERM 的稳定性定理。

可选提示:分别核对“拟合好”“有界损失”和“没有参与选择的独立评估”是什么性质。

Lv2|偏差—方差数值推理|20 分|预计 4 分钟|数值

设 Y=μ+ε,μ=4,E[ε]=0,Var(ε)=9;从同分布独立采集 n=9 个训练样本,用 θ̂=α·Ȳ 预测独立新样本 Y_new,其中 α=0.75。平方损失下 E[(Y_new−θ̂)²] 等于多少?给出十进制数值。

可选提示:把新样本噪声、收缩产生的确定性偏差和训练均值噪声拆开;记住样本均值方差缩小为 σ²/n。

Lv3|多种泛化理论的边界|25 分|预计 6 分钟|多选

判断关于泛化证明的下列说法,选出全部成立的陈述。(多选)

A. 如果采样前已固定 M 个候选模型、样本 i.i.d. 且 0-1 损失有界,则对 M 个模型作 Union Bound,可为训练后从其中选出的模型提供同时成立的泛化界。

B. 若假设集合包含无穷多个模型,则不论其结构与容量如何,绝不可能得到统一泛化保证。

C. 在 i.i.d. 二分类的 0-1 损失设置下,有限 VC 维通过限制样本上的可实现标记数,为无限假设类的统一收敛提供一条路径。

D. 若算法的统一稳定性 β=0.01,则对任意一份已观测训练集,其泛化差的绝对值一定不超过 0.01。

E. 凸、L-Lipschitz 损失的精确 L2 正则 ERM 可以有 β≤2L²/(λn) 这类上界,但增大 λ 未必单调改善真实总体风险。

可选提示:注意模型集合是否在看数据前固定、无限集合是否可能容量有限,以及期望保证与逐训练集保证的差异。

Lv4|综合推导与研究方案|40 分|预计 15 分钟|开放推导

综合设计与推导。某项目在采样前固定 M=40 个二分类候选函数,取 n=1000 个 i.i.d. 训练样本,以 0-1 损失做 ERM,目标置信度 95%。(A,15 分) 从固定模型 Hoeffding 不等式和 Union Bound 推导所有候选模型同时成立的误差界 ε,代入 M、n、δ=0.05 计算 ε,并严格证明所选 ERM 的超额风险不超过 2ε(比较对象为这 40 个模型中总体风险最小者)。(B,10 分) 后续团队根据这批训练数据自适应生成新的候选结构并继续搜索:解释为什么原先直接用 M=40 的界不再自动有效;如果把 0-1 损失换成标准无界交叉熵,哪些前提不再成立?(C,10 分) 针对凸、L-Lipschitz 样本损失且精确最小化的 L2 正则 ERM,概述证明相邻数据集参数差 ≤2L/(λn) 与 β≤2L²/(λn) 的关键步骤,并说明增大 λ 的利弊。(D,5 分) 给出能复现、避免验证集反复选择泄漏的 train/validation/test 方案。

可选提示:A 先固定全称事件,再串接两次误差界与 ERM 不等式;B 检查候选集合是否在看样本前固定、损失是否有上界;C 将两个强凸最优性不等式相加;D 分离参数训练、超参选择和最终一次性评估。