第 28 课|前四周综合复盘与第一次阶段考核

2026 年 11 月 16 日|第 4 周第 7 课(复盘+第一次阶段考核)|讲授约 18 分钟;自测另计

今天不引入一门全新算法,而是把前四周连接成完整系统:原始数据如何变成概率训练目标,梯度如何穿过 Transformer,以及固定训练预算下怎样同时控制模型质量、GPU 显存、吞吐和评测可信度?

本课覆盖:第 1 周统计学习与交叉熵,第 2 周优化/归一化/残差,第 3 周注意力和自回归,第 4 周 Tokenization、数据、Scaling 与预训练系统。

一、四周知识树:从数据到可信结果

flowchart TD
    A["原始文档:来源、授权、去重、评测隔离"] --> B["Tokenizer / BPE → Token IDs"]
    B --> C["Embedding + Position / RoPE"]
    C --> D["Pre-Norm Transformer:Causal Attention + FFN + Residual"]
    D --> E["LM Head → 词表 Logits"]
    E --> F["Shifted Labels + Loss Mask → CE / NLL"]
    F --> G["Backward:Q/K/V 梯度 → AdamW / Warmup / Clip"]
    G --> H["DDP / FSDP + BF16 / FP8 + Activation Checkpoint"]
    H --> I["验证:Held-out Loss、任务质量、吞吐与资源"]
    I -. "调整数据混合 q、模型 N、训练 Token D" .-> A

这张图中三种“Mask”不能混为一谈:Causal/Attention Mask 控制当前 Query 能读取哪些 Key;Loss Mask 控制哪些位置参与监督;数据污染隔离则是训练前的集合管理,不是张量 Mask。

二、第一周复盘:从极大似然到泛化

对监督数据 ((x,y)) 与模型分布 (p_\theta(y\mid x)),最大化条件对数似然,等价于最小化负对数似然:

[ \hat R(\theta)=-\frac1n\sum_{i=1}^n\log p_\theta(y_i\mid x_i). ]

对单个 One-hot 标签 (y) 与词表 Logits (z\in\mathbb R^V),有

[ \ell=-\log\frac{e^{z_y}}{\sum_j e^{z_j}} =-z_y+\log\sum_j e^{z_j}. ]

逐坐标求导:

[ \boxed{\frac{\partial\ell}{\partial z_k} =p_k-\mathbf1[k=y]},\qquad p_k=\frac{e^{z_k}}{\sum_j e^{z_j}}. ]

正确类别的 Logit 得到 (p_y-1) 的梯度,其他类别得到 (p_k)。这个推导依赖 One-hot Softmax CE;改用 Label Smoothing 时相应改变目标分布。

泛化边界。 训练风险 (\hat R) 与真实目标分布风险 (R=\mathbb E_{(x,y)\sim\mathcal D}[\ell]) 不同。对平方误差回归,在固定 (x)、不可约噪声方差为 (\sigma^2) 等假设下,经典分解为:

[ \mathbb E[(Y-\hat f(x))^2] =\sigma^2+\operatorname{Bias}[\hat f(x)]^2+\operatorname{Var}[\hat f(x)]. ]

它不是任意语言模型 Cross-Entropy 的逐项恒等分解。更低的训练 CE 不保证未见任务正确率更高;如果训练语料含测试题答案,基准分数还可能偏乐观。

三、第二周复盘:更新幅度与梯度传播

对 (L)-smooth 的确定性可微损失 (f),梯度下降 (x^+=x-\eta\nabla f(x)) 满足下降引理:

[ f(x^+)\le f(x) -\eta\left(1-\frac{L\eta}{2}\right)|\nabla f(x)|_2^2. ]

所以在 (0<\eta<2/L) 下可给出单步非增保证;但随机梯度、AdamW 动量、混合精度和非平稳数据并不满足上述简单推导的所有条件,不能保证每一步训练 Loss 都下降。

Pre-Norm 残差块可写为:

[ u=x+\operatorname{Attn}(\operatorname{Norm}_1(x)),\qquad y=u+\operatorname{FFN}(\operatorname{Norm}_2(u)). ]

单个残差映射 (x+F(x)) 的 Jacobian 为 (I+J_F);恒等路径帮助梯度传播,但不保证任意深度都稳定。全局范数裁剪为:

[ g_{\mathrm{clip}}=g\min\left(1,\frac c{|g|_2}\right) ]

(零向量保持零)。它按比例缩小向量,而不是逐坐标截断;对完整 AdamW 更新范数并不存在简单的 (\eta c) 通用上界。

训练稳定性需要同时检查 Warmup/LR、未裁剪梯度范数、Inf/NaN、Optimizer State、数据异常及固定验证损失;单次 Loss Spike 不自动等于坏样本。

四、第三周复盘:Attention 的形状、概率与梯度

对单头,给定 (Q\in\mathbb R^{T_q\times d_k})、(K\in\mathbb R^{T_k\times d_k})、(V\in\mathbb R^{T_k\times d_v}):

[ S=\frac{QK^\top}{\sqrt{d_k}}+M,\qquad P=\operatorname{softmax}_{\mathrm{key}}(S),\qquad O=PV. ]

Scores 是 (T_q\times T_k),输出是 (T_q\times d_v)。Self-Attention 通常有 (T_q=T_k);Encoder–Decoder Cross-Attention 可有 (T_q\ne T_k)。

Decoder-only 的因果 Mask:

[ M_{ij}=\begin{cases}0&j\le i,\-\infty&j>i.\end{cases} ]

Teacher Forcing 使用真实已知前缀及移位标签,所以同一层各训练位置可并行计算;自由生成时下一个前缀取决于刚生成的 token,仍有跨步依赖。RoPE 则将 Q/K 旋转后的点积写成 (q^\top R((n-m)\omega)k) 的相对位移形式;位置机制不是 Causal Mask。

反向传播记上游 (G=\partial\mathcal L/\partial O)。有:

[ \bar V=P^\top G,\quad \bar P=GV^\top,\quad D_i=\sum_jP_{ij}\bar P_{ij}=G_i^\top O_i, ]

[ \bar S_{ij}=P_{ij}(\bar P_{ij}-D_i),\quad \bar Q=\frac{\bar S K}{\sqrt{d_k}},\quad \bar K=\frac{\bar S^\top Q}{\sqrt{d_k}}. ]

FlashAttention 使用分块和 Online Softmax 减少完整 (T\times T) 概率矩阵的 HBM 物化;对标准密集精确 Attention,其主要两两交互仍是 (\Theta(BT^2d)),并非自动线性。参考:FlashAttention(2022)。

五、第四周复盘:Tokenizer、数据混合与缩放律

Tokenizer 将原始文本映射为 token IDs;BPE 学习频繁相邻符号对的固定合并规则,编码新文档时不是重新训练合并规则。更大的 (V) 通常增加 Embedding/LM Head 规模,却可能缩短序列 (T);而密集注意力交互成本依赖 (T^2)。跨 Tokenizer 的 per-token PPL 不应在忽略切分差异时直接比较。

若第 (d) 个数据域的有效 token 损失为 (L_d(\theta)),采样权重为 (q_d):

[ \boxed{L_{\mathrm{mix}}(\theta)=\sum_dq_dL_d(\theta),\quad \sum_dq_d=1.} ]

改变 (q_d) 会改变训练风险。文档采样比例也不一定等于 token 比例;要记录进入 Loss 的有效 Token。精确哈希、近重复 MinHash/LSH 和长片段重叠解决不同问题;评测题、答案、改写、题解需要事先隔离并审计,而不是训练结束再删文件。

对稠密模型,近似训练计算量 (C\approx kND),其中常用 (k\approx6)。一个典型经验拟合式是:

[ L(N,D)=E+\frac A{N^\alpha}+\frac B{D^\beta}. ]

令 (K=C/k),从 (ND=K) 得 (D=K/N),于是:

[ L(N)=E+AN^{-\alpha}+BK^{-\beta}N^\beta. ]

求导并令零:

[ -\alpha AN^{-\alpha-1}+\beta BK^{-\beta}N^{\beta-1}=0. ]

整理得:

[ \boxed{ N^=\left(\frac{\alpha A}{\beta B}\right)^{!1/(\alpha+\beta)} K^{\beta/(\alpha+\beta)},\quad D^=\left(\frac{\beta B}{\alpha A}\right)^{!1/(\alpha+\beta)} K^{\alpha/(\alpha+\beta)}. } ]

当 (\alpha=\beta),两者随计算预算以 (\sqrt C) 量级增长。该结论成立于指定拟合式、连续变量与固定 FLOPs 约束下,不是所有模型严格拥有同一最优 Token/参数比例。参考:Chinchilla(2022)。

一次数值复核

考虑玩具风险 (L=1+4/N+9/D),令 (ND=144)。代入得:

[ L(N)=1+\frac4N+\frac N{16},\qquad \frac{dL}{dN}=-\frac4{N^2}+\frac1{16}. ]

得到 (N^=8,\ D^=18),最小预测损失 (1+0.5+0.5=2)。注意这是抽象教学单位,不能解释为实际最优 8 参数、18 Token。

六、分布式与数值系统:真正进入优化器的是哪个梯度?

设 (P) 张卡、每卡累积 (A) 个 Microbatch,(m_{pait}) 是第 (p) 卡、第 (a) 次累积、第 (i) 个样本、第 (t) 个 Token 的有效监督 Mask。

正确的全局 token-mean 梯度:

[ \boxed{ g=\frac{\sum_{p,a,i,t}m_{pait}\nabla_\theta\ell_{pait}} {\sum_{p,a,i,t}m_{pait}}. } ]

数值反例: 两张卡的有效数为 2 和 6,本地平均梯度(某一标量坐标)为 2 和 6。真实全局梯度是 ((2\cdot2+6\cdot6)/8=5),而直接等权平均两个本地均值会得到 4。普通 DDP 默认平均 rank 梯度,必须处理有效 Token 权重及 DDP 缩放因子。

FP16 Loss Scaling 下,典型处理顺序是:对正确归一化的 loss 做 scaling 与反向累积 → unscale → 检查非有限梯度 → 全局范数裁剪 → 安全执行 AdamW → 正确更新调度器和 scaler。不要先对放大过的梯度裁剪,也不要在每个 Microbatch 上先各自裁剪再求和。

普通 DDP 复制模型状态;ZeRO-3/FSDP 全分片可分片参数、梯度、优化器状态,但按层计算可能需要 AllGather 和 ReduceScatter,峰值显存还包含暂存参数、激活、通信缓冲。

Activation Checkpointing 使用反向重算换取较少保存激活。在顺序分段的简化模型中,每 (r) 层存一组边界,峰值激活示意量为 (O(h(L/r+r))),选 (r\sim\sqrt L)。更高 HFU 可能只意味着更多重算,不直接等于更高有效 Token/s 或更快达到相同验证质量。

七、把理论结论变成可复现实验

flowchart LR
  A["固定训练/验证来源与污染审计"] --> B["固定 Tokenizer、Loss 和模型定义"]
  B --> C["选择 N/D、Batch、精度、分片与重算配置"]
  C --> D["运行训练 + 原始 Step 级诊断"]
  D --> E["报告 CE/BPB、任务质量、稳定性"]
  E --> F["有效 Token/s、显存峰值、通信、实际 FLOPs"]
  F --> G["等预算比较:time-to-quality"]

需要同时设立等训练 Token、等 FLOPs 和等墙钟三种报告视角。它们一般不能相互代替。还要固定或对齐数据域、序列长度、超参调优机会和随机种子;比较不同 tokenizer 时统一原始评测文本并注明口径。

今天最重要的结论是:低训练 Loss、低估计 FLOPs、高 GPU 利用率、少显存、强下游泛化并不是同一个目标。 每个指标都有各自的分子、分母和适用条件。阶段考核会同时测试数学正确性、建模边界与系统实验设计。

八、常见反例与知识边界

错误直觉 严谨结论
训练 CE 下降,未见任务必然提高 真实分布、数据污染、过拟合都可能改变结论
Teacher Forcing 可并行,所以自由生成可一轮完成 未生成前缀尚未确定
Attention Mask、Loss Mask、评测隔离是同一机制 三者解决张量可见性、监督位置、数据集合独立性
Warmup 与全局裁剪能保证 AdamW 永不 Spike 随机噪声、动量、数值范围等仍有影响
FlashAttention 让所有密集 QK 算术线性化 主要改善 IO 和中间矩阵物化
DDP 自动实现不同长度的全局 Token 加权 需用实际有效 Token 数正确归一化
FP8 或 FSDP 的理论存储收益就是整卡峰值收益 还需计入激活、临时缓冲、Scale 与通信
经验缩放律必然给出固定的最优 D/N 取决于经验系数和可行约束

经典部分: MLE/CE、偏差方差分解的限定形式、链式法则、Smoothness、矩阵梯度与分布式平均梯度。经验或研究部分: Scaling Laws、数据混合策略、FP8 性能、FSDP/FlashAttention 的 GPU 收益及 time-to-quality,不能脱离实验条件推广。

九、第一次阶段考核(100 分,首次不公布答案)

四题按 Lv1 15 分、Lv2 20 分、Lv3 25 分、Lv4 40 分计分,前三题客观判分;最后一题按分项评分要点批改。讲授约 18 分钟,测验时间另计。总分达到 80 分继续;60–79 分针对性补练;低于 60 分复习再练。

Lv1|交叉熵、泛化与评测污染的机制边界(15 分|预计 2 分钟|单选)

某团队报告模型在公开问答基准上的准确率提高,但新训练集含有该基准题目及其解析的改写,同时训练损失下降。下列哪项结论最严谨?

A. 训练交叉熵降低就从数学上保证未见任务准确率提高,因此无需检查数据来源。

B. 更低训练损失不能单独证明泛化;应审计题目、答案和改写的重合,并用独立未污染评测集验证。

C. 只要训练与测试文件名不同,就可以严格证明不存在评测泄漏。

D. 只要模型使用 Causal Mask,训练集中的评测答案就不可能造成污染。

提示:区分训练分布上的拟合、真实未见数据上的泛化,以及架构中的因果 Mask 所防止的未来 token 泄漏。

Lv2|Masked next-token cross-entropy 数值计算(20 分|预计 4 分钟|数值题)

某序列的三个位置具有词表大小 V=3 的 logits:z₀=(ln3,0,0),z₁=(0,0,0),z₂=(0,0,ln2)。移位后的标签分别为 [0,忽略,2],Loss Mask 为 [1,0,1]。采用自然对数、按有效 Token 数平均的 Cross-Entropy。求平均损失 L,填写至少四位小数。

请填写十进制数(允许合理数值舍入)。

提示:先在词表维做 Softmax;仅计算第 0、2 位置正确类别的负对数概率,分母是有效位置数,不是 3。

Lv3|计算最优、分布式训练与 IO-aware Attention 的边界(25 分|预计 6 分钟|多选)

考虑稠密 Decoder-only 模型的固定计算预算预训练与 GPU 训练系统,下列哪些陈述成立?(多选;各陈述按其给定假设理解。)

A. 若近似 C=6ND 且 C 固定,参数 N 增为两倍时,可处理的训练 Token 数 D 约降为一半。

B. FlashAttention 的分块在线 Softmax 会使标准密集精确 Attention 的全部 Q/K 两两交互从 Θ(T²d) 严格降为 Θ(Td)。

C. 不同 GPU 的有效 Token 数不同时,普通 DDP 等权平均本地 token-mean 梯度必然等于全局 token-mean 梯度。

D. ZeRO-3/FSDP 全分片可以分片参数、梯度与优化器状态,但计算时可能需要临时聚合参数,理论长期状态显存不等于实际峰值。

E. Activation Checkpointing 可通过反向时重算降低要保存的激活;即使 HFU 上升,也不能由此推断同等质量训练更快。

F. 即使 Tokenizer 与评估数据不同,也可以仅凭模型的 per-token Perplexity 数值做严格公平比较。

提示:分别计算 ND 固定时的反比例;区分密集 Attention 算术量与 HBM 访存;区分 rank 等权与 token 等权、长期状态与临时峰值、硬件利用率与 time-to-quality。

Lv4|四周综合:概率建模、缩放推导与受控预训练方案(40 分|预计 15 分钟|开放题)

为一个稠密 Decoder-only 预训练项目设计从数据到 GPU 的可复现训练与评测方案。A(12 分):写出 Token IDs→Embedding→Causal Attention→LM Head→移位标签 Cross-Entropy 的形状和计算关系;推导单位置 dℓ/dzₖ,并说明 Causal Mask 与 Loss Mask 的不同职责。B(10 分):给定经验式 L(N,D)=E+A/N^α+B/D^β 与 C=kND(常数均为正),推导固定 C 的最优 N(C)、D(C) 及 α=β 时的增长指数,说明经验式的有效范围。C(10 分):8 卡、不同长度/有效 Token 的 DDP+梯度累积中写出正确的全局 token-mean 梯度,解释 FP16 unscale、检查非有限值、全局裁剪、AdamW 更新的顺序;比较普通 DDP 与全分片 FSDP 的模型状态和通信。D(8 分):提出控制数据去重、评测污染、Tokenizer、预算与超参的消融;同时报告 held-out CE/BPB、任务质量、有效 Token/s、峰值显存、通信/重计算和 time-to-quality。

请按 A/B/C/D 四部分给出推导与实验方案,明确假设和评估口径。

提示:A 从矩阵形状、Softmax 与 −ln pᵧ 出发;B 代入 D=C/(kN) 求导;C 先累积每个有效 Token 的梯度和,再归一化并注意 DDP 默认平均;D 区分经验拟合、离线质量指标和实际墙钟成本。

十、下一课预告

第 29 课|2026 年 11 月 17 日|第五周第 1 课:Prefill、Decode 与 KV Cache 的内存/计算模型。

将用一个完整推理请求推导首 Token 延迟(TTFT)、逐 Token Decode、KV Cache 显存与 HBM 访问,理解长上下文下为什么推理常常从计算问题转向带宽与调度问题。后续将学习 Continuous Batching、量化、Speculative Decoding 与 MoE 推理系统。

本阶段测验初次讲义不写标准答案;客观题答案/讲解及开放题评分细则保存在独立 JSON。提交作答后逐题解释并按 80+/60–79/<60 的约定安排继续、补练或复习。

阅读资料: Chinchilla / Training Compute-Optimal Large Language Models(2022);FlashAttention(2022);PyTorch DDP;PyTorch FSDP。