第 28 课|前四周综合复盘与第一次阶段考核
2026 年 11 月 16 日|第 4 周第 7 课(复盘+第一次阶段考核)|讲授约 18 分钟;自测另计
今天不引入一门全新算法,而是把前四周连接成完整系统:原始数据如何变成概率训练目标,梯度如何穿过 Transformer,以及固定训练预算下怎样同时控制模型质量、GPU 显存、吞吐和评测可信度?
本课覆盖:第 1 周统计学习与交叉熵,第 2 周优化/归一化/残差,第 3 周注意力和自回归,第 4 周 Tokenization、数据、Scaling 与预训练系统。
一、四周知识树:从数据到可信结果
flowchart TD
A["原始文档:来源、授权、去重、评测隔离"] --> B["Tokenizer / BPE → Token IDs"]
B --> C["Embedding + Position / RoPE"]
C --> D["Pre-Norm Transformer:Causal Attention + FFN + Residual"]
D --> E["LM Head → 词表 Logits"]
E --> F["Shifted Labels + Loss Mask → CE / NLL"]
F --> G["Backward:Q/K/V 梯度 → AdamW / Warmup / Clip"]
G --> H["DDP / FSDP + BF16 / FP8 + Activation Checkpoint"]
H --> I["验证:Held-out Loss、任务质量、吞吐与资源"]
I -. "调整数据混合 q、模型 N、训练 Token D" .-> A
这张图中三种“Mask”不能混为一谈:Causal/Attention Mask 控制当前 Query 能读取哪些 Key;Loss Mask 控制哪些位置参与监督;数据污染隔离则是训练前的集合管理,不是张量 Mask。
二、第一周复盘:从极大似然到泛化
对监督数据 ((x,y)) 与模型分布 (p_\theta(y\mid x)),最大化条件对数似然,等价于最小化负对数似然:
[ \hat R(\theta)=-\frac1n\sum_{i=1}^n\log p_\theta(y_i\mid x_i). ]
对单个 One-hot 标签 (y) 与词表 Logits (z\in\mathbb R^V),有
[ \ell=-\log\frac{e^{z_y}}{\sum_j e^{z_j}} =-z_y+\log\sum_j e^{z_j}. ]
逐坐标求导:
[ \boxed{\frac{\partial\ell}{\partial z_k} =p_k-\mathbf1[k=y]},\qquad p_k=\frac{e^{z_k}}{\sum_j e^{z_j}}. ]
正确类别的 Logit 得到 (p_y-1) 的梯度,其他类别得到 (p_k)。这个推导依赖 One-hot Softmax CE;改用 Label Smoothing 时相应改变目标分布。
泛化边界。 训练风险 (\hat R) 与真实目标分布风险 (R=\mathbb E_{(x,y)\sim\mathcal D}[\ell]) 不同。对平方误差回归,在固定 (x)、不可约噪声方差为 (\sigma^2) 等假设下,经典分解为:
[ \mathbb E[(Y-\hat f(x))^2] =\sigma^2+\operatorname{Bias}[\hat f(x)]^2+\operatorname{Var}[\hat f(x)]. ]
它不是任意语言模型 Cross-Entropy 的逐项恒等分解。更低的训练 CE 不保证未见任务正确率更高;如果训练语料含测试题答案,基准分数还可能偏乐观。
三、第二周复盘:更新幅度与梯度传播
对 (L)-smooth 的确定性可微损失 (f),梯度下降 (x^+=x-\eta\nabla f(x)) 满足下降引理:
[ f(x^+)\le f(x) -\eta\left(1-\frac{L\eta}{2}\right)|\nabla f(x)|_2^2. ]
所以在 (0<\eta<2/L) 下可给出单步非增保证;但随机梯度、AdamW 动量、混合精度和非平稳数据并不满足上述简单推导的所有条件,不能保证每一步训练 Loss 都下降。
Pre-Norm 残差块可写为:
[ u=x+\operatorname{Attn}(\operatorname{Norm}_1(x)),\qquad y=u+\operatorname{FFN}(\operatorname{Norm}_2(u)). ]
单个残差映射 (x+F(x)) 的 Jacobian 为 (I+J_F);恒等路径帮助梯度传播,但不保证任意深度都稳定。全局范数裁剪为:
[ g_{\mathrm{clip}}=g\min\left(1,\frac c{|g|_2}\right) ]
(零向量保持零)。它按比例缩小向量,而不是逐坐标截断;对完整 AdamW 更新范数并不存在简单的 (\eta c) 通用上界。
训练稳定性需要同时检查 Warmup/LR、未裁剪梯度范数、Inf/NaN、Optimizer State、数据异常及固定验证损失;单次 Loss Spike 不自动等于坏样本。
四、第三周复盘:Attention 的形状、概率与梯度
对单头,给定 (Q\in\mathbb R^{T_q\times d_k})、(K\in\mathbb R^{T_k\times d_k})、(V\in\mathbb R^{T_k\times d_v}):
[ S=\frac{QK^\top}{\sqrt{d_k}}+M,\qquad P=\operatorname{softmax}_{\mathrm{key}}(S),\qquad O=PV. ]
Scores 是 (T_q\times T_k),输出是 (T_q\times d_v)。Self-Attention 通常有 (T_q=T_k);Encoder–Decoder Cross-Attention 可有 (T_q\ne T_k)。
Decoder-only 的因果 Mask:
[ M_{ij}=\begin{cases}0&j\le i,\-\infty&j>i.\end{cases} ]
Teacher Forcing 使用真实已知前缀及移位标签,所以同一层各训练位置可并行计算;自由生成时下一个前缀取决于刚生成的 token,仍有跨步依赖。RoPE 则将 Q/K 旋转后的点积写成 (q^\top R((n-m)\omega)k) 的相对位移形式;位置机制不是 Causal Mask。
反向传播记上游 (G=\partial\mathcal L/\partial O)。有:
[ \bar V=P^\top G,\quad \bar P=GV^\top,\quad D_i=\sum_jP_{ij}\bar P_{ij}=G_i^\top O_i, ]
[ \bar S_{ij}=P_{ij}(\bar P_{ij}-D_i),\quad \bar Q=\frac{\bar S K}{\sqrt{d_k}},\quad \bar K=\frac{\bar S^\top Q}{\sqrt{d_k}}. ]
FlashAttention 使用分块和 Online Softmax 减少完整 (T\times T) 概率矩阵的 HBM 物化;对标准密集精确 Attention,其主要两两交互仍是 (\Theta(BT^2d)),并非自动线性。参考:FlashAttention(2022)。
五、第四周复盘:Tokenizer、数据混合与缩放律
Tokenizer 将原始文本映射为 token IDs;BPE 学习频繁相邻符号对的固定合并规则,编码新文档时不是重新训练合并规则。更大的 (V) 通常增加 Embedding/LM Head 规模,却可能缩短序列 (T);而密集注意力交互成本依赖 (T^2)。跨 Tokenizer 的 per-token PPL 不应在忽略切分差异时直接比较。
若第 (d) 个数据域的有效 token 损失为 (L_d(\theta)),采样权重为 (q_d):
[ \boxed{L_{\mathrm{mix}}(\theta)=\sum_dq_dL_d(\theta),\quad \sum_dq_d=1.} ]
改变 (q_d) 会改变训练风险。文档采样比例也不一定等于 token 比例;要记录进入 Loss 的有效 Token。精确哈希、近重复 MinHash/LSH 和长片段重叠解决不同问题;评测题、答案、改写、题解需要事先隔离并审计,而不是训练结束再删文件。
对稠密模型,近似训练计算量 (C\approx kND),其中常用 (k\approx6)。一个典型经验拟合式是:
[ L(N,D)=E+\frac A{N^\alpha}+\frac B{D^\beta}. ]
令 (K=C/k),从 (ND=K) 得 (D=K/N),于是:
[ L(N)=E+AN^{-\alpha}+BK^{-\beta}N^\beta. ]
求导并令零:
[ -\alpha AN^{-\alpha-1}+\beta BK^{-\beta}N^{\beta-1}=0. ]
整理得:
[ \boxed{ N^=\left(\frac{\alpha A}{\beta B}\right)^{!1/(\alpha+\beta)} K^{\beta/(\alpha+\beta)},\quad D^=\left(\frac{\beta B}{\alpha A}\right)^{!1/(\alpha+\beta)} K^{\alpha/(\alpha+\beta)}. } ]
当 (\alpha=\beta),两者随计算预算以 (\sqrt C) 量级增长。该结论成立于指定拟合式、连续变量与固定 FLOPs 约束下,不是所有模型严格拥有同一最优 Token/参数比例。参考:Chinchilla(2022)。
一次数值复核
考虑玩具风险 (L=1+4/N+9/D),令 (ND=144)。代入得:
[ L(N)=1+\frac4N+\frac N{16},\qquad \frac{dL}{dN}=-\frac4{N^2}+\frac1{16}. ]
得到 (N^=8,\ D^=18),最小预测损失 (1+0.5+0.5=2)。注意这是抽象教学单位,不能解释为实际最优 8 参数、18 Token。
六、分布式与数值系统:真正进入优化器的是哪个梯度?
设 (P) 张卡、每卡累积 (A) 个 Microbatch,(m_{pait}) 是第 (p) 卡、第 (a) 次累积、第 (i) 个样本、第 (t) 个 Token 的有效监督 Mask。
正确的全局 token-mean 梯度:
[ \boxed{ g=\frac{\sum_{p,a,i,t}m_{pait}\nabla_\theta\ell_{pait}} {\sum_{p,a,i,t}m_{pait}}. } ]
数值反例: 两张卡的有效数为 2 和 6,本地平均梯度(某一标量坐标)为 2 和 6。真实全局梯度是 ((2\cdot2+6\cdot6)/8=5),而直接等权平均两个本地均值会得到 4。普通 DDP 默认平均 rank 梯度,必须处理有效 Token 权重及 DDP 缩放因子。
FP16 Loss Scaling 下,典型处理顺序是:对正确归一化的 loss 做 scaling 与反向累积 → unscale → 检查非有限梯度 → 全局范数裁剪 → 安全执行 AdamW → 正确更新调度器和 scaler。不要先对放大过的梯度裁剪,也不要在每个 Microbatch 上先各自裁剪再求和。
普通 DDP 复制模型状态;ZeRO-3/FSDP 全分片可分片参数、梯度、优化器状态,但按层计算可能需要 AllGather 和 ReduceScatter,峰值显存还包含暂存参数、激活、通信缓冲。
Activation Checkpointing 使用反向重算换取较少保存激活。在顺序分段的简化模型中,每 (r) 层存一组边界,峰值激活示意量为 (O(h(L/r+r))),选 (r\sim\sqrt L)。更高 HFU 可能只意味着更多重算,不直接等于更高有效 Token/s 或更快达到相同验证质量。
七、把理论结论变成可复现实验
flowchart LR
A["固定训练/验证来源与污染审计"] --> B["固定 Tokenizer、Loss 和模型定义"]
B --> C["选择 N/D、Batch、精度、分片与重算配置"]
C --> D["运行训练 + 原始 Step 级诊断"]
D --> E["报告 CE/BPB、任务质量、稳定性"]
E --> F["有效 Token/s、显存峰值、通信、实际 FLOPs"]
F --> G["等预算比较:time-to-quality"]
需要同时设立等训练 Token、等 FLOPs 和等墙钟三种报告视角。它们一般不能相互代替。还要固定或对齐数据域、序列长度、超参调优机会和随机种子;比较不同 tokenizer 时统一原始评测文本并注明口径。
今天最重要的结论是:低训练 Loss、低估计 FLOPs、高 GPU 利用率、少显存、强下游泛化并不是同一个目标。 每个指标都有各自的分子、分母和适用条件。阶段考核会同时测试数学正确性、建模边界与系统实验设计。
八、常见反例与知识边界
| 错误直觉 | 严谨结论 |
|---|---|
| 训练 CE 下降,未见任务必然提高 | 真实分布、数据污染、过拟合都可能改变结论 |
| Teacher Forcing 可并行,所以自由生成可一轮完成 | 未生成前缀尚未确定 |
| Attention Mask、Loss Mask、评测隔离是同一机制 | 三者解决张量可见性、监督位置、数据集合独立性 |
| Warmup 与全局裁剪能保证 AdamW 永不 Spike | 随机噪声、动量、数值范围等仍有影响 |
| FlashAttention 让所有密集 QK 算术线性化 | 主要改善 IO 和中间矩阵物化 |
| DDP 自动实现不同长度的全局 Token 加权 | 需用实际有效 Token 数正确归一化 |
| FP8 或 FSDP 的理论存储收益就是整卡峰值收益 | 还需计入激活、临时缓冲、Scale 与通信 |
| 经验缩放律必然给出固定的最优 D/N | 取决于经验系数和可行约束 |
经典部分: MLE/CE、偏差方差分解的限定形式、链式法则、Smoothness、矩阵梯度与分布式平均梯度。经验或研究部分: Scaling Laws、数据混合策略、FP8 性能、FSDP/FlashAttention 的 GPU 收益及 time-to-quality,不能脱离实验条件推广。
九、第一次阶段考核(100 分,首次不公布答案)
四题按 Lv1 15 分、Lv2 20 分、Lv3 25 分、Lv4 40 分计分,前三题客观判分;最后一题按分项评分要点批改。讲授约 18 分钟,测验时间另计。总分达到 80 分继续;60–79 分针对性补练;低于 60 分复习再练。
Lv1|交叉熵、泛化与评测污染的机制边界(15 分|预计 2 分钟|单选)
某团队报告模型在公开问答基准上的准确率提高,但新训练集含有该基准题目及其解析的改写,同时训练损失下降。下列哪项结论最严谨?
A. 训练交叉熵降低就从数学上保证未见任务准确率提高,因此无需检查数据来源。
B. 更低训练损失不能单独证明泛化;应审计题目、答案和改写的重合,并用独立未污染评测集验证。
C. 只要训练与测试文件名不同,就可以严格证明不存在评测泄漏。
D. 只要模型使用 Causal Mask,训练集中的评测答案就不可能造成污染。
提示:区分训练分布上的拟合、真实未见数据上的泛化,以及架构中的因果 Mask 所防止的未来 token 泄漏。
Lv2|Masked next-token cross-entropy 数值计算(20 分|预计 4 分钟|数值题)
某序列的三个位置具有词表大小 V=3 的 logits:z₀=(ln3,0,0),z₁=(0,0,0),z₂=(0,0,ln2)。移位后的标签分别为 [0,忽略,2],Loss Mask 为 [1,0,1]。采用自然对数、按有效 Token 数平均的 Cross-Entropy。求平均损失 L,填写至少四位小数。
请填写十进制数(允许合理数值舍入)。
提示:先在词表维做 Softmax;仅计算第 0、2 位置正确类别的负对数概率,分母是有效位置数,不是 3。
Lv3|计算最优、分布式训练与 IO-aware Attention 的边界(25 分|预计 6 分钟|多选)
考虑稠密 Decoder-only 模型的固定计算预算预训练与 GPU 训练系统,下列哪些陈述成立?(多选;各陈述按其给定假设理解。)
A. 若近似 C=6ND 且 C 固定,参数 N 增为两倍时,可处理的训练 Token 数 D 约降为一半。
B. FlashAttention 的分块在线 Softmax 会使标准密集精确 Attention 的全部 Q/K 两两交互从 Θ(T²d) 严格降为 Θ(Td)。
C. 不同 GPU 的有效 Token 数不同时,普通 DDP 等权平均本地 token-mean 梯度必然等于全局 token-mean 梯度。
D. ZeRO-3/FSDP 全分片可以分片参数、梯度与优化器状态,但计算时可能需要临时聚合参数,理论长期状态显存不等于实际峰值。
E. Activation Checkpointing 可通过反向时重算降低要保存的激活;即使 HFU 上升,也不能由此推断同等质量训练更快。
F. 即使 Tokenizer 与评估数据不同,也可以仅凭模型的 per-token Perplexity 数值做严格公平比较。
提示:分别计算 ND 固定时的反比例;区分密集 Attention 算术量与 HBM 访存;区分 rank 等权与 token 等权、长期状态与临时峰值、硬件利用率与 time-to-quality。
Lv4|四周综合:概率建模、缩放推导与受控预训练方案(40 分|预计 15 分钟|开放题)
为一个稠密 Decoder-only 预训练项目设计从数据到 GPU 的可复现训练与评测方案。A(12 分):写出 Token IDs→Embedding→Causal Attention→LM Head→移位标签 Cross-Entropy 的形状和计算关系;推导单位置 dℓ/dzₖ,并说明 Causal Mask 与 Loss Mask 的不同职责。B(10 分):给定经验式 L(N,D)=E+A/N^α+B/D^β 与 C=kND(常数均为正),推导固定 C 的最优 N(C)、D(C) 及 α=β 时的增长指数,说明经验式的有效范围。C(10 分):8 卡、不同长度/有效 Token 的 DDP+梯度累积中写出正确的全局 token-mean 梯度,解释 FP16 unscale、检查非有限值、全局裁剪、AdamW 更新的顺序;比较普通 DDP 与全分片 FSDP 的模型状态和通信。D(8 分):提出控制数据去重、评测污染、Tokenizer、预算与超参的消融;同时报告 held-out CE/BPB、任务质量、有效 Token/s、峰值显存、通信/重计算和 time-to-quality。
请按 A/B/C/D 四部分给出推导与实验方案,明确假设和评估口径。
提示:A 从矩阵形状、Softmax 与 −ln pᵧ 出发;B 代入 D=C/(kN) 求导;C 先累积每个有效 Token 的梯度和,再归一化并注意 DDP 默认平均;D 区分经验拟合、离线质量指标和实际墙钟成本。
十、下一课预告
第 29 课|2026 年 11 月 17 日|第五周第 1 课:Prefill、Decode 与 KV Cache 的内存/计算模型。
将用一个完整推理请求推导首 Token 延迟(TTFT)、逐 Token Decode、KV Cache 显存与 HBM 访问,理解长上下文下为什么推理常常从计算问题转向带宽与调度问题。后续将学习 Continuous Batching、量化、Speculative Decoding 与 MoE 推理系统。
本阶段测验初次讲义不写标准答案;客观题答案/讲解及开放题评分细则保存在独立 JSON。提交作答后逐题解释并按 80+/60–79/<60 的约定安排继续、补练或复习。
阅读资料: Chinchilla / Training Compute-Optimal Large Language Models(2022);FlashAttention(2022);PyTorch DDP;PyTorch FSDP。