人工智能:理论、算法与系统 · 第23课
预训练数据配比、去重与评测污染:数据质量怎样改变优化目标?
2026 年 11 月 11 日|第 4 周第 2 课|约 18 分钟
上一课学习 Tokenizer 如何把原始文本转成 Token。今天继续追问:如果训练语料有 1 万亿 Token,其中大量是转载、模板、自动生成的低质内容或评测题答案,堆更多 Token 就一定能让模型变好吗?
答案取决于“训练目标”与“数据分布”是否一致。本课目标是:(1)从期望风险推导混合比例的意义;(2)区分精确去重、近重复和长片段重复;(3)认识评测污染、隐私与许可证的边界;(4)制定可复现的数据—模型—系统对照实验。
一、数据管线不是一张文本清单
真实预训练大致经过:采集或授权访问 → 来源登记 → 评测集合隔离 → 清洗与规范化 → 精确/近重复检测 → 质量和安全过滤 → 域混合采样 → Tokenization/Packing → 训练 → 独立评估。
flowchart TD
A["候选语料:Web / Books / Code"] --> B["记录来源、授权与版本"]
E["独立评测题、答案与变体"] --> X["保密冻结:污染检查索引"]
B --> C["规范化 + 精确哈希去重"]
C --> D["Shingle/MinHash 候选 + 近重复复核"]
D --> F["质量、许可、敏感信息筛查"]
X -. "跨集合检查,不能流入训练" .-> F
F --> G["域混合权重 q_d / token 预算"]
G --> H["Tokenizer + 文档 Packing / Mask"]
H --> I["Decoder-only 预训练"]
I --> J["域分组 Loss、质量、显存/吞吐、污染审计"]
每一步都可能影响后续统计分布。去重后总文档数变化,质量过滤后各域占比变化,Tokenizer 又改变各域的 Token 计数。最终进入优化器的 token 分布,才是模型真正学到的采样目标。
一个容易忽略的例子
某网页被转载 100 次,另一篇专业文档只出现一次。若不去重、直接均匀抽取文档,模型会反复见到转载内容。这里“出现次数多”可能是网站镜像的产物,而非目标用户更需要它。反过来,重复的法律条款、常见代码模式有时是真实分布的一部分,也不能把所有重复无条件删除。
二、混合采样直接改变训练的数学目标
设训练数据分成 D 个域,例如 Web、Code、Books。第 d 个域的分布记为 (\mathcal D_d),单域每个有效 Token 的平均负对数似然风险为
[ L_d(\theta)=\mathbb E_{x\sim\mathcal D_d}[\ell(\theta;x)]. ]
这里假设训练单位和损失归一化口径一致,例如都按有效 Token 计数。为每个域设非负 token 采样权重 (q_d),满足 (\sum_d q_d=1)。那么混合目标是
[ \boxed{L_{\rm mix}(\theta;q)=\sum_{d=1}^{D}q_dL_d(\theta).} ]
如果域内样本均匀采样、单步梯度无偏,且可以交换期望与微分,
[ \boxed{\mathbb E[g(\theta)]=\sum_dq_d\nabla_\theta L_d(\theta).} ]
所以改变混合比例,不只是改变训练速度,而是在改变优化目标本身。假设 Web/Code 两域的损失分别是 (L_W=2,L_C=5),取 (q=(0.8,0.2)) 得 (L_{\rm mix}=2.6);改为 (q=(0.5,0.5)) 得 (3.5)。这两个数字只是同一固定模型状态下的混合指标,不代表哪个模型训练完会更好,也不代表应该盲目选择低损失域。
如果真实部署的目标分布为 (p_d),我们关心的可能是 (L_{\rm target}=\sum_dp_dL_d),但实际训练用的 (q_d) 未必等于 (p_d)。在已知 (p_d,q_d>0) 的理想条件下,可用重要性权重 (p_d/q_d) 构造对应目标的无偏估计;实际会受到方差增大、数据支持集不完整和部署分布未知的限制。
文档比例与 Token 比例不相同
设抽取来源 A 的文档概率为 (a),其平均长度为 (\mu_A);来源 B 的概率为 (1-a),平均长度为 (\mu_B)。长期累计的 A 域 Token 占比近似为
[ \boxed{q_A=\frac{a\mu_A}{a\mu_A+(1-a)\mu_B}.} ]
推导就是“单位抽样次数的期望 A token 数”除以“期望总 token 数”,依据是足够多次独立抽样的大数定律。
例如 A、B 各以 50% 的概率抽取文档,平均长度分别是 100 和 400 Token;长期 A 的 Token 份额约是 (100/(100+400)=20\%),不是 50%。如果实际训练对文档截断、拼接或重采样,需用进入 loss 的有效 token 重新测量,而不是继续使用上面的原始长度公式。
三、去重:三个不同的问题
精确去重:对规范化文本求哈希,例如 SHA-256。哈希一致的记录可作为精确重复候选(必要时再比对原文)。规范化可以统一换行和空白,但必须记录版本;过强的规范化可能误合并不同含义的文档。只检查原始文件哈希,会错过广告前缀、网页模板稍异的复制文本。
近重复去重:例如两个网页主体相同,但时间戳、导航栏和几句话不同。可以将文本映射为长度为 k 的词/字符 shingle 集合 A、B,用 Jaccard 相似度:
[ \boxed{J(A,B)=\frac{|A\cap B|}{|A\cup B|}.} ]
MinHash 的经典性质是:理想随机排列条件下,单个 MinHash 值相等的概率为 (J(A,B))。用多维签名估计相似度,再用 LSH 快速找候选,最后回到具体内容与阈值复核。MinHash/LSH 用于候选发现,不是百分百正确的“相同文档证明”。
长片段重复:两篇总体很不相似的文档,也可能都含有一段很长的相同答案、许可证文本或题解。整篇 Jaccard 可能很低,仍需 n-gram/后缀数组或段落级检测。尤其评测污染不能只依赖整篇近重复。
flowchart LR
A["规范化文档"] --> B["精确哈希:相同文本"]
A --> C["Shingle → MinHash/LSH 候选"]
C --> D["相似度阈值复核"]
A --> E["长 n-gram / 段落重叠"]
B --> F["形成文档族/重复簇"]
D --> F
E --> F
F --> G["跨域、跨训练/评测集合隔离 + 代表样本保留"]
去重还必须说明粒度和阈值:删除完全相同的文件、只保留同簇一个代表、还是允许受控的重复频率?不同策略会改变稀有域覆盖和文档来源分布。研究表明,训练数据去重与记忆化、评估重叠都有关系;但并不能推导“越严格去重,任何任务越好”这样的普遍结论。
四、为什么评测污染比普通重复更危险?
评测污染(evaluation contamination)是指训练数据中含有本应用于独立评估的信息,例如基准题目、标准答案、题解或高度接近的改写,导致分数无法单纯代表任务泛化能力。
假设评测题是“给定程序的 bug,修复后通过测试”。训练中即使没有出现原题的完整文字,但出现了对应补丁和测试结论,仍可能使测评偏乐观。反过来,领域中的常见知识与评测题共享若干词句,并不自动代表违规泄漏;应报告匹配类型与证据强度,避免将所有重合都判为污染。
合理流程是:评测集及其答案/变体先冻结并隔离,数据入库前做跨集合查重与题解检测;污染候选不进入训练,审计日志不公开题目秘密。
为什么不能训练后再去掉重复文件?因为模型参数可能已经吸收信息,删除磁盘文件并不会自动“撤销学习”。为什么按文件路径分开仍不足够?因为镜像、转载、改写和生成数据会把相同信息带到另一条路径。
如果已有模型可能被污染,应谨慎解释分数:可增加未见的新题、时间切分、人工核验和污染匹配分组报告,但不要声称某一种检查能证明绝对无污染。
五、质量过滤与数据域混合:高 Loss 不一定高价值
常见质量筛选包含:语言/格式识别、重复模板或垃圾信息过滤、代码能否解析、文档完整度、模型辅助的质量评估、许可证和隐私检查。阈值越严,可能减少噪声,也可能误删方言、低资源语言、长尾知识或罕见代码;因此要记录各域保留率和误删审计样本。
Domain mixture 的最简单基线是按原始 token 占比采样,另一个基线是按目标任务需求手工设权重。进一步的研究例如 DoReMi(NeurIPS 2023),用较小的参考模型与 proxy,基于域相对损失和 group-robust 优化学习混合权重,再用这些权重训练较大的主模型。它不是“永远多采样损失最高的域”:高损失可能来自难度,也可能来自标签冲突、乱码和噪声。优化策略还必须限制采样概率,避免某些关键域被饿死。
DCLM(NeurIPS 2024)提供了固定训练配方下对清洗、质量过滤和数据混合进行受控实验的基准,说明训练数据构建本身就是模型研究变量。上述是已公开论文的特定实验结论,而不是所有训练规模的无条件收益保证。
六、Packing 与有效 Token:优化的是哪一部分 Loss?
很多文档短于上下文窗口 (T)。若每篇都单独 padding 到 (T),会浪费计算。设整个 batch 处理 (N_{\rm slots}) 个 token 槽位,其中真正参与训练损失的有效位置为 (N_{\rm valid}),定义:
[ \boxed{\rho_{\rm useful}=N_{\rm valid}/N_{\rm slots}.} ]
如果模型处理速度为 (R_{\rm slots}) token-slots/s,那么有效监督速率近似为 (R_{\rm useful}=\rho_{\rm useful}R_{\rm slots})。注意这里不是说无效位置完全不产生计算,也不保证 latency 简单按比例变化。
Packing 可以把多篇短文放入一个训练窗口。但必须明确:不同文档之间能否通过 Attention 相互读取?是否在每篇之间插入 EOS?Position ID 是否重新开始?Loss Mask 是否监督跨文档边界的下一个 token?这些都是训练目标定义,而不是单纯的工程细节。若宣称文档间独立,则应使用 block-diagonal attention 等方式阻断跨文档读取;只插入 EOS 并不会在数学上自动禁止跨文档注意力。
# 教学伪代码,省略数据格式和分布式细节
evaluation = freeze_private_evaluation_set()
train_candidates = collect_with_provenance_and_license()
train_candidates = normalize_with_version(train_candidates)
train_candidates = exact_dedup(train_candidates)
clusters = near_duplicate_candidates_and_verify(train_candidates)
train = remove_eval_overlaps_and_sensitive_content(clusters, evaluation)
train = audit_quality_and_domain_retention(train)
streams = tokenize_and_sample_by_measured_token_share(train, domain_weights)
batches = pack_with_explicit_eos_position_attention_and_loss_rules(streams)
fit_model(batches)
evaluate_on_heldout_sets_with_contamination_audit()
七、一个真正公平的消融实验
对比三种数据策略:原始域占比 + 基础去重;加入近重复与质量过滤;在前两者基础上调整域 token 混合比例。尽可能固定模型、Tokenizer、网络深度、优化器、学习率计划、随机种子组、硬件和评估集。
需要报告以下不同维度,而不能只报一个总分:
| 指标 | 想回答的问题 |
|---|---|
| 各域 held-out NLL / BPB | 哪些域真的改善,哪些被牺牲? |
| 下游任务与新题表现 | 是否有迁移收益,而非只改善训练拟合? |
| 去重率、保留率、误删审计 | 数据质量与覆盖发生了什么变化? |
| 训练—评测重合、题解污染 | 独立评估是否可信? |
| 有效 Token/s、GPU 使用、墙钟 | 质量提高是否抵消系统代价? |
| 唯一文档覆盖、训练 Token、总 FLOPs | 究竟固定的是哪种预算? |
尤其注意:等训练 Token 数 ≠ 等独立原始文档覆盖 ≠ 等总 FLOPs ≠ 等墙钟时间。如果优化器更频繁看到重复文本,固定 token 预算也不代表看到同样多的新知识。报告中必须把这些约束说清。
八、本课易错反例
| 错误直觉 | 更严格的结论 |
|---|---|
| 数据更多就一定更好 | 额外数据可能是低质、重复或错误来源 |
| 精确 Hash 去重能消灭所有复制内容 | 近改写与长片段重叠需要其他检查 |
| MinHash 签名相等证明文本语义相同 | MinHash 近似集合重叠,不是语义等价证明 |
| 文档采样 50% 就等于 Token 采样 50% | 还要考虑每域文档长度、截断和 packing |
| 不同文件夹保证训练与测试独立 | 内容、答案或改写可能跨集合重合 |
| 把最高 Loss 域权重拉满一定最好 | 高 Loss 可能是噪声,还可能损害其他域 |
| 插入 EOS 就严格隔离 Packed Documents | 需要明确 Attention、Position、Loss 边界 |
经典理论与新研究的边界: 混合期望、梯度无偏性、Jaccard 与 MinHash 属于统计/算法基础;数据过滤、DoReMi 和 DCLM 的效果是特定研究方案的实证结果,必须对应实验条件。
九、参考阅读
- Lee 等,Deduplicating Training Data Makes Language Models Better,ACL 2022:https://aclanthology.org/2022.acl-long.577/
- Xie 等,DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining,NeurIPS 2023:https://proceedings.nips.cc/paper_files/paper/2023/hash/dcba6be91359358c2355cd920da3fcbd-Abstract-Conference.html
- Li 等,DataComp-LM: In Search of the Next Generation of Training Sets for Language Models,NeurIPS 2024:https://papers.nips.cc/paper_files/paper/2024/hash/19e4ea30dded58259665db375885e412-Abstract-Datasets_and_Benchmarks_Track.html
十、四级递进自测(100 分)
首次授课不展示标准答案。 前三题由网站客观判分,第四题按推导和实验评分。总分 80 分及以上继续;60–79 分针对性补练;低于 60 分复习再练。每题只提供不泄题提示。
Lv1|评测污染与流程机制(15 分|预计 2 分钟|单选)
某团队计划训练语言模型,并使用一组保密的评测题。原始数据含网页镜像、改写文章和公开的题目解析。以下哪一种数据流程最能降低评测污染并保留可审计性?
A. 只需确保训练文件名与测试文件名不同;内容是否重合不影响测评。
B. 先完整训练,再删除训练语料里与测试题相同的文件,就能消除模型已经见过答案的影响。
C. 先冻结评测集合及其变体,按文档族/近重复簇核查训练候选,隔离重叠与答案泄漏,记录来源和过滤决策后再训练。
D. 将测试题改写几个同义词即可消除泄漏;不需要检查训练语料中的解析和答案。
提示:考虑“内容泄漏”能否靠文件名或训练结束后删除解决;还要考虑重复文章与题解的关联。
Lv2|文档采样和 Token 概率(20 分|预计 4 分钟|数值题)
某采样器每次先选择一个文档来源:以 60% 的概率选择 A、40% 的概率选择 B;然后从该来源均匀抽取一篇文档。假定 A 的每篇文档恒为 100 token,B 的每篇文档恒为 300 token,均原样使用、不截断也不填充。长期累计训练 token 中来自 A 的比例是多少?填写 0 到 1 的十进制数,保留至少四位。
提示:先计算每次抽样来自 A、B 的期望 token 数,再求 A 占期望总 token 的比例;文档采样概率不是 token 比例。
Lv3|去重、梯度目标及建模边界(25 分|预计 6 分钟|多选)
关于去重、数据混合与训练系统,下列哪些陈述正确?(多选;除非特别说明,均以常规预训练数据管线为背景。)
A. 对规范化文本计算精确哈希可找出该规范化规则下的精确重复,但通常无法覆盖所有轻微改写和长片段重叠。
B. 两篇文档的 MinHash 签名只要有一个分量相等,就能证明它们完全相同,因此不需要候选复核。
C. 若训练时的实际采样 token 分布为 q_d,忽略其他权重后,随机梯度的期望对应的是按 q_d 加权的各域风险,而不必然等于某个目标用户分布的风险。
D. 将训练、验证、测试各自放在不同目录,便能从数学上保证不存在内容污染。
E. 近重复聚类和 LSH 通常属于候选发现手段;应结合阈值复核、文档血缘与误删率审计,而不宜把所有相似内容无条件删掉。
F. 为了优化模型,应该始终将全部采样概率分配给当前损失最大的域,不必考虑数据噪声和目标分布。
提示:分别辨别精确相等与近似相似、LSH 的候选性质、采样梯度的目标,以及高损失是否必然代表高价值。
Lv4|数据管线、公式推导及公平实验(40 分|预计 15 分钟|开放题)
设计一个有 Web、Code、Books 三个域的 Decoder-only 预训练数据管线,比较两种混合策略,并控制评测污染。A(10 分):定义域采样权重 q_d、单域风险 L_d、混合风险和随机梯度期望;解释文档级与 token 级混合不等价。B(12 分):给出精确/近重复/片段重复检查方案,说明归一化、哈希、shingle、MinHash/LSH、阈值复核与簇级拆分的作用和误删风险。C(10 分):给出评测数据隔离、题解/改写污染检测、隐私/授权检查、审计日志及 Packed Sequence 边界约定。D(8 分):设计等训练 token、等原始文档覆盖和等 FLOPs/墙钟的消融实验,指定质量、吞吐、污染与稀有域指标,解释如何避免混杂。
提示:先定义优化目标及采样单位,再按“入库前隔离→去重与过滤→混合采样→打包→训练→独立评估”的顺序写;不要把相似度算法、权限检查与模型质量评估混为一谈。
十一、下一课预告
第 24 课|2026 年 11 月 12 日|第四周第 3 课:Scaling Laws 与 Compute-Optimal Training。
从参数量 (N)、训练 Token 数 (D)、计算预算 (C) 出发,推导经验缩放律的典型形式,区分拟合公式与数学定理,解释为什么在给定算力下盲目增加参数不一定更优,并预告 Chinchilla 风格的 compute-optimal 配比。
第 28 课(2026 年 11 月 16 日)进行第四周复盘与第一次阶段考核。