大模型学习笔记 05：模型的上限，常常先被训练数据决定

讲大模型时，参数规模很容易成为主角，训练数据反而像一项不起眼的准备工作。读到这一章我才更明确：模型能接触到哪些语言、知识、风格和偏差，首先由语料决定。数据不是训练前的杂务，它本身就是模型行为的一部分。

数据清洗远不止删掉脏话

一个常见流程包括来源登记、格式解析、语言识别、质量过滤、近重复检测、隐私处理、切分和 Token 化。每一步都会影响分布：网页去噪可能移除导航，也可能误删表格上下文；去重可以降低重复记忆，也可能误伤合法的模板文本；质量分类器会偏向某种文体或语言。

因此数据清洗的目标不是让数据“看起来干净”，而是让训练集合适合预期用途，并能解释它的来源、限制和处理方式。

四个必须问的数据问题

1. 来源与权限：数据来自哪里，使用授权是什么，能否用于训练？
2. 覆盖与代表性：哪些语言、领域、群体和文体被过度或不足代表？
3. 重复与污染：相同内容是否重复，评测题是否泄漏进训练集？
4. 隐私与敏感信息：个人信息如何发现、最小化和处理？

去重为什么会影响模型

重复样本会让模型过度拟合高频网页或模板，也会扭曲不同来源在训练中的权重。精确去重比较容易，近似去重则要在召回重复和保留相似但有用内容之间权衡。比如同一规范的多个版本很相似，但版本差异可能恰恰重要。

数据质量需要闭环验证

数据规则不是越严格越好。可以抽样检查过滤前后的样本，按语言和领域分层统计，并用小规模训练或评估观察变化。若过滤后总体分数提高、少数语言任务却退化，就说明平均指标掩盖了覆盖损失。

我现在会把训练数据治理看成产品决策和风险治理的一部分。模型学到什么，不只由目标函数决定，也由哪些材料被允许进入目标函数决定。

数据处理还会影响评估的可信度。假设一批测试题或它们的答案已经出现在训练语料里，模型在测试集上的高分就不能说明它真的具备了对应能力。反过来，如果把所有可能相似的材料都删掉，评估又可能变得过于干净，和真实使用完全不一样。

所以我会把数据版本、过滤规则和抽样样本一起保存。哪怕只是一个小模型实验，也应该知道这次训练到底用了哪些数据。以后出现能力退化时，才有机会回头比较：是数据分布变了、过滤器变了，还是模型和训练配置变了。

隐私处理尤其不能只依赖一个正则表达式。姓名、电话和身份证号有时能被模式匹配，但上下文中的身份信息、内部项目名和组合线索未必能直接识别。数据进入训练前，应该尽量做最小化、脱敏和权限审查；不确定是否允许使用的材料，不应该因为网上能访问就默认可以训练。

数据质量也有领域差异。代码数据关注能否运行和许可证，医学材料关注来源和术语准确性，客服对话还要处理个人信息与情绪表达。统一的质量分数可以做筛选入口，但不能代替领域抽样和人工复核。

我会特别留意那些“看起来很干净”的数据。互相转载的网页、模板化页面和自动生成内容，可能在统计上占很大比例，却没有带来同样多的新信息。去重不能只比较整篇文本，还要关注段落级近似。另一方面，过滤器也会误伤方言、专业术语或少数语言，因此每轮规则调整都应该留下过滤前后的抽样对照。

如果以后自己做一个小模型实验，我会给每条数据保留来源、许可证、处理时间和过滤原因。这样做不只是为了审计，也是为了定位能力变化：模型突然不认识某类术语时，可以回头确认是语料本来就缺失，还是清洗规则把它删掉了。

参考：《大规模语言模型：从理论到实践》，第 3 章 3.1-3.2 节，PDF 第 57-67 页。本文为学习整理与独立阐释。