看模型卡片或技术报告时，常会碰到「网页语料、代码、书籍、多语种、合成数据」一堆词，但不知道它们各自负责什么能力，也不知道自家场景该关心哪几类。这篇按数据形态分几大类，说清每类的来源构成、能补什么短板、以及什么情况下反而不适用，最后给一份照着模型卡逐项对照的清单。
翻模型卡或者技术报告的时候，经常看到一长串词：网页语料、代码、书籍、多语种、合成数据、图文对。单个词都认识，但合在一起就懵——到底哪类管哪种能力？自己要做的事该盯哪几类？
这篇按数据形态把预训练语料拆成几大类，讲清每类的来源构成、能补什么短板、什么情况下反而不适用，最后给一份照着模型卡逐项对照的清单。不追求把学界所有分类法讲全，只讲你选模型、查资料、做判断时真用得上的那几层。
为什么要把预训练数据分类型看
预训练不是把一堆文本倒进模型就完事。不同来源的语料在清洗难度、重复率、可授权性上差得很远，分类的真正目的是判断模型能力的来源和边界——它为什么在这件事上强，在那件事上弱，往往能从数据构成里找到线索。
同一类数据在不同模型里的配比差异很大。一个模型在某个任务上表现一般，不一定意味着架构有问题，很可能是这类数据本身缺位或者占比很低。反过来说，某类数据堆得特别多，也不保证相关能力一定好，质量过滤做得差照样白搭。
- 先把「通用网页语料」「垂直领域语料」「合成数据」三条主线分清，再看具体来源清单就不会乱
- 配比信息通常只在技术报告里给个大概，模型卡往往只写「包含多语种网页数据」这种笼统说法，别指望有精确百分比
- 判断一类数据有没有用，看的不是它体量多大，而是它和其他数据的互补关系，以及清洗流程有没有针对性
通用文本类：网页、图书、百科与资讯
- 网页抓取语料
- 体量最大、话题最广，但噪音、模板化内容和重复片段也最多
- 图书与长文档
- 篇幅长、行文连贯，主要贡献长程逻辑和书面表达
- 百科与问答
- 偏事实性和口语化表达，适合补常识和对话语气
网页抓取类通常是预训练的大头，覆盖话题最广，代价是噪音多。去重、质量过滤、有害内容筛除这几道工序做得好不好，直接决定模型说话像不像样。图书和长文档类量少但单位价值高，主要贡献长程逻辑和书面表达；百科、问答、论坛类偏事实和口语，适合补常识和对话语气。
这类数据的时效性完全取决于抓取时间点，模型对最近发生的事不了解是正常现象，不是缺陷。想知道某个模型具体覆盖了哪些来源、收录到什么时间范围，去站内模型资料库看对应模型的资料页，比在论坛问一圈靠谱。
代码、数学与结构化数据
代码语料贡献的不只是写代码能力，还包括分步推理和严格语法的模式。很多人发现模型解逻辑题时表现不错，背后往往和代码语料占比有关——代码天然要求步骤严谨、符号一致，这种模式会迁移到其他推理任务上。
数学题解、形式化证明、表格与结构化记录属于另一类。共同特点是答案可校验、对错明确，特别适合用来做后训练阶段的强化学习素材。但这类数据对格式和正确性要求极高，错一道题就可能教出一个坏习惯，清洗成本远比网页语料高。
| 数据类型 | 主要贡献 | 常见风险 |
|---|---|---|
| 代码语料 | 分步推理、严格语法模式 | 授权边界不清，许可证混杂 |
| 数学与形式化 | 可校验的推理链、纠错信号 | 题目本身有错或格式不统一 |
| 表格与结构化记录 | 数值理解和字段对齐 | 字段含义缺失，容易学错对应关系 |
授权边界在这类数据上最需要留意。开源仓库的许可证并不都允许直接进训练集，有些只允许非商业使用，有些要求署名，有些干脆禁止再分发。具体哪个模型的合规情况怎么判断，去看站内安全与合规板块的说明，那里有分类标准。
多语种与多模态数据
多语种语料的分布极不均衡。中文、英文之外的小语种通常靠翻译或者合成来补齐，翻译腔和事实漂移是常见副作用。一个模型声称支持几十种语言，不代表每种都达到可商用水平，差别可能非常大。
- 先查原生语料看技术报告里有没有说明该语种用的是原生语料还是翻译语料，原生占比越高，表达越自然
- 再试长文本用该语种写一段业务相关的中长句让模型复述或总结，翻译腔重的话一眼能看出来
- 最后看边界小语种上的专有名词、法规术语最容易出错，涉及正式对外内容时别依赖单一模型输出
多模态预训练把图像、音频、视频和配对文本一起喂进去。图文对的质量比数量更关键，错配样本会直接教坏模型——图片和描述对不上，模型学到的就是错的关联。判断一个模型是不是真多模态，要看它预训练阶段是否包含跨模态对齐数据，而不是看它有没有图像接口，很多所谓多模态只是把图像转成文字再处理。
合成数据与授权边界
合成数据是用已有模型生成再回流训练的语料，适合补长尾场景和稀缺语种。但它有个明显的副作用：用多了会出现模型自我复读式的退化，表达越来越同质，冷门知识反而更容易被磨掉。合成数据比例高不高，从模型输出的措辞风格上有时能看出端倪。
合规上要分清「可抓取」和「可训练」不是一回事。公开可见不等于授权允许，语料来源、授权协议、地域法规这三层都要过一遍。个人做实验和商用上线是两种尺度，前者宽松得多，后者一个授权瑕疵就可能带来实际麻烦。
- 先看模型卡或技术报告写没写数据构成，只写「大规模语料」不提来源的要留个心眼
- 再看有没有授权说明或者数据来源声明，两者都含糊就按高风险处理
- 查不清来源的模型，别用在需要对外交付或涉及敏感数据的场景上
- 个人试验阶段可以先跑起来看效果，但正式接入前必须回到站内合规板块过一遍判断标准
常见问题
预训练数据和微调数据是同一批吗？
通常不是。预训练数据追求规模和广度，形态杂、标注少；微调数据追求任务贴合度，量小但质量要求高，往往要人工标注或严格筛选。两者在流程里承担的目标不同，不能拿预训练语料直接当微调集用，除非你重新做了清洗和配对。
网页抓取的数据是不是越多越好？
不是。网页语料堆量之后重复片段和低质模板会稀释有效信息，还会放大偏见和错误事实。主流做法是先做去重和质量打分再决定保留多少，配比和过滤策略各家的差异比总量差异更影响实际表现，具体口径以模型公开说明为准。
怎么查一个模型大致用了哪些数据？
先到模型库看该模型的资料页，多数会提到语料类型和规模量级；没有的话翻技术报告或开源权重页面的说明。查不到明确交代时，不要假定它包含某类数据，按「可能没有」来做你的验证和兜底方案更稳妥。
