训练数据和测试数据的区别

很多人在自己整理数据跑模型时，会卡在一个很基础的问题上：手上这批数据到底该怎么切，切多少留出来做测试，为什么切完之后效果看着挺好一上线就拉胯。这篇不聊公式，只讲训练数据和测试数据各自扮演什么角色、划分时按什么原则切、切错了会出现什么症状，以及一套能照着走的检查顺序。

很多人在自己整理数据跑模型时，会卡在一个很基础的问题上：手上这批数据到底该怎么切，切多少留出来做测试，为什么切完之后效果看着挺好一上线就拉胯。这篇不聊公式，只讲训练数据和测试数据各自扮演什么角色、划分时按什么原则切、切错了会出现什么症状，以及一套能照着走的检查顺序。

先把结论摆前面：训练数据和测试数据的区别，不在于难易，而在于「模型见没见过」。训练数据是模型反复看、反复改参数的那批；测试数据是模型从头到尾没碰过、只在最后看一眼的那批。分清楚这条线，后面所有划分原则都是它的延伸。

训练数据和测试数据到底各干什么

训练数据是模型用来调参数的那批样本。模型在这批数据上反复试错、改权重，把规律压进参数里。这个过程相当于把答案摆在它面前让它照着改，所以它对训练数据的表现会越来越好，好到你没法用它来判断真实水平。

测试数据是模型在整个训练过程中完全没见过的样本，用来模拟上线后遇到的新输入。它的作用不是「更难」，而是「没被偷看过」。如果测试数据也参与了调参，那它就不再是测试数据，而变成了另一份训练数据。

• 训练数据负责「学」：模型在这批样本上调整参数，见过多少遍都算。
• 测试数据负责「考」：只在最后用一次，看它在陌生输入上的表现。
• 两者不是难易之分，而是见没见过之分，这是最核心的一条分界线。
• 很多人误以为测试数据是更难的题，其实它只是另一批同分布的题。
• 一旦你拿测试数据的结果去反过来改模型，它就不再干净了。

为什么常见的是切三份而不是两份

只切训练和测试两份，看起来最省事，但实际操作里几乎没人能忍住只在最后用一次测试集。你会不自觉地在测试集上试好几版模型，试到满意为止。这时候测试集已经变相成了验证集，最后那个分数就不干净了。

切三份的分工是这样的：训练集负责学，验证集负责在训练过程中做选择（调超参、选轮数、决定什么时候停），测试集只在最后用一次。验证集可以反复用，因为它的角色本来就是「陪练」，被反复参考不心疼。

1. 先切出测试集从全量数据里先抠出一份，封存起来，训练阶段完全不碰，连看一眼分布变化都尽量少做。
2. 再把剩下的切成训练和验证剩下的数据按比例分成两份，训练集用来跑，验证集用来在每个轮次结束后评估并做决策。
3. 验证集上试到满意为止调超参、试不同结构、决定早停，这些动作都在验证集上完成，反复试没关系。
4. 最后放测试集模型定稿后，只在测试集上跑一次，记录结果。如果之后又改了模型，严格来说这份测试集已经作废，要重新留一份。
5. 数据太少就换交叉验证样本量不够时，固定切三份会浪费数据，改用轮换的方式让每份都当过一次验证。

验证集和测试集的分界线，就是「能不能反复看」。能反复看的叫验证集，只看一次的才叫测试集。判断一个团队有没有把这事做对，问一句「你们的最终分数是在哪个集合上得的、用过几次」就够了。

用一个生活例子理解划分原则

把模型当成一个备考的学生。训练数据是练习题，验证数据是模拟考，测试数据是真正的高考。练习题做多了会背答案，模拟考用来调整复习策略，高考只能考一次而且考前不能看。

如果老师把高考题提前透给学生练，考出来的分再高也不能说明水平。数据划分里最常见的错误，本质上都是这种「透题」：同一个来源、同一个人、同一段时间的样本，被分别分进了训练和测试。

• 同一张图的不同裁剪版本，一个进训练一个进测试，等于把原题和改编题都给了学生。
• 同一条记录的不同时间点，分别落在训练和测试，模型等于看到了未来的影子。
• 同一个用户的多条行为，前几条进训练后几条进测试，模型能记住这个人，而不是学会规律。
• 同一段文本的不同切块，随机分到两边，模型做过一遍原文，测试时只是换了切法。
• 判断标准很简单：测试样本和训练样本之间，不能存在任何一条能对上号的线索。

划分数据的本质，是模拟「未来会遇到一批没见过的东西」，所以任何能对上号的线索都必须断开。

最容易踩的坑：数据泄露

数据泄露听起来很技术，说白了就是测试集的信息以某种方式漏进了训练过程。它不是代码写错，而是流程顺序错了。最常见的一种是切分顺序和预处理顺序搞反了。

很多人习惯先把全量数据做归一化、填充缺失值、做特征编码，然后再切训练和测试。这样切出来的两份，统计量（均值、方差、分位数）都是全量算的，里面已经含了测试集的信息。正确顺序是先切，再只用训练集算这些统计量，然后套用到验证和测试上。

时间序列和用户维度这两类数据，是泄露的重灾区。时序数据必须按时间切，否则就是用未来预测过去，上线后根本拿不到未来数据。带用户的数据要按用户切，同一用户的所有样本只能出现在一边，否则模型是在认人而不是学规律。

切错了会出现什么症状

切分出问题，通常不会直接报错，而是以几种典型症状出现。看懂症状对应哪类问题，比一上来就调模型有效得多。下面这张对照表可以当排查顺序用。

注意每种症状对应的排查方向不同。训练高测试低，先去查分布和泄露；两边都高但上线崩，问题多半在测试集本身不够代表真实场景；分数随种子抖，是数据量和评估方法的问题。别把这些混在一起调参，越调越乱。

什么情况下这些症状不适用？如果你的任务本身就是随机性很强的（比如某些生成任务），或者评估指标本身方差就大，那分数抖动是正常的，不能一律当成划分问题。判断前先确认任务的可复现性。

各切多少比例才合适

没有万能比例，取决于数据总量和任务对错判的容忍度。大方向是：数据越多，测试集占比可以压得越小，够评估稳定就行，剩下的留给训练更划算；数据越少，固定比例切分越浪费，越该考虑交叉验证。

• 数据量很大时，测试集占比压小一点没关系，关键是评估结果要稳定，多跑几个随机种子看分数波动。
• 数据量很小的时候，固定比例切分会浪费样本，改用交叉验证，让每份数据轮着当验证。
• 类别不平衡时不能纯随机切，要按类别分层抽样，保证每个集合里都有少数类，否则少数类指标没法看。
• 时间序列要留出足够长的时间窗口做测试，太短的窗口覆盖不到周期性变化。
• 比例怎么定，最终看你的数据总量和任务对错判的容忍度，容忍度低就多留点测试。

关于具体阈值，各家做法差异不小，与其记一个数字，不如去站内的资料库里对照一下不同任务的常见做法。想知道某个模型或某个工具在类似任务上的评估口径，可以到 模型资料库（/models） 核对当时的说明，别拿别人的比例直接套自己的数据。

划分数据的自查清单

下面这套顺序建议每次切数据前过一遍，顺序不要颠倒。先定切分单位，再定预处理顺序，再确认测试集的使用次数，最后目测两边分布。这四步能把绝大多数低级错误挡在前面。

1. 确认切分单位先想清楚是按单条样本切，还是按用户、按会话、按时间切。带用户或时间维度的数据，绝不能按单条随机切。
2. 确认预处理顺序所有统计量（均值、方差、分位数、编码表）只能从训练集算出来，然后套用到验证和测试。切分必须在预处理之前。
3. 确认测试集使用次数如果测试集已经被反复用来调参，它就不再是测试集。要么重新留一份从没碰过的，要么承认当前分数只是验证集分数。
4. 目测两边分布对比类别占比、长度分布、来源分布，看两边是否大致对齐。肉眼过一遍，比只看一个总分有用。
5. 记录划分方式把切分单位、比例、随机种子、预处理顺序写下来。下次换人接手或者分数异常时，这份记录能省很多时间。

自查清单里最容易漏的是最后一条「记录划分方式」。很多人只记住结果，不记住怎么切的，等到分数异常想回溯时，连当时用的哪个随机种子都说不清。把划分方式当成实验的一部分记下来，比多调几个参数值。