机器学习中的模型评价与选择

刚跑通第一个模型的人最容易卡在两件事上：不知道该看哪个指标，以及几个模型摆在一起不知道选谁。网上教程要么只讲公式，要么只报榜单名次，落到自己那点数据上还是不会判。这篇把评价这件事拆成可执行的顺序——先定任务和业务目标，再选指标、切数据、看稳定性，最后结合算力和维护成本做取舍，并说清每种做法在什么情况下不成立。

刚跑通第一个模型的人，最常见的卡点不是代码，而是判断：该看哪个指标？几个模型分数摆在一起，选谁？网上的教程要么只推公式，要么只报榜单名次，落到自己那点数据上还是不会判。这篇不背定义，直接给一条可执行的顺序——先定任务和业务目标，再挑指标、切数据、看波动，最后结合算力和维护成本做取舍，每一步都说清什么时候不成立。

整条链路有个前提：评估不是跑完模型后补的一步，而是从拿到数据那刻就开始的设计。任务类型定错了，指标选错了，后面再精致的调参都是在错误的方向上加速。下面按五个环节展开，每节都配判断标准和动作清单，你可以直接拿去套自己的项目。

先定任务类型和业务目标，再谈指标

分类、回归、排序、生成这几类任务，天然对应不同的指标族。判断顺序是先看标签形态（离散还是连续），再看输出被谁消费（人看还是系统调）。指标选错后面全白搭，因为你会朝着一个和业务无关的数字优化，越优化越偏。

• 问清楚业务上「错哪一种更贵」：漏判和误判的代价往往不对称，这决定指标要往哪边偏；
• 别一上来就报准确率，类别不平衡时它会把最差的模型包装成最好的；
• 生成类任务没有单一分数，通常拆成有用性、事实一致性、格式合规几块分别看；
• 把业务目标翻译成一句可检验的话，比如「宁可多报也不能漏」，这比堆指标有效。

指标与场景对照：常见选择及各自的坑

分类看混淆矩阵衍生的一组指标，关注正类召回还是精确率取决于业务；回归看平均误差类指标，但它会被极端离群值带偏，必要时换成分位数误差。下面这张表是常见场景的对照，注意最后一列不是否定该指标，而是提醒什么时候它不成立。

指标之间常互相拉扯，写成一句话说清「本场景优先保哪个」，比并列一堆分数更有用。多个指标都重要时，先定硬门槛（低于某条线直接淘汰），再在过关的模型里比次要指标。

数据怎么切、怎么验证，决定分数可不可信

训练、验证、测试三段的职责不能混：测试集只在最终对比时用一次，反复用就等于把它变成了验证集，分数会越来越乐观。这一步做错，后面所有对比都是自欺。

1. 按数据形态定切法数据有时间顺序就按时间前后切，不能随机；同一用户或同一实体的样本要分组，不能拆到两边。
2. 把预处理放进流程内部标准化、特征筛选、文本清洗都要随折拟合，事前对全量数据做处理会漏信息进去。
3. 固定评估脚本再比模型切分方式、指标定义、随机种子写进同一个脚本，换模型时只改模型部分，差异才说得清来源。
4. 核对分数是否可信如果验证分数远高于测试分数，先怀疑切分泄漏，而不是模型太好。

数据量小时用交叉验证，但要看折间波动；折间差得离谱说明数据本身不稳定，这时任何单点分数都别当真。

多模型对比：看差值、看波动、看成本

同一模型换几个随机种子重跑，观察分数波动幅度。差得比波动还小的两个模型，其实分不出高下，硬选一个只是心理安慰。先把数据划分和评估脚本固定，再谈比模型。

• 先固定划分与脚本，再比模型，否则差异来自哪里说不清；
• 重跑几次看波动，差值小于波动就当作平手；
• 把推理延迟、显存占用、可维护性和再训练成本放进同一张对比表；
• 到站内页面核对公开数字时，先确认它的数据集和口径跟你的是不是一回事。

公开榜单的分数只能当参考。数据集不同、划分不同、预处理不同，数字就没有可比性。要拿公开数字做参照，去站内的资料库和测评页看当时的记录，同时把口径说明一起读。

选型落地的判断顺序与适用边界

选型按「够不够用 → 稳不稳 → 贵不贵 → 好不好维护」的顺序筛，先满足底线再谈最优。前一步不过关，后面的比较没有意义。

业务对错误零容忍、或数据分布频繁变化时，任何离线分数都不足以支撑上线决策，必须留人工兜底和线上监控。样本极少时（比如只有几十条），指标差异基本不可信，这时更应该看误差来源分析而不是排名。

定完模型要留一份评估记录：数据版本、切分方式、指标定义、结论和放弃理由，方便下次复盘。