模型对比检测应用

你要对比两个模型，第一反应是打开对话框各问一遍，结果谁也说不清差在哪。问题不在模型，在于你没定检测维度、没固定输入、也没记录输出。这篇给评测者一套可复用的做法：先按场景挑工具类型，再按维度拉对照表，最后按顺序排查不一致的结果。具体数字和现成榜单到站内页面核对，这里只讲怎么动手。

你要对比两个模型，第一反应多半是打开对话框各问一遍，结果谁也说不清差在哪。问题通常不在模型，而在于你没定检测维度、没固定输入、也没记录输出，问了三轮只剩下一个模糊印象。

这篇给评测者一套能直接照做的做法：先按场景挑工具类型，再按维度拉对照表，最后按固定顺序排查不一致的结果。文中不写死任何数字和名次，需要看现成的价格、榜单和限速数据，到站内对应页面核对当时的情况。

先按场景定工具类型，别一上来就找工具

选错类型的典型症状，是拿主观感受去回答客观问题。比如用「感觉更聪明」替代同一批题目上的通过率对比，这类结论没法复核，别人一问你凭什么，你也答不上来。

• 工具形态优先级：能固定输入并原样保存输出的批量脚本，优于网页对话；能出交叉验证的多时段机制，优于单人一次跑完。
• 主观类场景至少要两个人独立打分，再对分歧条目单独讨论，否则一个人的口味就代表了结论。
• 固定题库要事先冻住题目和判分条件，中途改题等于重新开一轮，前一轮数据作废。
• 什么情况下不适用：只做粗筛、明确知道两者差距巨大的场合，直接拿几个日常问题问一遍就够，铺全套流程反而拖慢节奏。

检测维度对照表：一次只测一层

把检测拆成可以分别出结论的几层，每层单独跑、单独记。混层测是最常见的错误：一次跑里既看质量又看速度，最后只能得出「这个好像好一点」这种没法用的结论。

能不能答

正确性，给出可勾选的通过条件，而不是主观分

答得稳不稳

同一输入多次运行的方差，记录结果不一致的次数

边界在哪

长输入、噪声输入、空输入、超长上下文下会不会崩

花多少

token 消耗与耗时，按输入输出分别记，口径要统一

能不能接

并发与限流下的表现，高峰时段是否稳定返回

每层都要有判分口径。正确性写成可勾选的通过条件，稳定性记录多次结果中不一致的条目数量，边界记录在哪一类输入上失败。打一个笼统的主观分，事后没人能复现你的判断。

• 正确性先测，跑通判分口径再放大样本；稳定性用同一输入重复多次，看输出差异分布。
• 边界测试要有意构造极端输入，比如超长文本、夹杂符号的脏数据、完全空白的输入。
• 速度与并发放最后测，避免前面的负载影响机器状态，导致数据互相污染。
• 什么情况下不适用：探索性调研阶段可以只测正确性和边界，成本和并发留到筛出两三个候选之后再补。

执行顺序与记录模板：让结果能复核

开跑前先固定四件事：同一批输入、同一套参数与提示设定、同一时间窗、同一判分人。任何一个变了，前一轮结果就不能和新数据混着比，否则你根本分不清差异来自模型还是来自条件。

1. 冻住输入与参数把题目、提示、参数写成版本化的文件，每次跑用同一份，改动就升版本号，旧结果标注对应版本。
2. 小样本定判分口径先跑少量条目，和同事对齐什么算通过、什么算失败，口径统一后再全量跑，避免跑完才发现标准没对齐。
3. 全量跑并留存原始输出输出原样保存，不要只留一个分数。事后看不到原文，就只能重跑，前面的机器时间白花。
4. 复核异常条目对失败和结果不一致的条目逐条回看，先确认是输入问题还是判分问题，再考虑是不是模型能力本身的问题。

排查顺序也要固定：结果和预期不符时，先回看输入是否一致，再看参数与提示设定，再看判分口径，最后才怀疑模型本身。多数「模型变差了」的抱怨，其实是输入或提示在两次测试之间变了。

工具分工与三个常见坑

工具不用找最全的，按用途分工就行：批量对比用脚本或平台自带的批量测试入口；想看多模型同题横向参考，去站内测评榜单和众测雷达；线上真假与稳定性用检测类工具单独验；成本口径用价格与成本计算类页面核算，具体数字到站内页面核对当时的情况。

• 坑一，拿别人的榜单当自己的结论：榜单的题目分布和你的业务输入不同，只能用来缩小候选范围，最终结论必须自己跑一遍。
• 坑二，只看单次最好结果：单次高分可能来自随机性，要看多次运行的一致程度，稳的那次才有参考价值。
• 坑三，忽略用量口径：对比成本时先确认是输入还是输出计费、是否含缓存命中，口径不同算出来的结论会反过来，具体单价到站内官方 API 价格页核对。

还有一种隐性坑是工具混用：同一轮对比里一部分题目用网页对话跑、一部分用脚本跑，输出格式和参数都不一样。这种情况下差异来自工具而不是模型，结论不可用。要么全部走同一条链路，要么把两批数据分开成两组实验。

对比模型的产出不是「哪个更好」，而是一份能在同样输入下被别人重新跑出来的记录。