怎么测试模型有没有降智：一套可复用的对比方法

你连着几天用同一个模型，感觉回答变短了、废话变多了、稍微敏感点的需求直接拒了，但截图发给朋友，人家说「我这挺正常的」。这种时候靠感觉吵架没意义，得有个对照组。这篇给的就是一套可复用的对比方法：提示词怎么设计、跑哪几个来源、记哪些字段、结果怎么读，以及什么情况下这套方法本身会失效。

你连着几天用同一个模型，感觉回答变短了、废话变多了，稍微敏感点的需求直接给你拒了。截图发给朋友，人家回一句「我这挺正常的」，然后就没法聊了。靠感觉吵架没意义，得有对照组。

这篇给一套可复用的对比方法：提示词怎么设计、跑哪几个来源、记哪些字段、结果怎么读，以及什么情况下这套方法本身会失效。核心思路就一句：把「我觉得」换成能打印出来、能并排放一段对比的东西。

先把对照组设计出来，别拿记忆当基线

人的记忆特别不靠谱，尤其是「我上次问它这个问题它回答得可好了」这种印象。所以第一件事是把基线固化下来：同一条提示词、同一组参数、尽量同一时段跑一遍，跑完把原文完整存下来。之后所有比较都对着这份存档，不对着印象。

• 基线要固定：同一提示词、同一组参数、尽量同一时段跑，跑完原文存档，之后只跟存档比
• 对照来源至少三类：官方直连、你常用的那条中转链路、另一家来源，同一批题三类都跑，差异才有指向性
• 每轮只改一个变量：换来源、换时段、或换一批题，三样一起改就没法归因
• 跑之前先把参数记下来（温度、最大长度、是否联网），不然过两天你自己都不确定改了没

什么情况下这套不适用：你只跑过一两次就下判断，或者题目本身每次答案就该不一样（写作、创意类），这类没法做降智判据，最多算手感记录。

用可判定的任务，别用「你觉得好不好」

「感觉变笨了」没法验证，得换成有唯一正确结果或明确硬约束的题。这类题的好处是：你不用争论，把两份输出并排一放，对错自己会说话。

格式化输出

要求按固定 JSON 或表格字段吐结果，少一个字段、多一层嵌套都能直接看出来

按字段抽信息

给一段文本，要求只抽出指定的几个字段，看它会不会漏、会不会自己加戏

固定步数推理

算数、多步逻辑、按规则分类，答案唯一，对错可复核

按模板补全

给定骨架让它填，检查是否守住了字数区间、收尾格式、指定关键词

题别只出一档。准备十几条、难度分层，从简单到抠细节。看它是在简单档就掉，还是只在高难档掉——掉的位置比「总共错几道」更有信息量。简单档也崩，说明是整体状态问题；只有高难档崩，可能只是这批题的边界变严了。

主观题不是完全不能用，但要转成可核对的项：字数区间、是否包含指定几个关键词、有没有按要求的格式收尾。纯审美、纯风格的需求只能靠人评，得到的结论也只能是「这版我不喜欢」，不能推成「模型变差」。

记录表模板：固定这几个字段就够用

不用搞复杂系统，一张表就够。关键不是字段多，是每一轮都记同样几个字段，这样后面才能横向比。

• 长度别只看总量，把「实质内容部分」和「客套铺垫部分」分开估，很多「变短」其实是被套话吃掉
• 拒绝要分档：直接拒、先劝你换个问法、答了但加一堆免责，这三种信号不一样
• 同一题多来源的结果放同一行对比，比完顺手写下你当时的判断和依据
• 隔几天回看记录，就知道自己是真发现变化，还是当天心情不好

怎么读结果：先排除误判，再谈结论

拿到一堆输出，别急着下结论。先按固定顺序排掉误判，前几步没过，后面的对比全部作废。

1. 查自己这边网络、代理、DNS 是不是正常，换个简单请求能不能通。这一步最容易出问题也最容易被忽略。
2. 查账号与限速额度是否用尽、有没有触发限速、有没有被降级到别的档位。这些都会让输出变短。
3. 核对参数跟上一轮存档的参数逐项对一遍，温度、最大长度、是否联网，有一项变了就别谈降智。
4. 再看输出差异前面都干净，才轮到比长度、比拒绝模式、比格式达标。这一步才是真正的对比。

判断信号强度：同一来源连续多轮稳定偏短、偏拒，才算信号；单次异常大概率是采样随机性或上游抖动。跨来源对比时，如果只有你那条链路偏弱、官方直连正常，问题更可能出在链路上，不是模型本身；反过来官方也弱，才是模型侧或版本侧的变化。

想省事的话，可以先用站内现成的检测工具跑一轮，拿到基础数据再自己补对照实验。具体怎么用、当时的可用项有哪些，到 /tools/speed-test 看。价格和模型侧的变动记录在 /price-watch，选链路参考 /sites，各来源的相对表现看 /rankings。数字都别记我说的，去页面上核对当时的。