同一个提示词,昨天答得利索,今天答得敷衍;换个中转站又好了。你怀疑被掺水降智,但只有「感觉不对」拿不出证据。这篇给一套能自己复现的对比提问和日志比对顺序,帮你在几分钟内分清:是模型被换了、参数被砍了,还是本来就正常波动。
同一个提示词,昨天答得利索,今天答得敷衍;换个中转站又好了。你怀疑被掺水降智,但只有「感觉不对」拿不出证据。这篇给一套能自己复现的对比提问和日志比对顺序,帮你在几分钟内分清:是模型被换了、参数被砍了,还是本来就正常波动。
先说明立场:这篇不是教你一测就定罪。单次答得差,可能只是限速、排队、上下文没清干净。真正要做的,是把「一次感觉」变成「同一组题、两个时段、可留档的对比」。下面按动机、出题、比对、下结论四步走。
中转站为什么会掺水:动机和常见做法
先说清楚为什么会有人这么干,你才知道该往哪儿看。中转站夹在用户和上游之间,请求怎么路由、参数怎么透传,用户多半看不见。只要中间有一层可以调,就存在把请求挪到更便宜档位的空间。识别方法不是猜动机,而是找「言行不一致」的地方:宣称的能力和实际返回对不上。
- 成本差驱动:拿低价模型冒充高价模型,或把请求路由到更便宜的档位,差价就是利润
- 能力缩水:限制最大输出长度、调低采样温度、截断上下文、砍掉长文本能力,表面还能回答
- 并发撑不住时的降级:高峰期把请求排到备用通道,或直接返回缓存式模板答案
- 还有一种不算恶意:上游限速、通道抖动、缓存命中,表现也会变差,别一律算降智
什么情况下不适用:官方原厂也会限速、也会波动,单次答得差不能直接归因于中转站。同一个问题在深夜和高峰测,结果本来就可能不同。所以下面所有测试都强调「固定题目 + 两个时段 + 留档」,缺一条结论就不牢。
准备几组测试题:让掺水露馅的提问方式
题目不用多,四类各一两道就够,关键是固定、原样重发、把返回原文存下来。挑的原则是:被换小模型或砍参数时最先崩的那类题。题目本身别涉及联网、别依赖多轮上下文,否则你分不清是通道问题还是题目问题。
| 题目类型 | 测什么 | 掺水时的典型表现 |
|---|---|---|
| 长链条推理题 | 逻辑是否连贯 | 中途跳步、结论自相矛盾 |
| 精确计数与格式题 | 是否严格照格式输出 | 格式跑偏、数量错、少给一项 |
| 长文本续写 | 输出长度是否被砍 | 写到一半停住、finish reason 显示截断 |
| 超大上下文指令 | 上下文窗口是否缩水 | 前文信息丢失、答非所问 |
- 固定一组基线题四类各选一两道,写成固定文本,之后每次原样粘贴,不改标点不加解释。
- 记录环境发题前记下时间、用的哪个中转站、请求里写的模型名,这些是后面比对的前提。
- 保存返回原文把完整回答、token 用量、finish reason 一起存到一个文件或表格里,别只截图结论。
- 两个时段各测一轮高峰和低谷各跑一遍,同一题目的差异才有意义。只测一次等于没测。
日志比对:不看感觉,看返回里的硬信号
感觉靠不住,日志靠得住。比对时别只看回答好不好,先看返回里的几个硬字段:请求写的模型名和返回的模型标识是否一致,token 用量和回答长度是否匹配,finish reason 是不是因为长度被截断。这些字段对不上,比文风变化更有说服力。
- 模型标识:请求里写一个,返回里标另一个,基本可以怀疑被换
- token 与长度:同一题目回答突然短一大截,先查是不是被限了最大输出
- finish reason:出现长度截断而你没设限制,说明通道那头替你砍了
- 延迟与首字时间:同一题目稳定快很多或慢很多,往往意味着通道变了
- 文风与拒答口径:表达习惯、标点、拒答方式整体变了,怀疑换模型
比对顺序建议从硬到软:先核对模型标识和截断信号,再看长度和用量,最后才看文风。前两项对不上,后面不用细看;前两项都正常、只是答得差,更可能是波动。遇到报错、限速、额度异常,先按现象分类再判断,别一股脑全算成降智。
怎么下结论:够用就留,反复异常就换
下结论前先问自己:这是能力缩水还是参数被砍?答错、答歪、逻辑崩,偏能力缩水;答短、答漏、提前截断,偏参数被砍。两类问题的处理方式不同,前者基本只能换通道,后者可以先确认是不是自己请求里设了限制。分不清就标「无法判断」,继续观察,别硬下结论。
| 观察到的现象 | 倾向判断 | 下一步动作 |
|---|---|---|
| 模型标识不一致 | 明确异常 | 留证据,换家对照 |
| 回答被截断、长度骤减 | 疑似砍参数 | 先查自己请求设置,再复测 |
| 只在高峰变差 | 疑似降级或限速 | 错峰复测,观察是否稳定 |
| 两个时段都正常波动 | 正常 | 继续用,定期复测 |
结论只有三种:正常波动、明确掺水、无法判断。第三种最容易被情绪带偏,处理办法就是继续观察或换一家做对照。把每轮测试的题目、时间、返回原文存档,后续沟通、退款或换站都用得上。想先看别家的情况,可以到 /sites 对照各站的可信度记录,再到 /price-watch 看当时的数字,别凭印象换站。
下一步把你常用的中转站拉出来,用上面那组固定题跑两个时段,把结果存成基线;顺手到 /tools/speed-test 测一下延迟,配合 /sites 的可信度记录一起看,判断会稳得多。→常见问题
只测一次就发现答得很差,能直接说是降智吗?
不够。官方服务本身也会有波动、限速和高峰排队。建议把同一组题在不同时段原样再跑两轮,连同返回原文、token 用量和耗时一起比对,出现稳定偏差再下结论。
测试题要不要用很复杂的问题?
不一定要难,关键要稳定可复现。需要精确计数、严格格式输出、长链条推理的题最容易暴露模型被换或上下文被截断,而且答案好比对。用自己业务里真实的高频提问反而更贴近实际。
发现确实掺水了,该先做什么?
先把这几轮对比记录整理留存,包括题目、时间和返回原文,再对照同一题目在别家通道的表现。有明确证据再决定换站,同时把关键调用切到可信通道,避免继续影响线上业务。