怎么判断AI中转站有没有掺水降智,为何会这样(中转站为什么会掺水:动机和常见做)

安全与风控

用几组对照测试题和日志比对,判断中转站是否偷换模型或降低输出质量,并讲清为什么会这样。

同一个提示词,昨天答得利索,今天答得敷衍;换个中转站又好了。你怀疑被掺水降智,但只有「感觉不对」拿不出证据。这篇给一套能自己复现的对比提问和日志比对顺序,帮你在几分钟内分清:是模型被换了、参数被砍了,还是本来就正常波动。

同一个提示词,昨天答得利索,今天答得敷衍;换个中转站又好了。你怀疑被掺水降智,但只有「感觉不对」拿不出证据。这篇给一套能自己复现的对比提问和日志比对顺序,帮你在几分钟内分清:是模型被换了、参数被砍了,还是本来就正常波动。

先说明立场:这篇不是教你一测就定罪。单次答得差,可能只是限速、排队、上下文没清干净。真正要做的,是把「一次感觉」变成「同一组题、两个时段、可留档的对比」。下面按动机、出题、比对、下结论四步走。

中转站为什么会掺水:动机和常见做法

先说清楚为什么会有人这么干,你才知道该往哪儿看。中转站夹在用户和上游之间,请求怎么路由、参数怎么透传,用户多半看不见。只要中间有一层可以调,就存在把请求挪到更便宜档位的空间。识别方法不是猜动机,而是找「言行不一致」的地方:宣称的能力和实际返回对不上。

  • 成本差驱动:拿低价模型冒充高价模型,或把请求路由到更便宜的档位,差价就是利润
  • 能力缩水:限制最大输出长度、调低采样温度、截断上下文、砍掉长文本能力,表面还能回答
  • 并发撑不住时的降级:高峰期把请求排到备用通道,或直接返回缓存式模板答案
  • 还有一种不算恶意:上游限速、通道抖动、缓存命中,表现也会变差,别一律算降智

什么情况下不适用:官方原厂也会限速、也会波动,单次答得差不能直接归因于中转站。同一个问题在深夜和高峰测,结果本来就可能不同。所以下面所有测试都强调「固定题目 + 两个时段 + 留档」,缺一条结论就不牢。

准备几组测试题:让掺水露馅的提问方式

题目不用多,四类各一两道就够,关键是固定、原样重发、把返回原文存下来。挑的原则是:被换小模型或砍参数时最先崩的那类题。题目本身别涉及联网、别依赖多轮上下文,否则你分不清是通道问题还是题目问题。

题目类型测什么掺水时的典型表现
长链条推理题逻辑是否连贯中途跳步、结论自相矛盾
精确计数与格式题是否严格照格式输出格式跑偏、数量错、少给一项
长文本续写输出长度是否被砍写到一半停住、finish reason 显示截断
超大上下文指令上下文窗口是否缩水前文信息丢失、答非所问
  1. 固定一组基线题四类各选一两道,写成固定文本,之后每次原样粘贴,不改标点不加解释。
  2. 记录环境发题前记下时间、用的哪个中转站、请求里写的模型名,这些是后面比对的前提。
  3. 保存返回原文把完整回答、token 用量、finish reason 一起存到一个文件或表格里,别只截图结论。
  4. 两个时段各测一轮高峰和低谷各跑一遍,同一题目的差异才有意义。只测一次等于没测。

日志比对:不看感觉,看返回里的硬信号

感觉靠不住,日志靠得住。比对时别只看回答好不好,先看返回里的几个硬字段:请求写的模型名和返回的模型标识是否一致,token 用量和回答长度是否匹配,finish reason 是不是因为长度被截断。这些字段对不上,比文风变化更有说服力。

  • 模型标识:请求里写一个,返回里标另一个,基本可以怀疑被换
  • token 与长度:同一题目回答突然短一大截,先查是不是被限了最大输出
  • finish reason:出现长度截断而你没设限制,说明通道那头替你砍了
  • 延迟与首字时间:同一题目稳定快很多或慢很多,往往意味着通道变了
  • 文风与拒答口径:表达习惯、标点、拒答方式整体变了,怀疑换模型

比对顺序建议从硬到软:先核对模型标识和截断信号,再看长度和用量,最后才看文风。前两项对不上,后面不用细看;前两项都正常、只是答得差,更可能是波动。遇到报错、限速、额度异常,先按现象分类再判断,别一股脑全算成降智。

怎么下结论:够用就留,反复异常就换

下结论前先问自己:这是能力缩水还是参数被砍?答错、答歪、逻辑崩,偏能力缩水;答短、答漏、提前截断,偏参数被砍。两类问题的处理方式不同,前者基本只能换通道,后者可以先确认是不是自己请求里设了限制。分不清就标「无法判断」,继续观察,别硬下结论。

观察到的现象倾向判断下一步动作
模型标识不一致明确异常留证据,换家对照
回答被截断、长度骤减疑似砍参数先查自己请求设置,再复测
只在高峰变差疑似降级或限速错峰复测,观察是否稳定
两个时段都正常波动正常继续用,定期复测

结论只有三种:正常波动、明确掺水、无法判断。第三种最容易被情绪带偏,处理办法就是继续观察或换一家做对照。把每轮测试的题目、时间、返回原文存档,后续沟通、退款或换站都用得上。想先看别家的情况,可以到 /sites 对照各站的可信度记录,再到 /price-watch 看当时的数字,别凭印象换站。

下一步把你常用的中转站拉出来,用上面那组固定题跑两个时段,把结果存成基线;顺手到 /tools/speed-test 测一下延迟,配合 /sites 的可信度记录一起看,判断会稳得多。

常见问题

只测一次就发现答得很差,能直接说是降智吗?

不够。官方服务本身也会有波动、限速和高峰排队。建议把同一组题在不同时段原样再跑两轮,连同返回原文、token 用量和耗时一起比对,出现稳定偏差再下结论。

测试题要不要用很复杂的问题?

不一定要难,关键要稳定可复现。需要精确计数、严格格式输出、长链条推理的题最容易暴露模型被换或上下文被截断,而且答案好比对。用自己业务里真实的高频提问反而更贴近实际。

发现确实掺水了,该先做什么?

先把这几轮对比记录整理留存,包括题目、时间和返回原文,再对照同一题目在别家通道的表现。有明确证据再决定换站,同时把关键调用切到可信通道,避免继续影响线上业务。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。