同一个模型名,今天答得利索、明天开始绕圈子、拒答变多、回答明显变短,你分不清是自己提示词写歪了、上游临时抖动,还是这家站悄悄换了便宜模型或砍了参数。这篇不承诺一次测出真相,只给你一套能自己复现的探测题库、日志比对顺序,以及什么情况下结论不成立。
同一个模型名,今天答得利索,明天开始绕圈子,拒答变多,回答明显变短。你分不清是提示词写歪了、上游临时抖动,还是这家站悄悄换了便宜模型、砍了参数。
这篇不承诺一次测出真相,只给一套能自己复现的探测题库、日志比对顺序,以及什么情况下结论不成立。测出来有问题,不代表一定要马上换站;测不出问题,也别当成长期保证。
中转站为什么会掺水:动机比手法更重要
先看利益结构。按量计费的上游成本,和对外售价之间如果差得离谱,掺一个低价模型或者截断上下文,就是最省事的填坑方式。判断动机能帮你决定要不要继续投入测试精力:价差正常、口碑稳定的站,值得花一晚上做基线;价格明显不合常理的站,先做一次快速探测就够了。
| 掺水形态 | 典型表现 | 对应探测方法 |
|---|---|---|
| 换模型 | 答案风格突变、格式合规率下降 | 基线题组逐题比对 |
| 砍输出长度 | 回答变短、列表条目减少 | 同一提示词连续多跑看长度趋势 |
| 缩上下文窗口 | 长文里靠前细节答不对 | 长文定位探针 |
| 加自有过滤改写 | 拒答变多、出现固定话术 | 稳定性题看拒答模式 |
不适用的情况要先讲清:如果只是偶尔一两次回答不顺,先怀疑本地网络和提示词,别直接下掺水结论。这类现象在后面的对照测试里会单独排除,单次异常不进入判断。
题库怎么搭:几组小而稳的测试题
固定题组要能区分模型:选不同模型答案风格差异明显、又不依赖时效信息的题。比如固定格式的约束输出、特定语言风格的改写、需要多步推理的小算术链。每组存下同一时间点的结果当基线,之后每次重跑都跟这份基线比,而不是跟记忆比。
- 约束题:要求按固定模板输出,看格式合规率,这是换模型后最先崩的地方
- 风格改写:给一段平实文字要求换语气重写,不同模型的行文习惯很难完全一致
- 多步推理链:出几道需要连续推导的小题,看它是否跳过步骤
- 长文定位探针:塞一段长文本,要求定位靠前位置的具体细节,看它是真读完了还是只看了尾巴
- 稳定性题:同一提示词连跑多次,记录输出长度、拒答率、结构合规率的变化趋势
把每次测试的原始请求、时间、返回正文原样存档,别只留截图。后面做日志比对时,原始响应才是证据;截图无法证明你当时发的是什么。存档用纯文本或 JSON 都行,关键是能回溯。
日志比对:按这个顺序排查才不乱
- 第一步:比元信息看返回里的模型标识、响应结构、流式输出是否完整、有没有被插入的额外字段。站点改写响应通常在这里露馅,不用看内容就能发现。
- 第二步:比用量口径同一提示词多次调用,把返回的 token 计数和你本地估算放在一起看,是否长期系统性偏低或偏高。差异过大说明中间有人截过内容,具体怎么估可以到站内的用量对账相关页面参考。
- 第三步:比时延分布先去站内测速页量出自己的网络基线,再看模型侧耗时。如果耗时突然整体下台阶,而质量也同步下降,换便宜模型的嫌疑就大;如果只是网络侧变慢,那还是线路问题。
- 第四步:逐题比对答案把基线题组的当前结果和存档结果并排看,重点看格式合规率和拒答模式,而不是单题对错。单题对错受随机性影响大,模式和趋势才有判断价值。
定价和计价口径本身也值得看一眼,掺杂往往发生在价差过大的地方。到 /price-watch 核对当时的数字,跟官方渠道对照,价差异常的站更值得跑一遍上面的探测流程。
什么情况下这套结论不成立
第一类:上游官方自己升级或调整策略,行为变化是真实的,不是掺水。判断前先确认同一时段官方渠道的表现有没有一起变,一起变就说明不是你手上的站的问题。
第二类:你的账号被限速、额度将满或者触发了平台风控,也会表现为变慢变短。这类要先在站内的服务监控和用量对账页面排除,而不是从模型质量上找原因。
| 异常现象 | 优先排查方向 | 掺水嫌疑 |
|---|---|---|
| 回答变短、结构合规率降 | 输出长度是否被截 | 中 |
| 长文靠前细节答错 | 上下文窗口是否被缩 | 高 |
| 拒答变多、出现固定话术 | 自有过滤层 | 中 |
| 整体变慢但质量不变 | 网络、线路、限速 | 低 |
| 元信息不一致 | 响应改写 | 高 |
第三类:站点更换线路、加缓存或者做合规过滤,会让回答风格变化,但模型没换。只有元信息、用量口径、答案风格三处同时异常,才值得怀疑掺水。三处只有一处异常时,先按线路或过滤问题处理。
结论只对测试窗口有效。隔一段时间重跑同一题库,看变化是趋势还是偶发,别把一次测试写死成永久判断。下一步先到站内的中转站目录挑出你正在用的那家,看它的可信度检测记录了哪些观测维度;再按上面的题库跑一遍基线存档,之后每段时间复测一次就能看出趋势。→
常见问题
只测一两道题能说明中转站掺水吗?
基本说明不了。单次回答受采样随机性、时段负载、你自己的提示词写法影响太大。至少要一组固定题、连续几次的存档结果,再叠加元信息和用量口径的比对,才有讨论价值。想要快速筛查,去站内中转站真假在线实测跑一遍,再自己补几组题交叉验证。
站点回答变短了,是不是就代表降智?
不一定。回答变短可能是你自己没给清格式要求,也可能是站点加了输出过滤或默认参数变了。要分清是模型换了还是参数变了,可以固定同一提示词、固定格式约束多跑几次,同时看返回的用量计数和时延分布,三项一起异常再下结论。
发现疑似掺水,先做什么?
先留证据再谈决策:把原始请求、时间戳、返回正文和用量计数存好,跑完一轮基线题组。然后对照站内中转站排行榜和价格变动页看它近期的公开变化,再决定是继续用、降级当备用还是换一家。别在没存证据时就去找客服理论,容易各说各话。