用中转站最怕的不是贵，是花着旗舰的钱跑着缩水模型，输出还看不出明显毛病。这篇不讲虚的，只给一套按成本从低到高的排查顺序：先看哪些信号值得怀疑，再用你自己的固定题面做对照，最后判断要不要上更贵的检测手段。也会说清楚什么情况下这些方法不适用。
用中转站最怕的不是贵，是花着旗舰的钱跑着缩水模型，输出还看不出明显毛病。掉包这事很少是「整个换掉」，更常见的是高峰期限速时切到便宜链路、长上下文被截、参数被默认改写，甚至只是同族小模型顶上。这篇不给结论清单，只给一套按成本从低到高的排查顺序，帮你决定值不值得查、查到哪一步停。
思路是：先分清哪些表现是正常波动，再建立你自己的固定基线，然后按零成本到较高成本逐级排查，最后落到处置动作。全程不需要任何内幕消息，你自己就能跑完。反过来说，如果你只是偶尔问几句、对输出质量不敏感，这套流程的时间成本可能高于直接换一家，那就不值得查。
先看迹象：哪些表现值得怀疑，哪些是正常波动
值得怀疑的信号通常有几个共同点：同一提示词风格突然偏移、拒答策略变了、长文截断的位置变了、对某类知识点的回答精度整体下滑。注意「整体」两个字——单次答错说明不了什么，同一类问题连续多次都掉链子才有意义。掉包往往还会带来格式约束上的松动，比如原本严格的字段名开始乱写。
容易误判的情况同样多：上游限速、上下文被截、参数被默认改写、你自己的提示词模板改过，都会造成类似的观感差异。所以别把「变差」当成一个整体感觉，先拆成延迟、额度、输出质量三类分别记录，三类里只有输出质量稳定下滑才指向换模型，另外两类更可能是链路问题。
| 观察到的现象 | 更可能的原因 | 要不要继续查 |
|---|---|---|
| 响应明显变慢，输出质量没变 | 上游排队或限速 | 先观察，别急着下结论 |
| 高峰期质量差、闲时正常 | 临时切链路或降级 | 值得记录时段做对照 |
| 格式约束开始不遵守 | 模型族或参数变了 | 值得优先查 |
| 某类事实题连续答错 | 知识覆盖变化 | 值得优先查 |
| 偶发一次答错或变短 | 正常波动 | 记下来，别当证据 |
建立自己的基线：固定题面 + 固定参数
没有基线就没法对比。准备一组你能随时复现的题，至少包含三类：一道长上下文（看它是不是被悄悄截断）、一道格式约束（看它守不守字段和层级）、一道需要精确事实的题（看知识精度有没有整体下滑）。每题首次跑完，把原始输出原样存下来，连参数一起存。
- 题面固定：别每次临时想新问题，那样差异全来自题目本身
- 参数固定：温度、最大长度、系统提示都写下来，跟着题面一起存
- 输出本地存：别只留在中转站的会话记录里，那既可能被清也可能被改
- 记录三件事：结构（格式守不守）、长度（截断位置）、拒答方式（语气和边界有没有变）
- 比对方式：比这五项，而不是比「读起来感觉像不像」
基线做好一次可以反复用，这是整套流程里性价比最高的一步。量化的持续观察口径可以到 质量监控 里看，那里讲的是怎么把一次性的怀疑变成可比的趋势记录，而不是让你凭印象打分。
按成本递增的排查顺序
排查的原则是：能用便宜手段排除的，绝不先上贵手段。下面四级从零成本到较高成本，上一级拿不到稳定差异，就别急着往下走——不稳定的差异不叫证据。
- 零成本：比对基线结构拿现成基线重跑一遍，重点看它是不是连格式约束都开始不遵守。格式崩了比内容错更说明问题，因为参数改写和降级都容易先体现在这里。
- 低成本：交叉验证已知答案用你本来就知道答案的问题去问，看它错的方式。小错（细节偏差）和整类知识缺失是两回事，后者更值得怀疑。同一题问三遍，看错法是否一致。
- 中等成本：换链路做对照换另一家中转或官方链路跑同一题，比较差异。差异稳定重复出现才叫证据，单次差异不算——网络、排队、采样随机都能造成单次偏差。
- 较高成本：系统化打分需要长期采购评估时，可以参考 探针原理 和 评分规则 的思路，设计成多题、多次、可打分的方案。这一级适合采购决策前，不适合日常怀疑。
这条顺序的关键是「稳定」两字。任何一级只要差异不稳定，就退回上一层重跑，而不是直接跳到下一级。真被掉包的链路，通常在前两级就会露出马脚。
检测成本怎么算：查一次要花多少时间和钱
时间成本主要在三块：准备基线题面、跑对照、人工判读。前两块是一次性投入，做好之后每次复跑只花跑和判读的时间。调用成本则取决于题面长度和重跑次数——用短题多跑几次，通常比用一道超长题跑一次更划算，因为你要的是重复性而不是单次覆盖。
| 手段 | 一次耗时 | 调用成本 | 适用场景 |
|---|---|---|---|
| 结构比对 | 几分钟 | 几乎为零 | 每次怀疑时都做 |
| 已知答案交叉验证 | 十几分钟 | 低 | 怀疑知识精度下滑 |
| 换链路对照 | 半小时到一小时 | 中 | 差异需要确认是否稳定 |
| 系统化打分 | 数小时起 | 较高 | 长期采购前评估 |
不适用的情况要说清楚：如果你只是偶尔问几句、对输出质量不敏感，把上面四项走一遍的时间成本，很可能高于直接换一家。这时更省事的做法是换链路而不是做检测。另外，如果你自己都还没固定提示词，先别谈检测，先把参数定下来。
查到什么程度就该停：处置与止损口径
什么算证据足？同一题在固定参数下重跑多次，质量差异稳定出现，且换链路对照能重现。只满足一条不算。证据不足时别公开指控，那既伤人也伤自己信誉，先降低依赖更实际：把关键任务切到你能自己验证的链路，对照记录留着，等它多出现几次再判断。
- 证据不稳：只降依赖，不对外下结论，关键任务切走
- 证据稳定：先停用该链路，保留对照记录与会话、账单截图
- 处置顺序：停用 → 备份证据 → 换链路，别反过来
- 别删会话：删了之后你连「它当时怎么答的」都拿不出来
- 长期做法：定期用同一套基线复跑，让怀疑变成趋势
长期看，把一次性怀疑变成定期复跑的趋势最有价值——趋势能告诉你是个别时段问题还是整体换掉了。选链路时可以到 中转站目录 看整体情况，再结合 模型可信度排行 交叉核对；价格和额度这类会变的数字，到 价格追踪 核对当时的记录，别拿旧印象当依据。
下一步先花半小时把基线题和参数存到本地，再去质量监控页看持续观察的口径，以后每次怀疑都从这份基线开始比对。→常见问题
只凭一次输出变差，能断定被换模型了吗？
不能。单次差异可能来自上游限速、上下文截断、参数默认值变化，甚至你自己的提示词改动。要判定掉包，至少需要在同一参数下多次复跑，并出现稳定、可复现的结构性差异，比如格式约束持续不遵守、整类知识稳定缺失，而不是某一句回答不好。
有没有不用花钱就能先筛一遍的办法？
有。先比对你早期存下来的输出基线，重点看三件事：格式约束还守不守、长上下文处理是否明显缩水、已知答案的题错法是否变了。这三项都异常，再考虑花调用成本做系统化探针，顺序上先便宜后贵。
什么情况下我根本不需要做这套检测？
如果你的用量很小、任务对输出质量不敏感、且随时能换一家，那么做完整检测的时间成本通常高于直接换链路。这套流程更适合长期采购、把关键任务压在同一家中转、或者要给别人交付结果的场景。
