大模型测试怎么测：真假、性能与稳定性三块

你可能遇到过这种情况：同一家接口，上午快下午慢；换个渠道，回答风格像换了个模型；谈的时候说得挺好，真接进项目就开始掉链子。问题不在模型本身，而在你没测过。这篇不讲选型，只讲怎么测：先验真假，再量性能和并发，最后跨时段复测看稳定性，每一步都给到站内能直接用的入口。

先对齐一个判断：大模型测试不是跑一次跑分就完事，而是把你的怀疑拆成三个能分别下结论的问题——回的到底是不是它宣称的那个模型、真接进项目快不快、换到不同时段还稳不稳。这三块各测各的，结论不能互相替代。

这篇不讲怎么选型，只讲怎么测。顺序建议是：先验真假，因为用错模型后面全白测；再量性能和并发，搞清楚容量水位在哪；最后跨时段复测看稳定性。每一步都给到站内能直接用的入口，方便你边测边记。

真假怎么测：指纹、边界与一致性

真假检验的核心不是问它「你是什么模型」，而是用行为特征去比对。先用固定指纹问题：要求它复述特定格式、特定口径的固定答案，同一问题跑三遍，看回答是否收敛在同一套特征上；再换个渠道跑同一组，对比语言风格、拒答边界、格式习惯是否一致。

然后压边界。塞超长输入看它在哪截断、塞越界请求看它用什么话术拒答、塞结构化输出看格式遵守率。这几项最容易暴露套壳换模型，因为接口字段可以随便改，行为习惯改不了。单次结果不算证据，同一问题分不同时段、不同渠道各跑一轮，写进对照表再下结论。

• 固定指纹问题：同一组问题重复跑，看回答是否稳定收敛在同一套特征
• 边界输入：超长截断点、越界拒答话术、结构化输出格式遵守率
• 跨渠道一致：换渠道跑同一组，比风格与边界是否一致
• 留痕记录：渠道、时段、输入、原始回答都存下来，别只记结论

站内可先到 中转站真假在线实测（/tools/verify） 跑一遍，想弄明白判定逻辑，先看 探针原理（/tools/verify#probes） 和 评分规则（/tools/verify#scoring-rules），别只抄一个结论就走。

性能怎么量：首字延迟、吞吐与并发

首字延迟（TTFT）

点下去之后等多久才开始出字，交互式产品的体感大头

输出吞吐

出字速度，长输出要等多久、批量任务的主要成本

并发水位线

延迟开始明显上翘的那一档并发，你该留的容量上限

这两个指标必须分开看，混在一起谈永远吵不出结果：首字延迟决定体验，输出吞吐决定成本。先在干净环境量一条基线——单请求、不并发、固定输入长度，连续跑多次取中位数，别拿最好的一次当基准。基线不稳，后面所有对比都没意义。

1. 量本地网络基线先到 接口测速（/tools/speed-test） 把自己的网络延迟量出来，否则你量到的可能是本地抖动，不是模型慢
2. 量单请求基线固定输入长度、不开并发，连续跑多次，记录首字延迟与吞吐的中位数
3. 并发逐档加压从小并发开始一档档加，记录每档的延迟变化和错误率，找到延迟开始明显上翘的那一档
4. 记录判断前提把网络环境、输入长度、并发档位一起写下，结论只在当前条件下成立

并发测试不是直接上大并发，而是爬坡找拐点。拐点之前是舒适区，拐点之后每加一档都在拿成功率换吞吐。测完可以把结果拿 几张卡够用：按模型算一遍（/compute/sizing） 换算一下容量，看看你的业务量需要留多少余量。

稳定性怎么测：多时段复测与差异归因

稳定性不是「跑一次没问题」，而是「不同时段跑出来差不多」。建议至少覆盖早晚高峰和深夜三个时段，用同一套用例重跑，对比延迟分布和错误率。差异出来后先分三类归因，别一股脑怪模型。

记录要留痕：时间、渠道、输入长度、并发档位、失败样本。没有留痕的复测等于没测，下次出问题还得从头来一遍。想省事可以先看 AI 服务监控（/ai-status） 和 众测雷达：多人多时段交叉验证（/benchmarks/crowd-radar） 的现成数据，但自建业务的关键链路仍然要自己跑一遍——别人的稳定性数据不能替你背书。

测试项与站内入口对照表

把三块测试和站内入口对应起来，跑一轮摸底基本够用。具体数字（分数、延迟、价格）一律到对应页面看当时的数字，别拿本文当数据来源。

不确定某个指标具体指什么，先去口径页对齐定义再谈数据，否则两个人在会上说同一个词，指的可能完全是两件事。测试用例表建议自己维护一份，跑一次填一行，几轮下来趋势自己就出来了。