公开模型质量检测

MODEL QUALITY LAB公开模型质量检测

免登录用你自己的 Key 跑一组公开题:图形表达、数学推理、指令遵循、代码正确性、结构化输出、工具调用与知识库时间共 7 类套件、最多 11 题。先确认接口能不能正常返回,再看模型是否真的具备宣称的能力;Key 只用于本次检测,不落盘,报告可下载留存。

  • 7 类套件
  • 最多 11 题
  • Key 不落盘
  • 登录自动归档
免登录 · Key 不落盘

最多 11 题。会消耗你提供的 API 额度;七项全选最多 45,056 输出 token。密钥不落盘,登录后报告自动归档。

模型名称由接口配置提供;无法据此验证真实模型身份。接口报错与能力未达标分别展示。

等待开始

READY
⌁

输入模型连接信息并选择检测套件,结果会在此处生成。

响应质量稳定性基础能力
检测结果反映检测时点的客观数据,不构成对任何服务商的担保或结论;引用请注明检测时间。登录后报告自动归档到用户中心 · 历史记录只存在当前浏览器
HOW IT WORKS

怎么跑完一次检测

  1. 填接口填 OpenAI 兼容的 API 基地址(中转站地址和官方地址都行,带不带 /v1 都能识别)与模型密钥。Key 只用于本次检测,不写入本站数据库,也不写入浏览器存储。
  2. 取模型点「点击获取模型」读取上游 /models 列表并选中要检测的模型 ID;接口不返回列表时可以直接手工填。页面不会根据名称推断真实模型身份,只按接口返回的 ID 记录。
  3. 选题库七类套件按需勾选,默认全选共 11 题。只关心某一项能力时可以只留对应套件,既省时间也省自己的额度;推理强度按接口支持情况选高、中、低。
  4. 读报告提交后页面显示排队与逐题进度,结果区给出总分、逐题判定与原始回答。「下载报告」可保存 JSON 留档,最近记录只保存在当前浏览器里。
CHECK ITEMS

七类套件分别测什么

图形表达

用「鹈鹕骑自行车」这类直观的 SVG 观察题看模型的图形表达与指令遵循。它只反映表达效果,不单独决定模型是否达标,适合做第一眼的直观对比。

数学推理

3 道分步计算题,检查模型是否给出可核对的过程与正确结果。只看最终数字容易错过「过程错但凑对答案」的情况。

指令遵循

2 道带格式约束的题(字数、结构、禁用词等),检查模型是否真的按要求回答,而不是给出通用长篇解释。

代码正确性

2 道代码题,检查算法逻辑与边界处理是否完整;判定看的是可运行的正确思路,不是代码长度或注释多少。

结构化输出

1 道严格的 JSON 题,检查字段名、字段类型是否正确,以及有没有夹带解释文字或 markdown 代码块。

工具调用

1 道 function calling(函数调用)题,检查是否正确选择函数并给出合法参数,而不是把调用写成普通文本。

知识库时间

1 道时效题,检查模型的知识截止时间与是否编造:答不出应当承认不知道,硬编一个日期即判未通过。

FAQ

公开模型质量检测常见问题

检测会不会保存我的 API Key?

不会。Key 只用于你当前浏览器发起的检测请求,检测完成后即随请求生命周期释放;本站不把它写入数据库、日志或浏览器存储。历史记录里只保留模型 ID、地址域名与结果,建议始终使用临时 Key 做这类检测。

检测结果能说明模型是不是「掉包」吗?

能给出强力线索,但不是司法级证据。如果接口宣称的是旗舰模型,却在多类基础题上系统性不达标、响应格式明显简化或知识时间严重滞后,就值得怀疑;反过来,全项通过也不能证明上游一定是官方通道,只能说明这次检测时点的能力表现符合预期。

一次检测要消耗多少 token 和费用?

七项全选最多约 45,056 输出 token,实际用量取决于模型回答长度,通常远低于上限。费用按你自己接口的单价结算,本站不收取任何费用;想省钱就只勾选关心的套件。

为什么有的题显示「接口报错」而不是「未通过」?

两者分开统计是有意的:接口报错说明请求没成功到达或没拿到合法响应(401 鉴权失败、404 模型不存在、429 限流、5xx 上游异常等),属于服务可用性问题;「未通过」说明请求成功但模型能力没达标。前者先查配置和上游状态,后者才谈能力。

七项全选和只选一项有什么区别?

全选给出的是综合能力画像,适合选型前做一次体检;只选一项适合针对性排查,例如只测「结构化输出」验证某个接口对 JSON 模式的兼容性。判定标准不因套件数量变化,总分只按实际勾选的题计算。

检测报告会保留多久?

登录后提交的报告会自动归档到用户中心,可长期回看和下载;未登录只能凭临时链接查看。浏览器本地历史记录只存在你自己的设备上,可以随时用「清空」按钮删除,删除后本站无法恢复。

能不能检测非 OpenAI 兼容的接口?

目前只支持 OpenAI 兼容协议(/chat/completions 与 /models)。Anthropic 原生协议、Gemini 原生协议需要中转层转换后再测,或者改用本站的鹈鹕 SVG 测试页。

为什么同一模型两次结果不一样?

大模型输出本身有随机性,长回答尤其明显;另外中转站的负载、限流与路由切换也会影响表现。判断稳定性建议在相近时段多跑几轮,看的是多次结果的分布,而不是单次得分。

RELATED

题库与判分规则由本站维护,每类题库逐项公开;检测结果反映检测时点的表现。