模型质量监控
MODEL QUALITY模型质量监控公开模型质量看板:每轮检测跑一道糖果题(答出独立数字 21 记为通过),按 144 个时段画出 24 小时通过率时间线,并展示账号级鹈鹕骑行 SVG 作品墙。你也可以填自己的接口与 Key,用同一道题独立复测一次。
- gpt-6-astra · 最近 24 小时
- 24 小时时间线
- 144 个时段
- 20 秒刷新
- 可自行复测
最近一次检测已超过预期时间,请以记录中的实际检测时间为准。
gpt-6-astra
思考强度 medium
24 小时检测时间线
144 个时段 · 点击色块查看详情鹈鹕骑行
gpt-6-astra · low
账号级智商监控,每使用10%额度检测一次,最多同时展示200只鹈鹕。
已更新每分钟更新
最近更新 09-14 02:08怎么看这份看板
- 先看 24h 通过率页面左上角是通过率与累计轮数。它统计的是最近 24 小时内「有效回答中答出 21」的比例,请求失败不计入分母,所以通过率不会被上游故障拉低——掉线要看异常记录那一格。
- 再看时间线色块每个色块代表 10 分钟一轮,颜色区分通过、未通过、请求失败、无数据与检测中。连续同色的区段才是趋势,孤立的红块多为单次波动;点色块可以看那一轮的详情与原始回答。
- 对照检测安排检测频率、最近检测与下次检测时间都在看板中部。数据有延迟时页面会给出提示,结论请以记录中显示的实际检测时间为准,不要把历史结果当成实时结论引用。
- 自己测一次右栏可以用你自己的接口地址与 Key 复测:糖果题与鹈鹕骑行各有一个入口。结果只会以脱敏形式公开展示最近 1 小时的记录,测试地址本身不公开,Key 不落盘。
指标口径与判分规则
糖果题判分规则
题目要求模型回答「我有 3 颗糖,吃掉 1 颗,又买了 19 颗,现在几颗」。回答里出现独立数字 21 即记为通过。该规则只检查数字,可能误命中小数或否定句,单题结果不代表完整智力评估。
通过率的算法
通过率 = 糖果题通过次数 ÷ 有效回答次数。请求失败、超时与空响应都不计入分母;所以同一时段里「通过率很高」和「异常记录很多」可以同时成立,两个指标要一起看。
时间线口径
时间线展示最近 144 个时段(每段 10 分钟,合计 24 小时),无数据的时段显示为灰色,检测中的时段为蓝色呼吸块。鼠标悬停看时段与状态,点击查看该轮详情。
鹈鹕骑行是什么
鹈鹕骑自行车是社区流传的图形表达观察题:让模型生成一只骑自行车的鹈鹕动画 SVG。作品墙按账号展示最近作品,用来直观对比画风与结构完整度,不自动评判绘画质量。
防作弊设计
每轮检测都是全新独立请求,不传历史消息、不带上一轮输出;访客测试每轮随机更换场景,主体也可能换成其他鸟类。因此靠记忆或固定模板作答的模型很难稳定蒙过。
数据边界的说明
看板数据整理自公开质量看板,只展示脱敏后的结果,不掌握被检测账号的真实归属;所有时间均为北京时间 UTC+8。
模型质量监控常见问题
这份看板的数据是实时的吗?
不是实时的。看板显示的是最近一次检测完成时的结果,不是实时值;最近一次检测超过预期时间时页面会提示,引用结论时请以记录里显示的实际检测时间为准。
为什么通过率能到 95% 以上,异常记录却还有几十条?
两者口径不同:通过率的分母只算有效回答,请求失败不进入分母;异常记录统计的是未通过与请求失败的轮数总和。所以一个时段内可以同时出现「高通过率」和「多条异常」,后者通常来自上游限流或超时。
糖果题会不会误判?
会。判分只看回答里有没有独立出现的数字 21,可能命中小数、编号或否定句(例如「不是 21」)。它是一道低成本的每日定点观察题,用来发现明显劣化和长时间故障,不能替代完整的模型评测。
我可以提交自己的接口来检测吗?
可以。右栏两个卡片分别对应糖果题与鹈鹕骑行测试,填 API 地址与 Key 即可开始。结果会以脱敏形式(只显示地址域名)公开展示最近 1 小时,测试地址与 Key 都不会公开或保存。
鹈鹕骑行的作品是怎么来的?
账号级监控每消耗 10% 额度触发一次生成,作品墙最多同时展示 200 只鹈鹕,每分钟更新。展示的是最新动画作品,用于观察画风变化,页面不对绘画质量打分。
为什么有些时段显示「无数据」?
常见原因是那个时段没有成功检测到结果(上游不可用、限流或额度耗尽),或上游整个时段都不可用导致没有有效记录落地。无数据不等于未通过,判断质量时应当把这类时段排除在分母之外。
看板使用的是哪个模型?
页面顶部会显示当前监控的模型 ID 与思考强度(effort),卡片里的模型名与时间线属于同一轮监控配置。模型切换后历史时段仍保留原记录,不会追溯改写。
数据可以引用吗?
可以,但请注明 AiTest123.com 与页面显示的检测时间,并说明这是历史结果而非实时结论;不要把它描述成对某个服务商的担保或结论。
相关检测与工具
看板数据取自本站公开跑出的检测记录,通过率按同一套题库与判分规则统计。