模型质量监控

MODEL QUALITY模型质量监控

公开模型质量看板:每轮检测跑一道糖果题(答出独立数字 21 记为通过),按 144 个时段画出 24 小时通过率时间线,并展示账号级鹈鹕骑行 SVG 作品墙。你也可以填自己的接口与 Key,用同一道题独立复测一次。

  • gpt-6-astra · 最近 24 小时
  • 24 小时时间线
  • 144 个时段
  • 20 秒刷新
  • 可自行复测
10 分钟一轮 · 北京时间 UTC+8
24h 通过率 97.8%
87 / 89 次通过
累计检测 24h
144轮
每轮 1 次独立测试
异常记录 24h
57轮
未通过 2 · 请求失败 55
距离下次检测 — 每 10 分钟自动运行

gpt-6-astra

思考强度 medium

当前正常

24 小时检测时间线

144 个时段 · 点击色块查看详情
24 小时前144 轮 · 57 轮异常现在
检测频率10 分钟 / 每轮 1 次
最近检测09-14 02:00
下次检测09-14 02:10
北京时间 UTC+8

鹈鹕骑行

gpt-6-astra · low

账号级智商监控,每使用10%额度检测一次,最多同时展示200只鹈鹕。

已更新

每分钟更新

最近更新 09-14 02:08
记录持续更新数据整理自公开质量看板 · 仅展示脱敏结果
HOW TO READ

怎么看这份看板

  1. 先看 24h 通过率页面左上角是通过率与累计轮数。它统计的是最近 24 小时内「有效回答中答出 21」的比例,请求失败不计入分母,所以通过率不会被上游故障拉低——掉线要看异常记录那一格。
  2. 再看时间线色块每个色块代表 10 分钟一轮,颜色区分通过、未通过、请求失败、无数据与检测中。连续同色的区段才是趋势,孤立的红块多为单次波动;点色块可以看那一轮的详情与原始回答。
  3. 对照检测安排检测频率、最近检测与下次检测时间都在看板中部。数据有延迟时页面会给出提示,结论请以记录中显示的实际检测时间为准,不要把历史结果当成实时结论引用。
  4. 自己测一次右栏可以用你自己的接口地址与 Key 复测:糖果题与鹈鹕骑行各有一个入口。结果只会以脱敏形式公开展示最近 1 小时的记录,测试地址本身不公开,Key 不落盘。
DETAILS

指标口径与判分规则

糖果题判分规则

题目要求模型回答「我有 3 颗糖,吃掉 1 颗,又买了 19 颗,现在几颗」。回答里出现独立数字 21 即记为通过。该规则只检查数字,可能误命中小数或否定句,单题结果不代表完整智力评估。

通过率的算法

通过率 = 糖果题通过次数 ÷ 有效回答次数。请求失败、超时与空响应都不计入分母;所以同一时段里「通过率很高」和「异常记录很多」可以同时成立,两个指标要一起看。

时间线口径

时间线展示最近 144 个时段(每段 10 分钟,合计 24 小时),无数据的时段显示为灰色,检测中的时段为蓝色呼吸块。鼠标悬停看时段与状态,点击查看该轮详情。

鹈鹕骑行是什么

鹈鹕骑自行车是社区流传的图形表达观察题:让模型生成一只骑自行车的鹈鹕动画 SVG。作品墙按账号展示最近作品,用来直观对比画风与结构完整度,不自动评判绘画质量。

防作弊设计

每轮检测都是全新独立请求,不传历史消息、不带上一轮输出;访客测试每轮随机更换场景,主体也可能换成其他鸟类。因此靠记忆或固定模板作答的模型很难稳定蒙过。

数据边界的说明

看板数据整理自公开质量看板,只展示脱敏后的结果,不掌握被检测账号的真实归属;所有时间均为北京时间 UTC+8。

FAQ

模型质量监控常见问题

这份看板的数据是实时的吗?

不是实时的。看板显示的是最近一次检测完成时的结果,不是实时值;最近一次检测超过预期时间时页面会提示,引用结论时请以记录里显示的实际检测时间为准。

为什么通过率能到 95% 以上,异常记录却还有几十条?

两者口径不同:通过率的分母只算有效回答,请求失败不进入分母;异常记录统计的是未通过与请求失败的轮数总和。所以一个时段内可以同时出现「高通过率」和「多条异常」,后者通常来自上游限流或超时。

糖果题会不会误判?

会。判分只看回答里有没有独立出现的数字 21,可能命中小数、编号或否定句(例如「不是 21」)。它是一道低成本的每日定点观察题,用来发现明显劣化和长时间故障,不能替代完整的模型评测。

我可以提交自己的接口来检测吗?

可以。右栏两个卡片分别对应糖果题与鹈鹕骑行测试,填 API 地址与 Key 即可开始。结果会以脱敏形式(只显示地址域名)公开展示最近 1 小时,测试地址与 Key 都不会公开或保存。

鹈鹕骑行的作品是怎么来的?

账号级监控每消耗 10% 额度触发一次生成,作品墙最多同时展示 200 只鹈鹕,每分钟更新。展示的是最新动画作品,用于观察画风变化,页面不对绘画质量打分。

为什么有些时段显示「无数据」?

常见原因是那个时段没有成功检测到结果(上游不可用、限流或额度耗尽),或上游整个时段都不可用导致没有有效记录落地。无数据不等于未通过,判断质量时应当把这类时段排除在分母之外。

看板使用的是哪个模型?

页面顶部会显示当前监控的模型 ID 与思考强度(effort),卡片里的模型名与时间线属于同一轮监控配置。模型切换后历史时段仍保留原记录,不会追溯改写。

数据可以引用吗?

可以,但请注明 AiTest123.com 与页面显示的检测时间,并说明这是历史结果而非实时结论;不要把它描述成对某个服务商的担保或结论。

RELATED

关于这项检测

MODEL QUALITY模型质量监控

糖果题判分规则:回答中出现独立数字 21,即记录为通过。该规则只检查数字,可能误命中小数或否定句;单题结果不代表完整智力评估。

糖果题每轮均为全新独立请求,不传历史消息或上轮输出。通过率 = 糖果题通过次数 ÷ 有效回答次数,请求失败不计入通过率。时间线显示最近 144 个时段。鹈鹕骑行展示最新动画作品,不自动评判绘画质量。刷新页面只读取结果,不发起额外模型请求。所有时间均为北京时间(UTC+8)。

检测详情

CHECK DETAIL检测记录

点击时间线色块查看详情。

动画预览

PELICAN RIDE鹈鹕骑行
鹈鹕骑车动画

看板数据取自本站公开跑出的检测记录,通过率按同一套题库与判分规则统计。