NUS System One基准:单次前向决策,分数高就可靠吗?
NUS发布System One模型评测基准:能力有多宽,决策有多稳?,基准,可靠性,模型评测,显式标识

新智元报道
![]()
模型只用一次前向就交出决策,怎么判断它既答得对、又信得过?
软件流程里,大量日常判断用不着模型先写一大段推理:分流用户请求、挑下一步调哪个工具、确认任务有没有做完,都属于这类。
System One模型就是冲这些场景来的。它在单次前向中输出候选结果上的概率分布,延迟低,结果结构化,下游程序拿过来就能用。
可问题在于,榜单分数高就等于好用吗?参考答案本身有争议时,分数还站得住吗?题目难度全都差不多,强模型和弱模型又怎么分出高下?只考单步判断,模型到了网页和工具环境里还能把整件事办完吗?
还有一层:同一组选项只把排列顺序换一下,模型的答案该不该跟着变?正确选项压根不在列表里时,它能不能反应过来「这里没有合适的答案」?
围绕这些疑问,新加坡国立大学xML Lab团队做了最新工作(第一作者 Lichen Li,通讯作者 Xinchao Wang),给System One模型搭出一套评测基准,能力谱系和决策可靠性同时刻画。

论文链接:https://arxiv.org/html/2611.15777v1
项目主页:https://lichenlillc.github.io/SO-Arena
Hugging Face:https://huggingface.co/SO-Arena
GitHub:https://github.com/holdrain/SO-Arena

图 1|原论文图1展示了SO-Arena的四项设计思路:第一,对参考标签做核验;第二,按难度分层,以便把不同模型区分开;第三,在专为System One搭建的沙盒里评测长程交互能力;第四,在选项重排以及正确选项缺席两种情形下检验可靠性。
评测System One模型
需要回答哪些问题?
SO-Arena在意的不是总分高低。它关心的是:一个基准要想真正刻画System One模型,得满足哪四项要求。
可信标签|参考答案必须由模型看得到的证据支撑
一条五星评论写着「买来送给父母」,光凭这句话说明不了评分为何是五星;另一条一星评论写着「假货,别买!」,证据和标签对得上。参考答案要是没法从模型可见的输入里推出来,模型答「错」未必是它的问题。SO-Arena的题目取自可追溯的来源,每个参考标签都经人工核验能否被输入信息支撑,评测参考与模型输入严格分开。
难度分层|难题上才能看出差距
题目全都一样容易的话,三个模型可能齐刷刷答对,分数就没了区分度。SO-Arena在11个领域中的9个,按领域自身的标准划难度档位:数学看计算步数与来源难度,任务完成核验则把「直接查看当前状态」「整合多条证据」「依赖执行历史」三类判断分开。
交互评测|不只判断一步,还要把任务做完
真实应用里,System One模型常常得连着做多步决策:点哪个元素、填什么值、调用哪个工具。前一步错了,后一步就无从谈起。SO-Arena让模型在网页与工具沙盒中一步步行动,每一步的执行结果成为下一步的输入,最后按原始基准的成功标准给整个任务计分。
决策可靠性|换个顺序、去掉正确答案,判断还靠得住吗?
把A、B、C重排成C、A、B,选项内容没变,模型选的应当还是同一个答案;把正确选项拿掉,模型则应当提高「没有合适答案」的概率。SO-Arena把这两项检验合成一个独立的可靠性分数,与能力分数并列报告。
能力谱系与决策可靠性,是刻画System One模型的两个互补维度。
SO-Arena是怎样构建的?
SO-Arena把静态判断与环境交互收进同一套决策接口:模型拿到给定的信息、决策目标和候选结果,返回各候选上的概率。整个基准包含2,919项任务,按原始任务计分。

图2|原论文图2为SO-Arena概览。(1)任务来自40个公开来源,或由这些来源派生,标签存疑的题目经人工与LLM审查后被剔除;(2)2,919项任务横跨5个能力族、11个领域,题目分静态与环境两类,其中9个领域按难度分档;(3)能力分C取各领域最难档,并对领域做等权平均,可靠性分R则由选项重排与正确选项缺失两项测试合并得出。
来源可溯,逐项核验
这套评测的任务取自40个公开数据集、基准与环境,涵盖情感理解的GoEmotions、数学的MATH500与AIME、科学推理的GPQA Diamond、网页交互的Mind2Web,以及工具调用的BFCL和ToolSandbox。
原始标签被研究团队留作参考,随后经过人工与LLM两道复核,把标签存疑的题目剔了出去;每道题的来源、版本、原始编号都有记录,模型生成的参考标签同样会在元数据里标出。
能力分为五个族,领域共十一个。
这11个领域归到五个能力族下:语义理解、知识与推理、安全与策略合规、证据评估、智能体任务完成。从读懂一句话,到在环境里办完一整件事,典型的决策场景都覆盖到了;各领域的任务数量和难度分布见下图。
模型输出被统一成三种决策格式:choice是在显式候选里挑一个,noul针对是/否问题给出回答和肯定概率,score则按有序等级打分,来源的原生量表保留不动。

图3|基准的组成方式。左侧展示能力族(内环)与领域(外环)的关系;右侧按难度档列出各领域任务的分布,条上的数字代表该档的任务数量。难度档只在领域内部划分,不做跨领域的统一校准;出自原论文图3。
任务分成静态与环境两类。
2,300项静态任务要求模型对固定输入作出判断;另有619项环境任务,把模型放进网页或工具环境里。337项网页任务中,100个是单步判断,237个要沿参考路线连续决策;282个工具调用回合由BFCL或ToolSandbox模拟器逐步执行模型选出的动作,再返回新的观测。
任务完成的核验环节,SO-Arena还造了「终点相同、过程不同」的执行记录:两条轨迹最后都把物品放回了要求的位置,可其中一条在操作电器时曾把物品放错。只看最终状态分不出这两者,模型得去查执行历史。
分数有两个:能力C和可靠性R。
能力分C取每个领域最难的一档(数学取困难与极难两档,未分档的领域取全部任务),再对11个领域做等权平均——大领域因此主导不了排名,榜单对高难任务也更敏感。
可靠性分R由两块构成。
顺序稳定性S:每道题除原始顺序外再重排12次,比对答案看选项内容、不看位置,并把随机一致的那部分扣掉;
空缺识别N:每道题出现两次,一次完整,一次拿掉正确选项,用模型给出的「无正确答案」概率把两者区分开,N=2·AUC−1。两块取几何平均,只有都高于随机水平,R才为正。
实验结果
评测覆盖21个模型:16个0.4B至31B的开源System One模型,能在System One与System Two之间自动切换的StartLux Auto,两个闭源决策API(Jev API 1.14与OpenAI Decisions),以及两个闭源System Two参照模型GPT-6 Sol和GPT-6 Luna。所有模型都按开发者文档给出的设置运行。

图4|SO-Arena一览。左侧是21个模型的榜单得分,颜色越深表示分数越高,横向上按模型规模与开放方式归组;右侧对比19个有稳定性测量数据的模型,给出能力分与选项重排稳定性,帕累托前沿以红线标出;出自原论文图4。
最强的是谁?System Two依旧领先,差距大小要看领域。
总分上,GPT-6 Sol(82.3)和GPT-6 Luna(79.7)仍压过所有System One模型;System One里成绩最好的GLiDE与KnowLine-31B都是70.2,比Luna低约10分。
右图把能力和选项重排稳定性摆在一起看:帕累托前沿上只有GLiDE与Jeva-4B,前者能力最高,后者稳定性最高。
代价换来的是速度:单张H100上,每个开源System One模型跑一项任务都在0.3秒以内,GLiDE平均约113毫秒;GPT-6 Sol与Luna的端到端时间接近3秒,差了数十倍。图中右侧约3秒处的StartLux Auto会按需切到思考模式,所以不在此列。

图5|能力与延迟的关系。横轴为每项任务的平均延迟(取对数刻度),纵轴为榜单分数;每个延迟水平上表现最好的System One模型连成帕累托前沿。开源模型在单张H100上逐题运行测得,闭源API则取包含网络在内的端到端耗时;出自原论文图5。
差距出在哪?三类领域,三种答案。
拿GPT-6 Luna作参照,对比两个规模下表现最好的开源System One模型StartLux Instant(4B)与GLiDE(27B),11个领域自然分成三类:
直接语义判断(知识与常识、情感与情绪、检索与重排序):System One模型与Luna的差距最小。GLiDE在知识与常识、情感与情绪上分别高出5.0和4.8分,检索与重排序上落后5.8分;更强的骨干、额外的思考,带来的提升都不大。
落到细粒度、有依据的决策上——意图路由、安全、任务完成核验、工具调用、网页交互——GLiDE和Luna的分差都没超过4分,StartLux Instant却最多差了29分,出现在网页交互上。同一个模型家族里,把骨干换成更大更新的版本,平均提升比让模型多想一会儿大得多:工具调用+25.6、网页交互+23.9,而思考在这两个领域只换来2至3分左右。
多步推导这块——数学、科学推理、代码理解——两个System One模型都差得明显,GLiDE在数学上落后26.7分。思考在这里最管用:StartLux Auto开启思考后,数学得分从50.8升到92.5,已经接近Luna。

图6|和System Two的差距有多大、靠什么缩小,各个领域并不一样。(a)两个System One模型对GPT-6 Luna的分差(中等与困难档,含95%置信区间);(b)同一家族从小模型升到27B模型的提升;(c)StartLux Auto始终思考相对从不思考的提升;原论文图6。
那决策可靠吗?能力排名和可靠性排名对不上。
测了18个System One模型的可靠性,结果能力强不等于可靠。可靠性最高的是JevAny-27B(R = 0.84),能力榜上却只排第11;能力最强的System One模型GLiDE(R=0.78),可靠性排第7。
两个分量的走势也差得很远:18个模型里有14个顺序稳定性S超过0.8,多数模型在选项只是换个位置时还能守住原答案;空缺识别N则从接近随机一直分布到0.8左右,模型规模也定不了它——有些4B模型的N甚至高过部分9B和27B模型。

图7|18个SystemOne模型的可靠性及两项分解指标。(a)为可靠性R,各模型榜单分数标在条形左侧;(b)为空缺识别N和顺序稳定性S,0代表随机水平,虚线表示等R曲线;图源:原论文图7。
原因在哪?稳定性跟着能力走,空缺识别得单独测。
顺序稳定性大体随能力上升,多数模型紧贴趋势线。原本答对的题,重排之后只有4.3%改了答案;原本答错的题,这个比例高达25.7%。换句话说,不稳定主要出现在模型本来就不擅长的题目上。
空缺识别和能力的关系就松多了:能力水平相近时,N的差异远比S大。Kev-27B、Jev API 1.14和JevAny-27B的N都高于能力最强的四个System One模型。能力分数能告诉你模型稳不稳,却很难告诉你它能不能发现「正确答案不在这里」。

图8|能力提升时顺序稳定性随之上升,空缺识别与能力只是松散相关。(a)S与能力分的关系;(b)重排后原本答对和答错的题目中答案发生变化的比例;(c)N与能力分的关系。图中每个点对应一个System One模型,曲线为二次趋势;图源:原论文图8。
这些结果把「可靠地作决策」拆得更细:选项换了位置,判断还在不在;正确答案缺席,模型察不察觉得到。后一点从准确率里读不出来,只能直接去测。
总结
SO-Arena给System One模型做了一张更完整的「体检表」,靠的是可溯源的标签、分层的难度、沙盒中的交互,外加独立的可靠性评分。核心意思可以压成两句:
能力看的是广度和难度,决策看的是稳定和自知。
Capability and reliability, measured side by side.
对正在把System One模型接进真实流程的开发者来说,SO-Arena给的不光是一份排行榜,更是一种评估视角:别只问模型答没答对,还要问它顺序一变是否还坚持原判断,没有合适选项时能不能老实说「都不适用」。
参考资料:
https://arxiv.org/html/2611.15777v1
