NUS System One基准:单次前向决策,分数高就可靠吗?

资讯 网易科技 作者:网易 全文 4963 字 · 约 13 分钟读完 配图 12 张 分类模型发布学术研究

NUS发布System One模型评测基准:能力有多宽,决策有多稳?,基准,可靠性,模型评测,显式标识

所属频道 模型发布前沿研究

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 1)

新智元报道

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 2)

模型只用一次前向就交出决策,怎么判断它既答得对、又信得过?

软件流程里,大量日常判断用不着模型先写一大段推理:分流用户请求、挑下一步调哪个工具、确认任务有没有做完,都属于这类。

System One模型就是冲这些场景来的。它在单次前向中输出候选结果上的概率分布,延迟低,结果结构化,下游程序拿过来就能用。

可问题在于,榜单分数高就等于好用吗?参考答案本身有争议时,分数还站得住吗?题目难度全都差不多,强模型和弱模型又怎么分出高下?只考单步判断,模型到了网页和工具环境里还能把整件事办完吗?

还有一层:同一组选项只把排列顺序换一下,模型的答案该不该跟着变?正确选项压根不在列表里时,它能不能反应过来「这里没有合适的答案」?

围绕这些疑问,新加坡国立大学xML Lab团队做了最新工作(第一作者 Lichen Li,通讯作者 Xinchao Wang),给System One模型搭出一套评测基准,能力谱系和决策可靠性同时刻画。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 3)

论文链接:https://arxiv.org/html/2611.15777v1

项目主页:https://lichenlillc.github.io/SO-Arena

Hugging Face:https://huggingface.co/SO-Arena

GitHub:https://github.com/holdrain/SO-Arena

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 4)

图 1|原论文图1展示了SO-Arena的四项设计思路:第一,对参考标签做核验;第二,按难度分层,以便把不同模型区分开;第三,在专为System One搭建的沙盒里评测长程交互能力;第四,在选项重排以及正确选项缺席两种情形下检验可靠性。

评测System One模型

需要回答哪些问题?

SO-Arena在意的不是总分高低。它关心的是:一个基准要想真正刻画System One模型,得满足哪四项要求。

可信标签|参考答案必须由模型看得到的证据支撑

一条五星评论写着「买来送给父母」,光凭这句话说明不了评分为何是五星;另一条一星评论写着「假货,别买!」,证据和标签对得上。参考答案要是没法从模型可见的输入里推出来,模型答「错」未必是它的问题。SO-Arena的题目取自可追溯的来源,每个参考标签都经人工核验能否被输入信息支撑,评测参考与模型输入严格分开。

难度分层|难题上才能看出差距

题目全都一样容易的话,三个模型可能齐刷刷答对,分数就没了区分度。SO-Arena在11个领域中的9个,按领域自身的标准划难度档位:数学看计算步数与来源难度,任务完成核验则把「直接查看当前状态」「整合多条证据」「依赖执行历史」三类判断分开。

交互评测|不只判断一步,还要把任务做完

真实应用里,System One模型常常得连着做多步决策:点哪个元素、填什么值、调用哪个工具。前一步错了,后一步就无从谈起。SO-Arena让模型在网页与工具沙盒中一步步行动,每一步的执行结果成为下一步的输入,最后按原始基准的成功标准给整个任务计分。

决策可靠性|换个顺序、去掉正确答案,判断还靠得住吗?

把A、B、C重排成C、A、B,选项内容没变,模型选的应当还是同一个答案;把正确选项拿掉,模型则应当提高「没有合适答案」的概率。SO-Arena把这两项检验合成一个独立的可靠性分数,与能力分数并列报告。

能力谱系与决策可靠性,是刻画System One模型的两个互补维度。

SO-Arena是怎样构建的?

SO-Arena把静态判断与环境交互收进同一套决策接口:模型拿到给定的信息、决策目标和候选结果,返回各候选上的概率。整个基准包含2,919项任务,按原始任务计分。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 5)

图2|原论文图2为SO-Arena概览。(1)任务来自40个公开来源,或由这些来源派生,标签存疑的题目经人工与LLM审查后被剔除;(2)2,919项任务横跨5个能力族、11个领域,题目分静态与环境两类,其中9个领域按难度分档;(3)能力分C取各领域最难档,并对领域做等权平均,可靠性分R则由选项重排与正确选项缺失两项测试合并得出。

来源可溯,逐项核验

这套评测的任务取自40个公开数据集、基准与环境,涵盖情感理解的GoEmotions、数学的MATH500与AIME、科学推理的GPQA Diamond、网页交互的Mind2Web,以及工具调用的BFCL和ToolSandbox。

原始标签被研究团队留作参考,随后经过人工与LLM两道复核,把标签存疑的题目剔了出去;每道题的来源、版本、原始编号都有记录,模型生成的参考标签同样会在元数据里标出。

能力分为五个族,领域共十一个。

这11个领域归到五个能力族下:语义理解、知识与推理、安全与策略合规、证据评估、智能体任务完成。从读懂一句话,到在环境里办完一整件事,典型的决策场景都覆盖到了;各领域的任务数量和难度分布见下图。

模型输出被统一成三种决策格式:choice是在显式候选里挑一个,noul针对是/否问题给出回答和肯定概率,score则按有序等级打分,来源的原生量表保留不动。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 6)

图3|基准的组成方式。左侧展示能力族(内环)与领域(外环)的关系;右侧按难度档列出各领域任务的分布,条上的数字代表该档的任务数量。难度档只在领域内部划分,不做跨领域的统一校准;出自原论文图3。

任务分成静态与环境两类。

2,300项静态任务要求模型对固定输入作出判断;另有619项环境任务,把模型放进网页或工具环境里。337项网页任务中,100个是单步判断,237个要沿参考路线连续决策;282个工具调用回合由BFCL或ToolSandbox模拟器逐步执行模型选出的动作,再返回新的观测。

任务完成的核验环节,SO-Arena还造了「终点相同、过程不同」的执行记录:两条轨迹最后都把物品放回了要求的位置,可其中一条在操作电器时曾把物品放错。只看最终状态分不出这两者,模型得去查执行历史。

分数有两个:能力C和可靠性R。

能力分C取每个领域最难的一档(数学取困难与极难两档,未分档的领域取全部任务),再对11个领域做等权平均——大领域因此主导不了排名,榜单对高难任务也更敏感。

可靠性分R由两块构成。

顺序稳定性S:每道题除原始顺序外再重排12次,比对答案看选项内容、不看位置,并把随机一致的那部分扣掉;

空缺识别N:每道题出现两次,一次完整,一次拿掉正确选项,用模型给出的「无正确答案」概率把两者区分开,N=2·AUC−1。两块取几何平均,只有都高于随机水平,R才为正。

实验结果

评测覆盖21个模型:16个0.4B至31B的开源System One模型,能在System One与System Two之间自动切换的StartLux Auto,两个闭源决策API(Jev API 1.14与OpenAI Decisions),以及两个闭源System Two参照模型GPT-6 Sol和GPT-6 Luna。所有模型都按开发者文档给出的设置运行。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 7)

图4|SO-Arena一览。左侧是21个模型的榜单得分,颜色越深表示分数越高,横向上按模型规模与开放方式归组;右侧对比19个有稳定性测量数据的模型,给出能力分与选项重排稳定性,帕累托前沿以红线标出;出自原论文图4。

最强的是谁?System Two依旧领先,差距大小要看领域。

总分上,GPT-6 Sol(82.3)和GPT-6 Luna(79.7)仍压过所有System One模型;System One里成绩最好的GLiDE与KnowLine-31B都是70.2,比Luna低约10分。

右图把能力和选项重排稳定性摆在一起看:帕累托前沿上只有GLiDE与Jeva-4B,前者能力最高,后者稳定性最高。

代价换来的是速度:单张H100上,每个开源System One模型跑一项任务都在0.3秒以内,GLiDE平均约113毫秒;GPT-6 Sol与Luna的端到端时间接近3秒,差了数十倍。图中右侧约3秒处的StartLux Auto会按需切到思考模式,所以不在此列。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 8)

图5|能力与延迟的关系。横轴为每项任务的平均延迟(取对数刻度),纵轴为榜单分数;每个延迟水平上表现最好的System One模型连成帕累托前沿。开源模型在单张H100上逐题运行测得,闭源API则取包含网络在内的端到端耗时;出自原论文图5。

差距出在哪?三类领域,三种答案。

拿GPT-6 Luna作参照,对比两个规模下表现最好的开源System One模型StartLux Instant(4B)与GLiDE(27B),11个领域自然分成三类:

直接语义判断(知识与常识、情感与情绪、检索与重排序):System One模型与Luna的差距最小。GLiDE在知识与常识、情感与情绪上分别高出5.0和4.8分,检索与重排序上落后5.8分;更强的骨干、额外的思考,带来的提升都不大。

落到细粒度、有依据的决策上——意图路由、安全、任务完成核验、工具调用、网页交互——GLiDE和Luna的分差都没超过4分,StartLux Instant却最多差了29分,出现在网页交互上。同一个模型家族里,把骨干换成更大更新的版本,平均提升比让模型多想一会儿大得多:工具调用+25.6、网页交互+23.9,而思考在这两个领域只换来2至3分左右。

多步推导这块——数学、科学推理、代码理解——两个System One模型都差得明显,GLiDE在数学上落后26.7分。思考在这里最管用:StartLux Auto开启思考后,数学得分从50.8升到92.5,已经接近Luna。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 9)

图6|和System Two的差距有多大、靠什么缩小,各个领域并不一样。(a)两个System One模型对GPT-6 Luna的分差(中等与困难档,含95%置信区间);(b)同一家族从小模型升到27B模型的提升;(c)StartLux Auto始终思考相对从不思考的提升;原论文图6。

那决策可靠吗?能力排名和可靠性排名对不上。

测了18个System One模型的可靠性,结果能力强不等于可靠。可靠性最高的是JevAny-27B(R = 0.84),能力榜上却只排第11;能力最强的System One模型GLiDE(R=0.78),可靠性排第7。

两个分量的走势也差得很远:18个模型里有14个顺序稳定性S超过0.8,多数模型在选项只是换个位置时还能守住原答案;空缺识别N则从接近随机一直分布到0.8左右,模型规模也定不了它——有些4B模型的N甚至高过部分9B和27B模型。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 10)

图7|18个SystemOne模型的可靠性及两项分解指标。(a)为可靠性R,各模型榜单分数标在条形左侧;(b)为空缺识别N和顺序稳定性S,0代表随机水平,虚线表示等R曲线;图源:原论文图7。

原因在哪?稳定性跟着能力走,空缺识别得单独测。

顺序稳定性大体随能力上升,多数模型紧贴趋势线。原本答对的题,重排之后只有4.3%改了答案;原本答错的题,这个比例高达25.7%。换句话说,不稳定主要出现在模型本来就不擅长的题目上。

空缺识别和能力的关系就松多了:能力水平相近时,N的差异远比S大。Kev-27B、Jev API 1.14和JevAny-27B的N都高于能力最强的四个System One模型。能力分数能告诉你模型稳不稳,却很难告诉你它能不能发现「正确答案不在这里」。

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 11)

图8|能力提升时顺序稳定性随之上升,空缺识别与能力只是松散相关。(a)S与能力分的关系;(b)重排后原本答对和答错的题目中答案发生变化的比例;(c)N与能力分的关系。图中每个点对应一个System One模型,曲线为二次趋势;图源:原论文图8。

这些结果把「可靠地作决策」拆得更细:选项换了位置,判断还在不在;正确答案缺席,模型察不察觉得到。后一点从准确率里读不出来,只能直接去测。

总结

SO-Arena给System One模型做了一张更完整的「体检表」,靠的是可溯源的标签、分层的难度、沙盒中的交互,外加独立的可靠性评分。核心意思可以压成两句:

能力看的是广度和难度,决策看的是稳定和自知。

Capability and reliability, measured side by side.

对正在把System One模型接进真实流程的开发者来说,SO-Arena给的不光是一份排行榜,更是一种评估视角:别只问模型答没答对,还要问它顺序一变是否还坚持原判断,没有合适选项时能不能老实说「都不适用」。

参考资料:

https://arxiv.org/html/2611.15777v1

NUS System One基准:单次前向决策,分数高就可靠吗?(配图 12)

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌论文曝RSI内部落地:SIM机制让AI经验跨模型遗传

    新智元报道 谷歌内部,或许真正实现了RSI!从此,Gemini已能「继承经验」持续自我进化,Gemini新模型不再从零开始!或许也正是这个原因,谷歌最近跟疯了似的不停发模型。Gemini 4 Hydrogen才发布不到一周,更强的Gemini 4 Neon就来了。答案,或许藏在谷歌与宾夕法尼亚州立大学深夜联合发布的一篇

    来源 腾讯网
  2. 高露洁用AI角色扮演调研:重测信度90%能否替代真人样本?

    高露洁棕榄(Colgate-Palmolive)与PyMC Labs联合发布的一项新研究显示,只要改变提问方式,让大语言模型“角色扮演”消费者,AI预测真实购买意愿的可靠度即可达到人类重测信度的90%。这篇挂在预印本平台arXiv上的论文近期在海外科技与商业圈引发震动。全球企业每年在消费者调研上投入数十亿美元,有市场观

    来源 腾讯网
  3. 谷歌字节快手集体降价,AI视频进入分秒计价时代?

    (本文作者为 AIX财经,钛媒体经授权发布)文 | AIX财经,作者 | 王璐,编辑 | 魏佳AI视频行业正在靠近一个类似DeepSeek的时刻,模型能力差距收窄,价格被打到分/秒,创作者开始批量调用。11月初,谷歌把视频模型Gemini Omni 1.2 Flash转为正式版,不仅支持15秒视频生成和多轮对话式编辑等

    来源 腾讯网
  4. METR时间视野图更新:编程任务表现突出,判断力任务仍偏弱

    METR发布其广受引用却常被误读的“时间视野图”更新版。新报告确认部分AI能力仍在指数级提升,模型能独立完成的任务时长持续延长;但报告同时揭示明显不对称——模型在编程任务上表现优异,在需要判断力的任务上却明显偏弱。这提醒业界,单一基准无法代表AI在开放式工作中的真实水平。

    来源 AI 科技快讯
  5. Gemini 4 Neon发布:速度达旗舰两倍,定价却更高?

    2026年11月18日,谷歌DeepMind正式推出Gemini 4 Neon,定价每百万输入token 3美元、输出15美元,配备100万token上下文窗口。在Artificial Analysis智能指数上排名全球第三(得分61),生成速度约每秒110-127个token,接近旗舰模型Carbon的两倍。但一个反

    来源 AI 行业观察
  6. 谷歌论文:光改提示词智能体成功率反降,改运行框架升至40%

    调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。 142 行代码,拆成四块逐个改 Harness 指包裹在模型外围的运行框架,负责

    来源 AI 开发者社区
  7. 姚顺雨回清华姚班:大模型不拼指标赛马,RSI如何落到工程?

    11 月 18 日晚,腾讯首席 AI 科学家、混元大模型负责人姚顺雨回到母校清华大学交叉信息研究院(姚班),与本科同窗、清华交叉信息院助理教授吕凯风做了一场近距离的闭门问答交流。 作为姚班 2015 级校友与普林斯顿博士,姚顺雨曾参与提出将推理与行动结合的 ReAct 范式,是代码 Agent 评测基准 SWE-ben

    来源 AI 行业观察
  8. 大二学生获ACM MM最佳论文陷质疑,通讯作者独家回应

    事件全貌梳理 + 当事人独家回应 作者丨邓哲敏 编辑丨齐铖湧 近日,一场疑似“学术造假”事件,在国内学术圈掀起了轩然大波。 事件的暴风眼,来自刚刚结束的顶级学术会议 ACM MM 2026,这场国际多媒体领域顶会上的一篇 Best Paper,被指出诸多疑点,质疑它可能存在的造假行为和国际顶会最佳论文这个 title

    来源 AI 行业观察
  9. 姚顺雨团队Reddit答问:混元下一代模型规模将显著扩大

    连续发布Hy4和Hy4 flash后,腾讯首席AI科学家、混元大模型负责人姚顺雨和混元团队研究员来到Reddit,回应关于小尺寸模型、下一代训练计划、架构选择、安全与模型能力等问题。 北京时间11月21日凌晨,混元团队首次在Reddit举办AMA(Ask Me Anything,即“有问必答”),共收到300多条留言。

    来源 腾讯网
  10. 英伟达洽谈收购Inception:5亿美元押注扩散模型提速Nemotron

    英伟达正就收购AI初创公司Inception展开深度洽谈,交易估值至少5亿美元,另附基于业绩目标的额外奖励安排。此举旨在为英伟达旗下开源模型项目Nemotron引入扩散模型技术与核心人才。据科技媒体The Information 11月19日报道,三名知情人士透露,上述谈判已进入高级阶段。Inception的扩散大语言

    来源 腾讯网
  11. 李飞飞创办World Labs被AMD收购:46天交易,82亿美元

    从图像、空间到仿真环境,她不断拓展机器“看见世界”的方式。文|《中国企业家》见习记者 施思羽编辑|马吉英头图来源|视觉中国在World Labs位于旧金山的总部,两位华裔女性共同切下庆祝蛋糕。当地时间11月16日,半导体巨头AMD宣布,完成对世界模型World Labs的收购,交易金额82亿美元,全部采用股票支付。来源

    来源 腾讯网
  12. 谷歌推 Gemini 4 Argon:面向机器人控制与策略优化

    谷歌发布了 Gemini 4 Argon,并将其定位为一款通用物理推理模型,适用于机器人控制、 Real2Sim 场景构建、机器人视频多模态标注以及迭代策略优化,而非单一的末端执行器策略。 在已发布的提示词中,在 MuJoCo 孪生环境中进行训练后,Argon 引导波士顿动力公司的 Spot 机器人完成了脚踏板任务;利

    来源 AI 行业观察
  13. OpenAI前沿训练安全框架:夜间告警无人应答即自动暂停

    OpenAI于2026年11月18日发布前沿模型训练安全案例框架,要求训练运行在推进前通过对齐、遏制、监控三维度审查。核心机制包括夜间优先安全告警无人响应时系统自动暂停,以及新问题导致安全案例失效即须暂停。该框架借鉴航空与核电行业实践,明确限定于前沿强化学习训练阶段,目前仍属 aspirational 北极星

    来源 AI 科技快讯
  14. 26B参数循环Transformer模型Inkling 2 Mini开源,支持本地离线运行

    Thinking Machines Lab发布Inkling 2 Mini,采用循环Transformer架构,总参数26B。该模型支持文本和图像输入,可在配备32GB内存的MacBook上离线运行智能体任务,如编写代码或驱动虚拟角色。权重已按Apache 2.0许可开放,适合开发者部署本地编程助手。

    来源 AI 应用前沿
  15. 腾讯混元Hy4开源:7700亿参数,四大社区同步上线

    腾讯混元11月20日正式开源Hy4模型,同步发布披露安全评估与已知风险的System Card。Hy4为混合专家架构多模态模型,总参数量7700亿、单Token激活约490亿参数,支持最长100万Token上下文。随着Hy4开放,Hy系列大语言模型均已开源。

    来源 凤凰科技
  16. iPhone Air 2最新机模曝光!后置双摄 新增4800万像素超广角

    iPhone 18、iPhone Air 2预计将于2027年春季发布,随着新品发布时间逐渐临近,两款新机的模型机也提前在网上曝光。 今日,爆料人士Sonny Dickson在社交平台X晒出iPhone Air 2和iPhone 18的机模照片。 从外观来看,iPhone 18整体变化不大,基本延续iPhone 17的

    来源 AI 行业观察
  17. 米哈游发布8B参数VLA模型,自主通关崩铁50小时

    米哈游崩坏AI团队发布Gamer模型,基于Qwen3-VL-8B训练。该模型不读取游戏底层代码,仅凭屏幕画面和键鼠操作就能自主游玩《崩坏:星穹铁道》。在50小时长流程测试中,自主运行率超95%。通过稀疏思考和记忆摘要机制,解决了长任务中的延迟和遗忘问题,还能跨游戏通用操作。

    来源 AI 应用前沿
  18. Anthropic数学家宣称用Claude证明黎曼猜想,附14卷Lean代码

    Anthropic研究员Levent Alpöge发布声明,称在AI助手Claude协助下完成了黎曼猜想及广义黎曼猜想的证明。核心论证以25万页Lean形式化代码呈现,而非传统论文。目前数学界尚未完成独立验证,关键看形式化命题是否准确对应原猜想。这一事件标志着“人类引导+AI推导+机器验证”的新科研范式可能正在形成。

    来源 AI 应用前沿
向下滚动自动加载更多