英伟达联合UT-Austin发布Realtime-Bench:GPT-6-Astra成功率仅44%
大模型实时交互遭遇滑铁卢!英伟达等机构抛出 Realtime-Bench:最强 GPT-6-Astra 成功率仅 44%
写文章、敲代码、生成图片这类静态任务,大模型已经交出相当亮眼的成绩。可一旦进入分秒变化的实时交互环境,它们到底行不行?英伟达和得克萨斯大学奥斯汀分校(UT-Austin)等机构最近给出了一个专门的考题——Realtime-Bench。这套基准面向的就是动态环境,用来衡量 AI 在其中的综合表现。
测试怎么设计:三类动态能力,配三种时钟协议
Realtime-Bench 一共准备了 50 个任务,覆盖八类场景。评测时重点看三件事:模型能不能实时感知,能不能随时间变化做自适应推理,以及能不能卡准行动的时机。
研究人员还设了三种不同的环境推进时钟协议,目的是把不同因素的影响分开看清楚。这样搭出来的测试结构,能尽量排除外部干扰,直接测出模型在动态处理上的真实水平。
成绩单:低延迟和推理能力,多数模型两头难顾
团队用这套基准测了全球 12 款前沿大模型。结果很清楚:眼下主流 AI 在实时任务上短板明显。
按真实推理耗时推进环境的严格场景里,成绩最好的
GPT-6-Astra 任务成功率只有 44%。如果推理强度拉高,模型三次全部成功的概率更低,只有 36%。前沿大模型面对复杂实时交互时,想在极低延迟和深度推理之间找到平衡,仍然很难。
实验还看出什么:一味加大推理强度,解决不了根本问题
整体成功率偏低之外,研究通过进一步实验还给出了几个行业层面的发现:
推理强度和成功率不是线性正相关。实时任务里一味往上加推理强度,未必能把成功率提上去。
思考深度和行动时机之间存在取舍。模型运行时,得在多想一步和抓住转瞬即逝的时机之间做好精确权衡。
只缩短延迟也有局限。实验结果说明,光靠压推理延迟,现实里的实时交互难题没法全部解决。
Realtime-Bench 的推出,给业界评估大模型动态交互水平提供了一个标杆工具,也给全球 AI 研发人员提了个醒:实时感知这个瓶颈怎么突破,会是下一代大模型走向通用人工智能(AGI)的关键方向。