英伟达发布Realtime-Bench:GPT-6-Astra实时任务成功率仅44%

资讯 AI 开发者社区 作者:编程导航 全文 942 字 · 约 3 分钟读完 配图 1 张 分类GPTGPT-6英伟达OpenAI模型发布大模型

人工智能大模型在文本创作、代码编写和图像生成等静态任务上已经展现出惊人的实力,但在瞬息万变的实时交互场景中,它们的真实表现究竟如何?近日,英伟达携手得克萨斯大学奥斯汀分校(UT-Austin)等顶尖机构正式发布了全新的实时交互任务基准——Realtime-Bench。该基准的诞生,旨在为评估人工智能在动态环境下的综合表

所属频道 大厂动态模型发布ChatGPT 与 GPT算力与芯片

在文本创作、代码编写、图像生成这类静态任务上,大模型已经交出了相当亮眼的成绩。可一旦进入瞬息万变的实时交互场景,它们到底能有几分本事?日前,英伟达联合得克萨斯大学奥斯汀分校(UT-Austin)等机构,正式推出面向实时交互任务的评测基准 Realtime-Bench,想给动态环境下的人工智能表现提供一把量得准的尺子。

这套基准的核心测试机制,围绕三大动态能力与时钟协议展开。Realtime-Bench 一共设计了 50 个任务,覆盖八类场景,用来全面检验大模型在真实实时场景中的应对水平。测试重点看三样东西:实时感知、时间自适应推理,以及行动时机的把握。

研究人员还设了三种不同的环境推进时钟协议,目的是把不同因素对模型表现的影响科学地区分开来。这套测试架构足够严谨,能把外部干扰剥掉,直接照见大模型在动态处理上的性能底座。

测评结果已经出炉,多数模型都栽在低延迟与推理能力的双重困境里。研究人员用该基准深度测试了全球 12 款前沿大模型,结果显示,当前主流 AI 在实时任务上的短板相当明显。

按真实推理耗时推进环境的严苛场景下,成绩最好的 GPT-6-Astra 任务成功率也只有 44%。高推理强度时,模型三次全成功的概率更是低到 36%。说到底,面对复杂的实时交互,绝大多数前沿大模型还是很难在极低延迟和深度推理之间找到那个完美的平衡点。

进一步的实验还给出几个关键的行业洞察,并不只是整体成功率偏低这么简单。

推理强度和成功率不是线性正相关。实时任务里一味往上加推理强度,未必就能把任务成功率提上去。

思考深度和行动时机之间存在博弈。模型实际运行时,得在深思熟虑的思考深度与转瞬即逝的行动时机之间做好精确权衡。

只缩短延迟也有局限。实验结果说得很清楚,光靠压缩推理延迟,现实中的实时交互难题根本没法彻底解决。

Realtime-Bench 的推出,给业界评估大模型动态交互水平立了一个标杆性工具,同时也给全球人工智能研发人员敲了警钟:能不能突破实时感知的瓶颈,会成为下一代大模型迈向通用人工智能(AGI)的关键突围方向。


本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI推GPT-6 Cyber:攻击能力涨51%,漏洞发现率40.3%

    OpenAI向一小部分经过审核的客户发布GPT-6 Cyber,这是一款专门发现并利用安全漏洞的模型,网络安全等级被评为“严重”。其在ExploitGym测试中得分48.5%,相对性能较GPT-5.6 Cyber提升51%,并在火狐发现81个此前未知的严重漏洞、在Linux内核复现1724个漏洞。

    来源 凤凰科技
  2. OpenAI发布GPT-6 Cyber:Linux内核挖出948个可用漏洞利用

    OpenAI CEO山姆·奥特曼。图片经由AI处理文丨周小燕编辑丨徐青阳AI寻找软件漏洞的能力又向前迈进一步。美国当地时间11月5日,OpenAI发布网络安全专用模型GPT-6 Cyber。这是基于GPT-6 Astra开发的攻防特化版本,重点提升漏洞发现、漏洞利用和Web渗透测试能力。OpenAI披露,该模型已在Li

    来源 腾讯网
  3. OpenAI或周五发Astra、Sol及Cyber模型,AI安全赛道被看好

    OpenAI最快周五或发布新一代面向网络安全的Cyber等模型据媒体报道,OpenAI最快将于当地时间11月6日(周五)发布新一代Astra、Sol系列大模型,及面向网络安全的Cyber模型。目前型号编号、定价、上下文窗口及基准性能等关键参数尚未公布,上线渠道亦未明确。部分用户已在Codex用量统计中发现"gpt-6.

    来源 腾讯网
  4. OpenAI GPT-6 Cyber揪出81个Firefox漏洞,Linux内核复现1724个

    OpenAI 近日推出最强网络安全专用模型 GPT-6 Cyber,主攻漏洞发现与利用开发。其首秀成绩单:Firefox 安全研究里挖出 81 个此前未知的高危漏洞,并附证据与复现方案提交 Mozilla,对方已为多枚漏洞打上补丁。另一场 Linux 内核研究中,它复现 1724 个漏洞,并为其中 948 个写出可运行

    来源 AI 开发者社区
  5. OpenAI新模型Astra与Sol曝光:本周或发布,10000个Agent连跑4天

    GPT-6.2 Astra 要来了,厉娜。 据 The Information 今天凌晨放出的风声,最快当地时间本周五,OpenAI 的下一代模型家族就要组团突袭,一口气端出全新的 Astra、Sol 以及主打网络安全的新模型。 而在此之前,全网吃瓜网友已经找到了不少关于新模型的蛛丝马迹。 昨天凌晨,模型追踪机器人突然

    来源 AI 行业观察
  6. GPT-6 Cyber得分48.5%:漏洞发现能力较前代提升16个百分点

    GPT-6 Cyber漏洞利用基准得分较前代提升51%,协助研究人员在Firefox中发现81个高危漏洞,并为Linux内核948个漏洞开发出可用利用程序,是上代五倍以上。该模型越界攻击率降至0.07%,安全能力评级已被上调至"关键"级别。面对能力提升带来的滥用风险,OpenAI目前仅向经过审核的客户开放。

    来源 华尔街见闻
  7. 首款触屏MacBook Pro开卖:M6款同步,GPT-6 Cyber复现1724项漏洞

    · 丰田将设立直属机器人部门,由首席生产官兼任负责人 · 三季度全球 DRAM 营收逼近 2000 亿美元,价格上涨是主因 · 鸿蒙电脑累计发货破百万,华为带来政企台式机与企业版 #欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

    来源 AI 行业观察
  8. 面壁智能姚远:两年内手机跑GPT-6级模型,30Token/s才够流畅

    智东西(公众号:zhidxcom) 作者 | 江宇 编辑 | 云鹏350亿参数的多模态大模型,在仅占用约3GB内存的情况下,已经能在手机上实现超过30 Token/s的生成速度。智东西11月5日报道,今日,在面壁智能举行的端侧多模态大模型技术交流活动上,面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远透露,团队

    来源 腾讯网
  9. OpenAI推GPT-6 Cyber:能找漏洞并验证,首批API开放

    北京时间11月6日,OpenAI宣布推出GPT-6 Cyber,一款经过训练、能够发现并验证可被利用的漏洞,同时始终不超出研究人员所设定范围的网络安全模型。GPT-6 Cyber首批通过API与Codex向一小部分获批的Daybreak Red客户开放,并将逐步把访问范围扩大到所有DaybreakRed客户,同时也将G

    来源 腾讯网
  10. GPT能做动图了!10秒一张,实测“穿帮”有点多

    智东西(公众号:zhidxcom)作者 | 陈骏达编辑 | 云鹏OpenAI的图像生成模型,能直出动图了!▲图源:X平台智东西11月5日报道,今天,OpenAI发布新一代图像生成模型Images 2.6。此次升级主打两个方向:一个是生成更快、编辑控制更细,另一个就是首次支持直接生成GIF动图和SVG(矢量图,常用于嵌入

    来源 腾讯网
  11. 宇树王兴兴与智元稚晖君:具身智能两条路线首次正面交锋

    十月下旬,长三角吹了两种风。 先是杭州。王兴兴站在宇树生态大会的台上,背后大屏里一台G1人形机器人握着画笔,自己调色、自己洗笔,全程零训练,只靠一句提示词。 跑的是GPT-6 Astra。他丢下一句:“物理AI被击穿的苗头已经看见了,快则一两年,慢则两三年。” 一周后是上海。稚晖君在智元创新日把另一句话钉在屏幕上:“A

    来源 AI 行业观察
  12. OpenAI图像模型升级:一句话生成GIF,还提速50%

    OpenAI发布Images 2.6,ChatGPT支持一句话或一张照片生成循环GIF,并可调速度、改单帧,新模型整体提速50%且价格未涨。文章认为,当修图、排版、格式转换等功能被收进模型,靠单点功能收费的AI图像工具公司将受冲击,美图、Canva、Adobe均被提及。

    来源 凤凰科技
向下滚动自动加载更多