物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs

资讯 量子位 全文 5503 字 · 约 14 分钟读完 配图 7 张 分类机器人

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs 林方舟 8分钟前 仿真 机器人

所属频道 机器人与具身智能

诺亚 发自 凹非寺

量子位 | 公众号QbitAI

强化学习环境(RL Envs)正在成为一门新生意。

随着大模型走向工具调用、软件操作和多步骤任务,模型训练的方式也在发生变化。模型不再只是从已有的数据和答案中学习,还需要进入具体任务,执行动作、观察结果,再根据反馈不断调整策略。

对模型团队来说,算法决定模型如何学习,而环境决定模型能够练习什么、可以尝试多少次,以及如何判断一次尝试是否有效。能否找到足够多、足够真实、结果可判定的任务,正在成为后训练的一部分重要工作。

这块需求有多热,市场已经给出答案。Mercor、Surge AI、Handshake……过去一年,围绕大模型训练和后训练,一批新公司和新业务迅速进入硅谷视野。

11月10日,Mercor宣布完成7.5亿美元D轮融资,估值200亿美元。这家公司运营着超过500万人的专家网络,为前沿实验室和企业供应评测与后训练数据。今年早些时候,Mercor还收购了Deeptune——一支花费两年时间把数百个企业应用重建为训练环境的团队。

Surge AI则展示了任务环境与模型训练之间的联系。这家公司围绕文档、电子表格、网页调研、规划和工具调用等长程办公任务构建RL环境,并用Qwen3.5-122B-A10B做后训练,模型随后在从未见过的SWE-Bench Pro上提升了5.7个百分点。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 1)

Handshake AI的重心在专家与场景,为前沿实验室提供专家数据、RL环境和评分器,覆盖金融、生命科学、对齐等方向。据《时代》杂志援引其CEO的说法,这项业务上线约一年,年化收入达到10亿美元。

这些公司的业务形态并不完全相同,有的侧重专业任务,有的提供训练环境,有的将专家经验、环境构建和评测结合起来。

但它们指向了同一个变化:模型后训练所需的核心供给,已经从算法和算力,扩展到训练数据和环境——“做什么任务、在哪里练、如何判定结果”。

随着模型开始承担长程任务,环境的作用越来越具体:它决定模型能练习哪些工作、动作会带来什么结果、训练能否持续迭代。

当这些环境还在数字世界时,模型操作软件、修改文件、运行代码,动作造成的变化通常能被记录,也比较容易判断结果。

而当模型要从屏幕走向物理世界,训练环境从数字任务延伸到物理交互,无疑会更加复杂。

GPT-6 Astra,机器人的“GPT-3时刻”:大模型开始进入物理AI

大模型能力的进步,正在改变机器人研发的想象空间。

9月3日,OpenAI发布GPT-6 Astra,定位是电脑操作与编程的前沿模型。

一个月内,第三方评测陆续出炉:在RoboDojo的42个仿真任务上,Astra不做任何机器人专项微调,平均成功率22.48%,超过榜单上全部40个经过训练的机器人策略。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 2)

投资人Freda Duan在X上发帖,称Astra是“机器人领域的GPT-3时刻”;前OpenAI研究员Will Depue的说法更直接:专用模型被“苦涩教训”了。

当然,OpenAI官方从未公布机器人跑分,真机测试也呈现明显的长短板:把方块放进碗里,20次成功19次;换到精密插销任务,20次只成功2次。

讨论指向的变化是实在的:通用模型在推理、工具使用和多步骤任务上的进展,让“基础大模型直接进入物理世界”从愿景变成了现实。

而从数字世界到物理世界,强化学习训练要面对另一种反馈。

数字环境里,软件智能体的动作改变文件、网页或程序状态,结果通常明确;但机器人的动作则牵动物体的位置、姿态和接触状态,一次接触的位置、力度和结果,也会影响后续的操作。所以,除了理解指令和规划流程,机器人必须在交互中不断调整动作。

这也意味着,物理AI需要的RL Envs不是数字环境的简单复刻,它要承载具体工作任务,让机器人在不同初始状态下反复行动,并让关键物体对策略动作作出可信响应。

训练场地的选择随之收窄。真机试错受设备、任务重置和现场条件限制,很难规模化;仿真可以提供可重复的训练条件,但前提是环境能承载具体任务、对策略动作持续给出反馈。

构建物理真实的RL Envs,由此成为基础大模型进入物理世界的必经之路。

复杂、多阶段的长程任务,RL Envs怎样教机器人干活?

在CoRL2026期间,光轮智能发布RoboFinals RL Environments(以下简称:RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。

不同于传统的围绕单一动作设计的训练场景,RoboFinals RL Envs以真实工作任务为导向,首发展示了时长超过8分钟的长程仿真任务——汽车修理长程工作。

这个任务将灵巧手操作、工具使用、多阶段流程和柔性物体交互组织在同一个工作场景中,涉及软管、线缆、密封垫等不同类型的物体。

它所呈现的复杂度,不仅在于单个动作本身的精细程度,更在于多种物理交互如何在同一任务链条中发生耦合关联。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 3)

第一,灵巧操作:自由度和接触点成倍增加。

多数机器人操作任务使用平行夹爪,只有开合一个自由度。灵巧手通常有十几到二十多个自由度,每根手指独立运动。

对策略来说,动作空间的维度大幅上升;对仿真来说,手指与物体之间同时存在多个接触点,每个点的受力都需要求解。如果接触算不准,物体就会滑脱或穿透,策略学到的抓握方式在真实世界里无法成立。

第二,长程任务:误差随着时间累积。

此前机器人强化学习环境中,常见的任务设计是抓取、放置等相对独立的动作。

例如Pick-and-Place,机器人需要完成物体抓取并放置到指定位置。但实际工作环境通常对应多段动作组合而来的任务,机器人要进入真实工作,必然要进入长程任务的训练。

任务越长,训练也越难。早期动作的影响很久之后才显现,每一步的小偏差还会不断叠加。

这是长程任务与多个独立任务简单拼接之间的重要区别。

常见的做法是把长任务拆成几段,每段从人工设定的初始状态开始。这降低了难度,但也去掉了真实工作的一个关键条件:机器人无法真正承接前一步操作造成的状态变化。

RoboFinals RL Envs的任务中,前后阶段相互关联。前一步造成的物体位置、姿态和接触状态变化会延续到后续步骤,策略必须学会在不完美的中间状态上继续完成任务。

第三,可变形物体交互:状态难描述,参数难确定。

软管、线缆、密封垫是可变形柔体,仿真时要离散成大量节点逐一计算,计算量和数值稳定性的压力都远高于刚体。

它们的行为还取决于刚度、阻尼、摩擦等参数。参数稍有偏差,仿真中的柔体表现就可能过软、过硬,或出现真实世界中不存在的抖动。而柔体交互后的形状响应,会直接影响后续的任务过程。

灵巧手的手指需要与物体发生接触,工具操作涉及精细的位置和姿态控制,软管受到牵拉时会产生弯曲和摆动,密封垫受压则会发生形变。

这些对象具有不同的物理属性和交互方式。单独呈现其中一种物体的运动并不困难,难点在于将它们放进同一个任务环境,使机器人能够在连续操作中与不同对象发生交互。

光轮此次展示的重点,不只是一个汽车维修仿真场景,而是将精细操作、复杂物体交互和长程任务组织在一起的机器人强化学习环境。要同时做到这几点,只能从底层做起。

光轮智能的全栈自研仿真底座SimFoundry覆盖“求解-测量-生成”三个环节:

求解器负责把刚体、关节体和柔性体的交互算对;

测量环节让物体的物理参数来自真实数据;

生成环节由AI Agent驱动,基于真实任务完成资产重建、物理建模和任务定义。由Agent驱动生成链路,真实场景和任务才能成批进入仿真。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 4)

光轮智能把这套标准称为RL Ready:任务语义上,每个阶段有明确的完成判定;物理交互上,试错条件下的反馈可靠;反馈信号上,可以直接用于训练。模型接入之后即可开始试错与迭代。

物理可信:光轮的仿真积累如何支撑长程任务

物理AI需要的强化学习环境,对搭建方提的要求很严格:

资产要视觉真实,还得物理真实。做到高质量的仿真环境搭建,需要高质量资产、高精度物理求解器、专家经验,三样缺一个,长程任务就会卡住。

问题在于,这三个单点能力很难同时被一个团队汇聚起来。

做资产的不碰求解器,卖仿真软件的手里没有真实场景,模型团队知道什么算对,却不太有动力做环境。

单点demo谁都能拼凑,但拼完就发现运行不下去。长程RL Envs迟迟没人推出来,卡点正是在这里。

光轮智能的不同之处,是这三样能力都握在自己手里。

作为Newton仿真技术委员会里唯一的中国公司,光轮智能参与定义SimReady仿真标准,同时是SimReady Central Library开源仿真资源库的核心贡献方。

早先展示的线缆插拔、塑料袋抓取等仿真任务,团队便展现了处理柔性物体的形变、接触和状态变化的能力,这类对象比刚体难缠得多。

而汽车维修任务,虽然对象变了,但处理的仍是同一类问题。资产、场景、自研求解器,这几个核心能力,都是这些年一点点打磨出来的。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 5)

△光轮智能已实现物理真实的颗粒、柔体与刚体的协同交互

能力凑齐还不够,得咬合起来才产出可训练的环境。

Agentic校准工作流干的就是这件事:Agent提方向、比结果、组织下一轮修正方向,光轮智能的仿真专家在关键节点上拍板,不断优化。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 6)

此次发布中的一个具体案例可以说明这一工作流的运作方式。

在维修汽车的任务中,充气设备的软管受到牵拉时的弯曲和摆动会影响机器人操作,初始仿真中存在异常抖动。

Agent连续自动化校准,逐步找到对软管响应影响最大的杨氏模量参数。候选参数和轨迹出来后,人类专家再把仿真中的弯曲、摆动与实际软管的表现放在一起判断,协助完成最后的校准。

样例中,最大位置偏差缩小约3毫米,原先明显的抖动也有所减轻,软管响应更接近真实。

物理AI的强化学习仿真环境来了,光轮智能推出RoboFinals RL Envs(配图 7)

△从V1到V3,与真实数据对比的误差结果不断缩小

物理参数调整的对象明确、结果可对照,由此形成自动化校准工作可复现的基础。

环境的构建能力能否规模化扩张,则决定了环境库能走多远。

光轮智能的规划是让RL Envs承载更多类型、不同难度和不同任务跨度的机器人工作,环境库的分布跟随真实任务分布,场景类型覆盖家居、工业、零售、医疗等;操作类型与难度从抓取放置,到对准、工具使用、力控,再到精密闭环操作;资产类型包括刚体、关节体、柔体、流体。

环境做出来了,接下来轮到模型团队提问:我怎么知道它学会了?

训练环境得配一套能对齐的评测。RoboFinals RL Envs和RoboFinals Benchmark共享任务语义、场景资产和能力定义,训练和评测说的是同一套工作要求;训练任务、奖励调参的过程和评测实例则严格分开,给学习效果留一份独立检验。

行业里,能训练的往往不能评价,能评价的手里又没有自己的环境,同源设计只有在同一条产品线上才成立。

最后一层是交付。

开源工具把启动仿真的门槛降下来了,可资产适配、物理校准、运行检查这些活一样没少。

光轮把它们打包成一个可以交付的产品,模型团队接上策略就能开训。环境能力不再是“某个团队内部攒出来的活儿”,而是可以采购、复用的标准件。

行业里,资产有人做,求解器有开源的,评测也有机构在做,单看每一项都不算独家。光轮智能率先把从“环境构建-校准-评测-交付”的一整条路走通了。

RL Envs的价值,最终要体现在策略能否在环境中持续行动,并根据每一轮交互结果调整行为。

光轮智能此次发布还展示了同一任务在不同策略迭代阶段的变化:

第一阶段(5 steps),机械手动作仍较为抖动,尚未完成抓取;

第二阶段(150 steps),策略已经开始尝试抓取,但螺丝在操作过程中出现滑落;

第三阶段(175 steps),策略成功抓起螺丝,完成了这一任务步骤。

这说明RoboFinals RL Env能够承载策略训练中的试错与行为变化,让模型表现的迭代过程在一个可重复的仿真任务中被观察和记录。

从数据评测到RL Envs,光轮补上模型持续学习的一环

大模型的发展已经表明,模型能力的提升不仅取决于算法本身,也与训练任务、交互条件和反馈机制密切相关。

对于机器人而言,这一问题更加复杂。

当模型从完成单一动作走向执行多阶段工作流程,环境不仅要承载任务,还需要处理精细化操作、物理交互、连续状态变化和长程反馈。机器人能练习什么、如何获得反馈,正在变成影响训练效果的变量。

光轮智能此前已经在围绕物理AI构建起“数据-评测-部署”全链路能力。此次推出的RoboFinals RL Envs则将产品能力进一步延伸至交互式训练环境。

依托SimFoundry仿真底座,光轮将复杂任务、物体资产和交互规则组织为可运行的仿真环境,使模型能够直接在环境中控制机器人执行任务、观察状态变化,并通过反复尝试来探索不同策略。

对于难以批量获取后训练数据的复杂操作任务,这也提供了一种新的学习经验获取方式。

模型训练后需要评测诊断,找到下一轮能力提升的方向,RoboFinals RL Envs与RoboFinals Benchmark分别面向策略训练和能力评测。模型可以在环境中进行交互和策略优化,再通过独立评测检验任务表现、识别能力边界。

从数据供给、仿真技术到规模化评测,再到强化学习环境,光轮智能的产品布局也反映出物理AI基础设施需求的变化:从模型研发所需的数据和评测资源,拓展到模型与物理环境之间的持续交互。

当机器人开始承担更复杂、更连续的工作任务,如何构建能够承载这些任务的学习环境,也正在成为物理AI基础设施需要回答的重要问题。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中信建投:物理AI将成AI下一波浪潮,机器人是极佳物理载体

    11月17日,中信建投研报称,北美巨头加速布局,OpenAI对独立机器人团队进行架构重构。GPT-6惊艳效果有望加速产业核心具身大脑发展,Apple、OpenAI、Meta入局,Tesla推进量产,进一步明确产业趋势。OpenAI对独立机器人团队进行架构重构,主要系通用模型在机器人控制上展现出较强潜力,中长期看AI大模

    来源 腾讯网
  2. WorkBuddy工作空间怎么用:绑定文件夹,让AI直接读写本地文件

    很多新手用 WorkBuddy 时直接跳过「选择工作空间」,导致只能当普通聊天机器人用。其实工作空间才是核心:它给 AI 划定一个本地文件夹权限,让它能直接读写文件、自动保存结果。本文详解如何创建空间、避免隐私坑,以及为什么这比拖拽文件高效得多。

    来源 AI 应用前沿
  3. 36氪创意项目征集大赛TOP10揭晓:274个项目投稿,煎蛋AI登顶

    一个好项目,值得被更多人看见。 历时一个月,36氪第一期创意项目征集大赛正式落下帷幕。从项目报名、内容发布,到公开投票、榜单评选,本次活动吸引了来自不同领域的创业团队参与。经过为期9天的公开投票,第一期TOP10项目现已正式揭晓。 本次活动共收到274个项目投稿,项目覆盖AI、机器人、硬科技、消费、企业服务、医疗健康、

    来源 AI 行业观察
  4. 黄仁勋离任引不满:英伟达机器人工程师辞职

    【TechWeb】11月16日消息,英伟达机器人工程师Darrell Dai(戴达瑞)已通过个人X账号宣布辞职。他在帖子中解释,离职的核心原因是对公司前CEO黄仁勋(Jensen Huang)的离任方式感到失望,认为公司在此事上缺乏透明度和

    来源 TechWeb
  5. 小鹏IRON人形机器人明年二季度对外开售,何小鹏预告科技日亮相

    IT之家 11 月 16 日消息,据蓝鲸新闻报道,今日晚间在小鹏集团 2026 年 Q3 财报电话会上,其董事长、CEO 何小鹏预告,在接下来的小鹏科技日和广州车展,最新版本的小鹏 IRON 将会公开亮相,将展示一系列与众不同的能力。何小鹏透露,明年一季度,量产的首批机器人将进入小鹏的部分门店开启试用;明年二季度,小鹏

    来源 腾讯网
  6. 马斯克再创历史 SpaceX首次实现“筷子夹飞船”

    【TechWeb】11月15日消息,美国中部时间11月14日下午,美国太空探索技术公司(SpaceX)的“星舰”飞船在执行了大约22个半小时的飞行任务后,返回得克萨斯州的发射基地,并由发射塔“筷子”机械臂实施“捕获”回收。 这是SpaceX首次成功捕获从地球轨道返回的星舰上面级飞船,为实现星舰完全、快速重复使用迈出关键

    来源 AI 行业观察
  7. 马斯克披露星舰V4细节:箭体约70米,发动机增至9台

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  8. 马斯克披露星舰V4方案:70米箭体、9台发动机,运力再升级?

    马斯克此次披露的核心信息包括:星舰V4箭体长度将增至约70米,推进剂装载量提升超过60%,发动机数量增至9台,并新增3台猛禽真空版发动机。尺寸上,V3星舰长度约为52米,V4增至约70米,增幅约40%;推进剂装载量提升超过60%,意味着单次飞行可携带更多推进剂进入轨道。此次披露发生在SpaceX近期一次星舰试飞之后,该

    来源 TechWeb
  9. 蚂蚁灵波挑战赛落幕:TARS战队真机评测82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。 来自福田实验室、西北工业大学、普渡机器人、天津大学的五位选手组成的“TARS”战队获得一等奖;华中科技大学、清华大学深圳研究院、湖北元一智能的三位选手组成的“EVA”战队,以及天津大学、北京大学、中国科学院自动化研究所三位选手组成的“SST

    来源 AI 开发者社区
  10. 黄仁勋或重掌英伟达:硅谷盟友组建"作战室"游说,Arm CEO被曝接触

    今日热点导览 OpenAI解散机器人团队 SpaceX首次实现“筷子夹飞船” 2026年版国家基本医保药品目录发布,新增107种药品 微软就全球服务中断道歉 加密货币全线大跳水,超31万人爆仓 TOP3大新闻 黄仁勋讨论重掌英伟达,硅谷盟友游说支持回归 据报道,在被董事会驱逐数天之后,英伟达公司前首席执行官黄仁勋正在讨

    来源 AI 行业观察
  11. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  12. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  13. 众筹超500万美元,全球首款多地形跟拍机器人Beni线下首发

    2026 年 11 月 14 日,深圳湾文化广场北馆INNO100 全球创新旗舰店,Kickstarter为其平台上的众筹爆款新品——妙动科技打造的多地形跟拍机器人Beni,举办“首硬礼”中国线下首发活动。即日起用户可在该线下门店现场体验并直接购买Beni跟拍机器人,标准套装4999元、探索套装5799元。 此前,Be

    来源 AI 行业观察
  14. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  15. 埃里克·特朗普背书机器人公司欠薪停摆,CEO曾挪用资金买豪宅

    一家曾以“机器人士兵”概念吸引资本、并获得埃里克·特朗普背书的机器人初创公司,近日被曝未能按时发放员工工资,濒临倒闭。而就在一年前,其CEO被指挪用公司资金购置豪宅。这起事件不仅暴露了明星初创企业的治理失序,也为火热的国防科技投资敲响警钟。

    来源 AI 科技快讯
  16. 蚂蚁灵波首届具身大模型挑战赛收官:TARS战队82.5分夺冠

    11月16日,蚂蚁灵波首届具身大模型挑战赛总决赛结果出炉。“TARS”战队获一等奖,成员来自福田实验室、西工大、普渡机器人、天津大学;“EVA”战队(华科、清华深研院、湖北元一智能)和“SST”战队(天大、北大、中科院自动化所)获二等奖;“Vida”“FDU_SONIC”“ai-robot”获三等奖。

    来源 AI 产业速递
向下滚动自动加载更多