考拉悠然BWM-Forge:世界模型可编程,多任务多场景多视角复用
可编程的世界模型,让具身世界生产规模化!多任务、多场景、多视角,具身视频生成走向规模化。实验室里,机械臂摇匀试剂;工厂里,机械狗巡检、转向、爬上台阶;市场里,人形机器人搬货上架;手术台上,灵巧手穿线打结......画面越丰富,越照出一个现实:机器人要走进千行百业,缺的不是模型,而是覆盖不同物体、不同空间、不同视角的交互
世界模型可以编程了,这让
多任务、多场景、多视角成为具身智能走向规模化的入口。
考拉悠然与同济大学联合推出的方案,用代码搭骨架、用生成补细节;任务随时能改,世界只需搭建一次,之后反复复用。
图 1:BWM-Forge——以可执行场景程序连接机器人任务与高保真视频
一、把世界写进代码,每次修改都有入口
在 BWM-Forge 里,物体、运动、相机都被写成可调参数,给具身生成搭起一个能动手操作的世界底座。
启动生产只需要一句任务描述、一份机器人资产。系统提供
任务输入→ 场景程序 →
想改东西,入口很明确:调物体,就改场景参数;换动作,就编辑运动过程;切视角,就重排相机。已有程序还能直接用到新机位、新外观上,构建一次就能撑起一批生成需求。对按条算成本的数据生产来说,省下的钱最实在。
二、多任务、多场景、多视角,一次构建能复用多少次?
本体能换,场景能换,机位也能换。BWM-Forge 把这些变量统统收进可编辑的场景程序,“谁来做、在哪做、从哪儿看”都留了明确的开关。需要批量产出训练数据的团队,同一份投入能摊到更多任务上。
多任务|从机械臂到人形机器人,一条产线覆盖更多本体
厨房里,单臂机器人在柜体和抽屉之间取物;实验台前,双臂夹爪配合做过滤;镜头推近,双臂
从桌面的精细操作,到房间级的全身移动和连续交互,多种本体与任务被收进同一条可编程产线,具身数据的覆盖范围就此打开。
这些演示背后是同一套代码驱动的工作流。接入新的机器人资产、定好任务目标,再结合可用的运动信息接着构建和调整,就能延伸到新的本体与任务。从桌面一角到整间房,内容边界跟着需求走,不再跟着采集预算走。
图 2:覆盖机械臂、机器人等多类本体,展示抓取、操作、行走等多样具身任务
多场景|同一段动作,换个环境就是一条新数据
同一个箱子,人形机器人搬了一回,环境却换了三次:市场里是摊位和遮阳篷,工业仓库里是挑高大堂和远处堆放的货物,垂直农场里则是成排植物和配套设备。动作没变,视觉语境全变了。
一段
三个版本共用场景,不必为每种外观重搭一次。围绕同一任务不断切换视觉环境,构建一次动作就能产出多条有差异的数据,边际成本被明显压低。
图 3:一段代理视频,三种场景外观——市场、工业仓库与垂直农场
多视角|换个机位,就多一份观察数据
四足机器人在工厂里行走、转向、爬楼梯。原始机位交代它和设备、楼梯的相对位置;跟随镜头贴着机身记录转向和行进;近似第一人称的视角,把前方通道和台阶推到眼前。同一段动作,三种信息量。
任务还是同一条时间线,观察入口却可以开出好几个。
三路相机共用同一个三维场景、同一条运动轨迹和时间线,各拍各的画面。想看整体路线,还是身体姿态、前方通行空间?按观察目标去编排镜头就行,已经做好的任务不必返工,缺的那类视角直接补上。
图 4:原始、跟随与近似第一人称视角,共享场景和运动时间线;每个视角展示代理视频与最终生成结
三、四个Agent形成产线,经验也能沉淀复用
可编程世界靠的是一条Agent流水线,构建、审查、渲染、反馈都在这条线上跑。
Harness系统负责调度BWM-Forge里的四类Agent,每一类各管一段:
·
·
·
·
清晰度、颜色稳定性、运动平滑度和动作保真度,由自动评估盯着。
图 5:Harness 连接输入处理、场景构建、审查与渲染、以评估和反馈组织迭代
一句自然语言说出需求,改动就落到具体对象上。
构建和生成的过程中,阶段结果随时可见,用户可以直接用自然语言点出物体布局、机器人动作、相机视角或画面细节哪里需要调整。系统据此改动场景程序、运动参数或生成提示,再把更新后的结果交回来确认。从提需求到看效果,人一直在回路里,迭代不用一遍遍重跑,改动写进代码,下一轮还能接着用。
一次任务做完,就是下一次构建的开始。
建模与渲染的记录会被系统提炼成可检索的规则,存进经验库。工作台、实验室、厨房之间的跨场景搬运案例里,避障间隙、动作阶段、容器放置、相机取景这些经验,换个物体尺寸和场景条件仍能再次调用。
可编辑的任务留在场景程序里,可调用的方法攒在经验库中;用得越多越省事,这套流程的价值就在这里。
四、从跑分到落地,可复用的世界能走多远
跑分是最直观的答案。15 项任务评估中,BWM-Forge 的画面表现和任务指令对齐能力都保持稳定:
多任务拓展本体覆盖,多场景丰富视觉表达,多视角补上观察维度。三条路径其实指向同一条主线:场景、运动与镜头都留成可编辑、可复用的程序,视觉细节再交给生成模型去补。每一次构建不再是投一次就没了,而是能累积下来的资产。
面向具身智能,BWM-Forge 给机器人视觉数据的规模化扩充提供了新路子。接下来,同济大学与考拉悠然会继续扩大任务覆盖、完善自动审查与生成流程,并进一步验证生成视频对下游机器人学习的实际增益。
用代码构建,用反馈打磨,每次生成都成为下一次的资产。
开源共建,让具身任务可复现、可扩展
项目主页:BWM-Forge: Agentic World Programming for Embodied Intelligence
技术报告:
https://arxiv.org/pdf/2611.16221GitHub 链接: https://github.com/Lcixs/BWM-Forge