过去三年,生成式AI的主战场一直在屏幕里——写文章、画图、剪视频。可机器真要走进现实世界,只会说话远远不够。杯子从桌上掉下去会碎,车在湿滑路面上刹车距离会拉长,人从走廊拐角出来会出现在哪个位置——这些它都得知道。世界模型(World Models)想给AI的,正是这套关于“世界如何运转”的内部认知。
什么是世界模型:给AI装一个可推演的“内心剧场”
世界模型属于人工智能系统的一类,能模拟真实世界的物理规律和空间结构。大语言模型处理的是离散词元,世界模型打交道的则是三维空间、物体、运动、光照、碰撞和因果。给它当前状态加某个动作,它来预测“接下来会发生什么”——既生成下一秒的画面,也判断物体将怎么移动。
这个概念其实不新。2018年前后,就有研究者用循环神经网络训练智能体,让它们在潜在空间里预测环境。真正的转折来自两件事:视频生成模型(比如Sora一类的扩散架构)证明神经网络能生成视觉上高度连贯、还带一些物理直觉的连续画面;机器人学习社区则发现,与其在真实世界一次次摔倒,不如先在世界模型里“做梦”训练。
为什么现在爆发:三个条件同时成熟
先是数据。互联网上攒下了海量第一人称视频、行车记录和机器人操作数据集,学物理直觉的原材料有了。再是算力和架构。Transformer与扩散模型结合后,长时序、高分辨率的时空建模变得可行。还有下游需求的刚性——人形机器人和自动驾驶公司都在为“真实世界试错成本太高”发愁。
产业侧的动向已经相当密集。李飞飞创办的World Labs提出“空间智能”路线,想从单张图片生成可交互的三维场景;DeepMind的Genie系列探索从视频中学习可玩的世界;英伟达推出面向自动驾驶与机器人的Cosmos世界基础模型,把仿真环境当成新一类“数据中心”;自动驾驶公司Wayve则用生成式世界模型合成极端场景,测试感知系统的鲁棒性。各家技术选择不同,方向却高度一致:把训练场从现实搬到能无限采样的虚拟空间。
三大落地场景:机器人、自动驾驶与内容生产
机器人领域,世界模型的价值在“预演”。机器人可以先想象自己伸出机械臂后的若干种结果,挑出成功率最高的动作,不用真把杯子打翻。对操作精度要求高的家务和工业场景,这一点尤其关键。
在自动驾驶场景里,世界模型要解决的是“长尾难题”。现实中那些罕见路况没法一一列举,生成式模型可以造出雨夜、逆光、突发事故这类极端情况,让感知和规划模块在虚拟环境里一遍遍练。英伟达、Wayve,还有一批中国车企和自动驾驶公司,都在往这个方向下注。
放到内容和娱乐上,世界模型带来的变化是从“生成一段视频”升级为“生成一个能持续交互的世界”。游戏、影视预演、数字孪生、工业仿真,都有可能被它改写。
“真正的智能不只是描述世界,而是能在头脑中预测世界的下一步。”——这一判断正在成为具身智能研究的共识。
现实瓶颈:物理一致性远比画面逼真更难
世界模型当前最突出的毛病,是“看着像”并不等于“算得准”。视频生成模型时常冒出物体凭空消失、穿模、违背重力这类状况。要是拿这种模型去训练机器人,错误就会在现实世界里被放大。再就是数据和评测上的空缺:真实世界的物理参数很难大规模拿到,业内也还没有统一的物理一致性评测标准。另外,长时序推演中误差会越积越多,算力成本和实时性要求也都是工程上难啃的骨头。
还有一个被低估的问题:安全与验证。自动驾驶或医疗机器人依赖内部世界模型做决策时,怎么证明这个内部模型没有系统性偏差,会成为监管的新课题。目前多数团队的做法是保留真实世界的小规模验证闭环,把世界模型当作数据放大器,而非替代品。
编者按:下一个基础设施之争
大语言模型可以看作“语言层”的基础设施,世界模型很可能成为“物理层”的基础设施——谁掌握了对现实世界最准确的压缩表达,谁就掌握了机器人、自动驾驶、仿真与游戏的上游。顶尖实验室、芯片厂商与车企同时挤进这条赛道,原因也在这里。
更值得关注的是范式变化:AI的评测标准将从“生成得像不像”转向“预测得准不准”,从语言基准转向物理与因果基准。这既是技术路线的迁移,也是整个行业话语体系的重构。世界模型不会只是一类新模型,它会成为未来AI系统感知与行动的默认中间层——就像今天的模型调用数据库一样自然,到那时它将无处不在,而人们甚至不会再特意提起这个名字。