张伟楠谈物理智能：AI如何走出屏幕，七层技术栈与五类成熟条件

大语言模型这些年进步很大，可它的不少本事仍发生在屏幕之内：读文字、写内容、敲代码、调用数字工具。一旦把这些能力搬进工厂、实验室和城市设施，智能系统就得直面物体、空间、力和时间，在不停变化的环境里做判断，并为行动的实际后果负责。AI 怎样从处理数字信息，走到可靠地参与物理过程，正是“物理智能”要回答的问题。

这一步跨得有多难，很难只拿模型参数或推理能力来衡量。机器人去拿一只杯子，既得认出位置和形状，也得判断接触、摩擦和受力；实验设备执行一次操作，既要读懂任务，还要守住精度、时延和安全约束。网页点错了可以刷新，物理世界里的碰撞、损坏却未必能撤销。感知够不够及时、动作可不可控、失败后能不能恢复，这些都直接决定系统能不能真正用起来。

今年 CNCC 首日，面向博士生和青年学者的 Tutorial 专题论坛环节里，上海交通大学计算机学院教授、上海人工智能实验室物理智能中心负责人张伟楠做了题为《物理智能及关键技术概述》的演讲。他认为，基础模型、世界模型、强化学习与高吞吐仿真、虚实迁移，再加上硬件成本下降，几股力量正一起把物理智能从研究愿景推向可行实践。不过，真实交互数据昂贵、环境只能被局部观测、长时程预测误差会累积，这些问题依然卡着能力扩展。

围绕这些难点，张伟楠把技术栈梳理成七层：从硬件与系统、数据与仿真，到感知、世界模型、操作与运动控制，再到物理智能体和行业应用。他指出，每一层都有现成成果，真正难的地方常常在层与层怎么接上，以及能不能把感知、决策、执行和反馈连成可靠的整体。模型训练完之后，进到真实世界里的持续学习同样不能少。

这场演讲给机器人、自动化、仿真和科学智能等方向提供了一套彼此连通的讨论框架。它也留下一个更长远的问题：当 AI 开始参与生产、实验乃至更大尺度的物理建设，评测与安全机制该怎样同步建起来，让能力增长变成可靠的现实价值？

同在 CNCC 2026 Tutorial 会场，上海人工智能实验室物理智能团队发布了专著 Physical AI: Concepts, Techniques, and Challenges，系统梳理物理智能的基本概念、关键技术与发展挑战，意在为相关领域的研究与实践提供参考。专著预印本见 https://arxiv.org/abs/2610.27045。

本届 CNCC Tutorial 升级为 11 大主题板块、24 场内容，深度、广度和时长在学术会议里都不多见。现场多场 Tutorial“站票告急”，这点更值得关注。

以下为演讲实录的精编内容。

01

从屏幕后走向物理世界

今天我想聊三个问题：物理智能到底是什么，它和具身智能差在哪；它有哪些技术层次，这些模块怎么组织；以及我们该怎样推进它，长期目标是什么。大家有没有注意到，我们今天用的大语言模型、智能体和各种应用，绝大多数还待在屏幕后面？数字智能已经相当繁荣，可它与物理环境的耦合仍然有限。

要是把“与物理世界的耦合程度”当成一条发展轴线，路径大致是这样的：从数字 AI 工具，到仿真环境里的智能体，再到真实环境中的单智能体、多智能体协作，接着走向基础设施级别的物理智能，最终形成广域、泛在、可获得的物理智能服务。

照这个维度看，数字 AI 哪怕其他方面再先进，也只是个早期起点。沿着这个方向，需要探索的空间还很广阔，但物理世界也带来了三类本质困难。

头一类，是不确定性下的后果性交互。网页操作错了能刷新，游戏能重置，可机器人撞上桌子、无人车出了事故，没法一键返回。所以，在还无法完全确定环境状态的时候，我们就得提前判断行动可能带来什么后果。

第二类，是对演化中物理状态的感知。游戏智能体或许能通过引擎拿到允许访问的全部信息，物理世界的感知却始终是局部的。人类的感官和仪器，也从来没提供过完整的世界。因此，建模要承认部分可观测性，还得为将来新的传感方式和输入输出留好接口。

第三类，是受物理结构约束的学习与泛化。牛顿定律这类规律之所以有价值，是因为它们刻画了世界的结构，帮我们预测没见过的情况。对模型来说，不一定非得先把规律全写成公式，也可以让它从观测与交互中学习，把物理结构编码进内部，从而实现分布之外的泛化，也就是 OOD 泛化。

为什么现在有条件推进这件事？我认为有五个条件正在成熟。首先是基础模型。过去我和学生设计各种强化学习方法，想提高智能体的泛化能力。现在我越来越觉得，一个有效起点是直接在较强的基础模型上做强化学习。很多泛化能力可能来自基础模型已有的积累，而不只是算法里新加的损失函数或元学习机制。

其次是世界模型，它让智能体在行动之前先预演后果，少走盲目试错的弯路。第三是强化学习与高吞吐仿真的发展，为多轮交互和策略优化打下了基础。

第四是虚实差距正在缩小，我们能把大量仿真数据和少量、准确的真实数据更好地融合起来。

第五个变化是硬件便宜了、试错成本也降了，本体制造和实验迭代因此越来越容易做。

02

物理智能的关键，在于系统层面的闭环能力

我们给物理智能下了这样一个定义：人工系统要感知物理环境的状态，维持与任务相关的物理关系和动作后果表征，经由物理接口选择并执行干预，在物理、运行与计算的多重约束下借助反馈达成目标。

定义的重心落在人工系统与物理环境的有效交互上：拿到观测，读懂状态，推演变化，选定动作，再依据环境反馈调整自身。

这里面有几层关键含义。一是物理接地，感知和动作要真正接进物理环境；二是干预通道得明确，系统能靠仪器功能、机器人动作或者运行参数改变什么，必须清楚；三是用反馈来判断干预效果、修正行为；四是建立证据支持，把理解、预测、规划、执行和适应串起来。在那些难以回退的环境里，这条完整链路对可靠泛化格外重要。

常有人问，它和具身智能差在哪？好懂的说法是物理智能的研究范围更宽。说得准确些，具身智能盯的是智能体以及它的身体，物理智能盯的是整个系统能不能在感知、决策与物理后果之间形成闭环。

工厂里的智能制造系统、无人矿山的感知与调度系统，都能当物理智能的载体。DeepMind 用深度强化学习去控制 TCV 托卡马克装置里的等离子体位形，这也属于面向科学研究的物理智能应用，可它并不是通常说的移动或操作机器人。

世界模型、物理仿真器也在这套技术体系之内，但它们本身不等于具身智能体。部署到真实环境里的具身智能，是物理智能的一种重要实现形式；基础设施、科学设施这些场景，物理智能同样能覆盖。

它跟数字孪生、信息物理系统也有联系。数字孪生常强调从真实到仿真、在仿真里分析推演。比如从照片恢复出可漫游的三维环境，如果还没反过来影响真实世界，那主要只走完了闭环的一个方向。信息物理系统看重可靠感知、及时通信和鲁棒控制；今天谈物理智能，还特别看重基础模型带来的学习、泛化与适应能力。所以物理智能关注的不是某一种技术或某一个智能体，而是人工系统能否把对物理环境的感知、对行动后果的预测跟实际干预和反馈捏合起来，形成有效闭环。不同技术在这个过程中各司其职，物理智能的要害是让这些能力在具体任务和真实约束下协同起来，使系统不光能理解和预测物理世界，还能据此行动，并按实际结果持续调整。

能力涨了，应用范围也会跟着扩。我们不光想让它给已有业务降本增效，还想把门槛降下来，激活过去做不了的需求，在制造、服务、城市运行和科学设施里催生新应用。

03

技术全景：七层技术栈，外加两类贯穿回路

物理智能的技术全栈，我们梳理成七层，由下往上依次是：

1.硬件与系统：传感器、执行器、端边云协同，还有可靠部署。

2.数据与仿真基础设施：示范采集、物理引擎、虚实迁移和数据迭代。

3.感知与认知：多模态融合、三维和四维空间表征、场景语义与交互感知。

4.世界模型：表征物理状态与关系，预测动作后果及其不确定性。

5.基础模型：一类面向操作任务，一类面向全身运动控制。

6.物理智能体：目标接地、任务分解、动作组织、失败恢复和多智能体协作。

7.应用层：制造、服务、交通、实验室、建筑能源等行业应用。

操作与全身运动控制，是基础模型层里的两类关键能力，下面分开说。

贯穿各层的回路有两类。一类是在线闭环：观测往上送，指令往下走，涉及毫秒、秒、分钟等嵌套的时间尺度。

还有一类是离线数据飞轮，靠部署数据回流把学习和模型更新带起来，再回到系统里部署。各层都有拿得出手的成果，但层与层之间的接口以及闭环，依旧是共通的难题。我们的打算是把这些能力串起来，去对接制造、服务、交通、科学实验等具体业务。

智能体一进物理世界，光感知这一步就够难。有效的物理信号若能准确放进上下文，任务能力就可能大幅提升。为此我们会搭动作捕捉系统来获取机器人状态，用高速相机捕捉牛顿摆这类物理过程。感知设备和模型，是后续学习与控制的基础。

具体来看，可以分成三条主线。

第一条是多模态感知及其融合。视觉给的是身份、位姿、几何和运动方面的信息，力觉和触觉则反映接触、摩擦以及材料性质，本体感觉负责测量自身构型与负载。

第二条落在三维、四维空间感知上。点云、体素、隐式场，还有以物体为中心的表征，都得把场景几何及其随时间的变化刻画出来，同时把先验结构带进估计过程。

第三条是高层感知与认知。系统不能只停留在识别物体，还要读懂场景语义、物体属性与交互关系。视觉上看着接触了，不代表这个接触已经能承重。

观测不够的时候，系统也能主动换视角、调传感器或者去探触物体，把信息采集纳入决策。物理感知要做的，是在算力和环境约束下，为控制提供及时、经过校准、带不确定度的状态估计。估计再准，到得太晚，控制也用不上。

物理智能的数据有个天然难点：大量交互信息没被保存下来，就在日常里流失了。互联网视频能大规模获取，可它只记录了某个视角下的物理过程，力觉、触觉、热感知这些信息往往缺位。

具身操作里存在一个数据金字塔。最上层是机器人遥操作数据，比如遥控机械臂去拿咖啡。这类数据贴近真实执行，但设备复杂、采集成本高，操作员还得培训。

中间一层是手持夹爪设备数据。人直接拿着夹爪操作物品，记录末端位置、运动轨迹和夹取过程，不用遥控整台机械臂，采集更快，可专门设备仍然少不了。

再往下是人类第一视角视频。戴头戴设备、眼镜或者拿手机，就能记录用手完成任务的过程，还能跟互联网上的手工、家务、烹饪视频连起来。

数据越贴近机器人执行，通常越贵；越容易规模化获取的数据，离执行的距离可能也越远。仿真很关键，甚至可能改变数据获取的方式。遥操作、手持设备、人类视频和仿真数据怎么组合、配比怎么定，是世界模型与操作模型训练中的重要问题。

语言模型预测下一个 token，世界模型大致可以理解为预测下一个状态。不过对物理智能来说，状态预测得以动作为条件。我们一般建模局部环境，外部动作构成干预，模型就要预测它带来的后果。

世界模型有几条不同路线：观测层面的生成、底层物理结构的表征、潜在空间中的动力学；用途上则包括规划控制、仿真和渲染。这些路线可以从模型表征和使用目的两个维度来梳理。

比如有一类模型根据方向按钮生成后续视频；我们团队的世界动作模型，则在探索让配备灵巧手的机械臂在化学实验中操控移液枪，完成复杂、精细的操作。从我们的研究探索看，世界模型不是要把现实世界完整复刻一遍，而是在有限计算资源约束下提取对理解和预测物理变化有用的信息，让智能体与物理世界高质量交互。面向物理世界的模型需要关注全模态、异步信号与局部观测：不同感知信号要融合，预测与动作控制的节奏要适应，观测不完整时还得推测世界状态的变化。这些要求为世界模型的技术研发与能力评测指明了方向。

架构和应用可以各不相同，但从物理智能的目标看，世界模型最终要服务于行动，帮智能体更好地选动作、控过程。看它的作用，不能只盯生成画面的效果，还要看它对后续决策与真实交互帮上了什么忙。

操作基础模型是具身智能的一条主要路线，也常被叫作“具身大脑”。其中重要方向是VLA，也就是视觉—语言—动作模型。

它一般以视觉语言模型为基础，再加一个动作输出模块。视觉语言模型能接收图像与语言，输出却主要还是语言；加上动作模块后，可以通过流匹配、扩散等方法输出动作序列，让机器人按相应频率执行。

这个方向正朝长时程任务、记忆与持续演进发展，同时也面临通用多模态基础模型的挑战：一些原本专门构建的“具身大脑”能力，可能被通用模型吸收。如果接受更高的推理成本或更低的执行频率，强大的通用模型已经是值得重视的比较基线。

上海人工智能实验室的书生 VLA 模型正在尝试用双臂机械臂跑通有机化学合成流程。按设想，它得对操作物品、试管架位置、光照这类变化都能泛化，像化学专业的学生那样，把上层智能体交下来的任务做完。

机器人要完成操作，还得运动到合适位置，保持能执行任务的身体状态。所以全身运动控制同样关键，国内常把这一层称作“小脑”。

这类模型不一定很大。我们常用的一些模型只有几十万、不到一百万参数，能部署在端侧芯片上，以 50 赫兹以上的频率与物理世界交互。

学生常被我抛一个问题：机器人的身体，究竟算 AI 的组成部分，还是环境的一部分？按直觉，身体归机器人自己所有；可换到强化学习的建模视角，它也可以被当作环境里一块能被智能系统比较可靠地掌控的区域，再由这块区域去跟外部世界打交道。

这个疑问我也跟 Richard Sutton 面对面聊过，他的看法相近。身体是智能系统高度倚重的交互通道，可它本身仍带着需要学习和适配的动力学特性。所以身体同样得建模，底层控制才谈得上泛化。

操作和全身运动控制之上还有一层，就是物理智能体层。理解目标、拆分任务、组织执行，这些活由它来干，底层能力才能被用来支撑一整段业务过程。

长时程任务光有单次操作本领不够用。失败之后怎么恢复、记忆怎么调动、环境变了怎么持续适应、多个智能体之间如何配合，这些都得有支撑。

通用基础模型越强，围绕它们搭建机器人智能体的研究预计会越受重视。把基础能力组织成一套能长时间运转、不断演化的任务系统，正是这一层的价值所在。

智能系统只要在物理环境里跑，端、边、云三者的取舍就躲不开。

端侧算力吃紧，可延迟低，能更高频地跟环境互动；云侧跑得动更大更强的模型，但通信和推理延迟拖后腿，执行频率因此受限；边缘侧则夹在两者中间。

任务不同，对算力、时延和可靠性的要求也不一样。所以说，物理智能不只是模型的事，传感器、执行器、本体、芯片、软件之间也得配合，部署得当，各层能力才能串成一个真正跑得起来的系统。

04

走向真实世界中的持续学习

我认为眼下的核心难题可以归成三点。

头一个，怎么从观察和干预里拿到能泛化的物理知识？训练阶段不可能把所有任务和环境都穷尽。Richard Sutton 讲过“大世界”，借这个思路，智能体不该被设想成在机房里就把学习全干完；踏入真实世界，持续学习才算开场。知识也未必写成公式，它可以藏在潜在空间和其中的动力学里，供世界模型、操作与控制使用。

第二个，长时程预测怎么做得可靠？带混沌特征的系统，初始观测误差哪怕很小，推演久了也可能偏出很远。感知精度和算力都有限，预测距离、累积误差与算力之间必须做取舍，让预测真能帮上决策。

第三个，交互回路怎么真正闭合？让人形机器人打拳击对抗，光准确判断对手位置，可能就得上动作捕捉系统，不然就得靠人盯着、上手操控。这正是我们运动控制团队碰到的难点之一。

这让人想起莫拉维克悖论：人做起来不费劲的感知和运动，对机器人或许最难；反倒是人觉得吃力的记忆、复杂计算和长程推理，机器可能更拿手。

往后要走的方向，是推动操作、视觉、全身运控等基础模型走向融合。融合不等于只留一个模型，不同任务的能力、计算开销和执行频率各有取舍，得有效搭配。智能体还要能持续演化，本体、芯片与软件之间的协同也不能轻视。

放到文明尺度看，将来更大规模的空间开发和能源利用，或许也得靠自主运转的物理智能系统。比如在月球上用当地原材料盖设施，光靠人直接施工很难办到。

物理智能说到底，是感知、理解、预测、行动与持续适配串成的全流程闭环。物理通用人工智能可以作为长期目标，可靠性和安全机制同样是通往这个目标的必要条件。

05

现场问答

张伟楠：不少领域都卡在这。一条路子是慢慢搭起真实到仿真、再回到真实的闭环。起初还是得有真实数据，不过物理智能属于交互式智能：仿真产出的数据能改善智能体下一轮与真实环境的交互，后面获取高质量数据就更高效，成本也会逐步降下来。具体怎么做还得结合领域知识，把这个迭代过程做足。

张伟楠：Scaling 正从模型参数往智能体与环境的交互上延伸。物理智能也走这条路，只是搭建和利用物理交互环境更慢。好在物理世界足够大，找一些智能体还干不了的任务并不难。

要紧的是让它接触尽量丰富的环境和任务。模型不必非得写出牛顿定律，它可以在潜在空间里刻画状态变化的结构。我们探索全模态物理信号感知基础模型，原因也在这里：希望模型进了新环境就能开工，并靠交互不断学习。