彭思达从三维视觉转向具身智能：SuperNav与ScaleNav分工导航大脑小脑

过去拍MV，摄影机摆在哪儿，观众就只能看那个角度。现在的做法是用多台摄像机同步记下舞者的动作，再重建出三维动态场景，镜头便能随意挪位——从队形正面转到侧面，从舞者中间穿过去，换一个现实中从未架设的机位，把刚才那段表演重新看一遍。

今年10月，韩国SM娱乐创始人李秀满在新女团A2O LITE的出道活动上，展示了这项叫4D Gaussian Splatting（4DGS）的技术。

SM娱乐旗下女团A2O LITE 《NEON》采用4DV.ai的4DGS新技术

彭思达对这套技术并不陌生。六年前，他跟着浙大教授周晓巍读博，在浙大CAD&CG国家重点实验室的三维视觉团队ZJU3DV里，做的正是动态三维人体重建。没多久，他参与的Neural Body进入CVPR 2021最佳论文候选，4K4D把动态场景渲染推到4K实时水平，FreeTimeGS则把渲染质量做到能落地的程度。实验室攒下的技术后来被一家叫4DV.ai的创业公司拿去用，还出现在了影视飓风的视频里。

技术是走出实验室了，彭思达却没有沿着这条路继续走。

2023年博士毕业，他选择留校任教，入选浙江大学软件学院“百人计划”研究员，研究对象从人体换成了街道。理想汽车找上门来，双方一起做自动驾驶仿真系统，Street Gaussians被用进了理想汽车的仿真系统。

两年后，自动驾驶仿真技术慢慢收敛，彭思达又把目光转向机器人导航。

从动态三维人体重建、自动驾驶仿真一路做到具身智能，这位做了多年计算机视觉的研究者反倒觉得，视觉并不是智能的主角。要像人一样思考、推理、规划，文本也许更关键；要让机器人学会操作，真正重要的是理解动作轨迹里的因果性。

“到了具身领域，视觉模态仍然不是主角，动作模态才是主角。”

以下是AI科技评论与浙江大学软件学院“百人计划”研究员彭思达的对话，在不改变原意的基础上有所编辑。

01

端到端不是最优解

彭思达：我们注意到一个情况。过去不少团队想走端到端路线，也就是微调一个 VLM，让它直接输出行动。但反复试下来，这种微调方式暴露出两个问题。

第一，把VLM的能力变差了。VLM本来还可以做一些识别等任务，一旦要求它直接输出动作，它就变笨了。

其次，他们用的 VLM 本身不够聪明。我们拿一些 3B 或者 4B 模型试过，丢给它一张图再问几个问题，能看出它的空间推理能力相当差。

但为什么要用这些模型？因为只有3B或者4B这种模型，才能微调得动，所以这就有点不那么本质。

彭思达：就我个人的判断，能把通用智能模型训出来的公司并不多，真正掌握 VLM 训练能力的，还是 OpenAI 这类基模公司。

想让模型具备某种能力，靠微调是不行的，必须在预训练阶段就走过这个过程。要是一个小团队此前从没训过这类模型，忽然说微调一下就有了这种能力，那大概率只是在小数据集上过拟合，既没有对能力做实际验证，也谈不上技术进步。

彭思达：在我们看来，导航的关键还是回到问题本身——怎么把决策和交互做得更好，怎么在环境里移动得更顺畅。Agentic System、Coding Agent 这类架构出来之后，我们正好发现它很契合这个技术需求。

既然选了 Coding Agent 这条路，核心就放在通用多模态大模型上，由它管整体规划、决策和推理。至于在环境中具体怎么执行，只要给 Coding Agent 配上合适的工具就行，导航小脑就是其中之一。

SuperNav 负责决策系统，定接下来去哪、该记住什么、路线怎么规划。ScaleNav 干的是导航小脑的活：大脑把目标点定下来，小脑负责怎么走到那儿。

彭思达：对，通用多模态大模型加Agent这条路，我认为更靠谱。

端到端要想跑通，模型本身得足够强，规模自然小不了。可模型一大，卡脖子的往往不是推理速度，而是通信速度。像30B、100B这种量级的模型，没可能塞进本地机器人，只能搁在服务器上。服务器那边跑推理是快，可机器人把拍摄到的画面传到服务器，这一趟通信怎么也得耗掉一秒，这是眼下的难题。真到动手操作的时候，一秒一次、一赫兹的节奏显然不够看，起码要50赫兹才行。

所以端到端模型理论上能做成，但受实际交互频率拖累，彭思达觉得它很难拼过外挂底层交互工具那套做法。

彭思达：感知、推理，还有理解上下文，这些基本都能交给VLM。剩下的记忆和行动，是另外两个板块。

记忆这块先讲。在空间里直接用图文来记并不太合适，因为它压根没有空间结构。何况SLAM工具现在相当成熟，拿它来搭个基础的结构化框架完全可行。

这样记忆就分成两层：构建记忆，可以借助外部工具；理解记忆，仍旧交给VLM自己。

再说行动，也就是交互能力。机器人怎么直接跟外界打交道、怎么预测Action，这要求交互频率很高，理想值是50赫兹。所以这种活，最好也外包给一个小模型。

02

从元宇宙到具身智能

彭思达：2020年3月，博士第二年下学期。那阵子我每天的习惯是刷一遍arXiv上的论文，就这么看到了NeRF。技术上跟以往的方法差别很大，效果又出奇地好，突破性很强。

彭思达：2020年初，正好是NeRF问世那年，我开始做动态人体重建。我这人当学生挺听话的，老板（周晓巍）指到哪儿我就打到哪儿。他当时跟华为有合作，一直在做人体建模方面的研究。

彭思达：动态人体跟体积视频是一回事。他们要做三维动态人体，目的也是放进VR眼镜里看。

早先拍体积视频得用128个相机，密度非常高。这套东西在好莱坞叫Live Stage，电影工业里用得很广。华为的想法是把相机数量压下来，比如从64个减到4个。

后来我们做的Neural Body，就是想搞定视角极度稀疏情况下的问题。这个方向在当时算是很前沿的。

彭思达：我看是运气。那时做科研的路子没那么追根究底。真正本质的做法，应该是先分析清楚核心问题是什么，再倒推该用哪些技术。

可我们当时是看到NeRF技术很新，急着拿来试一试。一试还真把问题解决了，纯属撞大运。

彭思达：三维数字人本质上就等于体积视频。做完三维数字人，我们还是按自己一贯的路子走，想弄出一套能落地的系统。要让它进VR眼镜、让更多用户看到，采集、重建、渲染、部署这四块都得持续打磨。

最绕不开的是渲染。Neural Body渲染起来很慢，而大家戴VR眼镜是奔着60 FPS去的，实时渲染能力必须提上来。训练速度同理，用户采集重建时，我们盼着普通人能像拍照、拍视频那样录内容，重建速度就得加快，这就是快速训练。

还有一块是紧凑表示。体积视频要戴到VR眼镜上看，早先那种表征动辄几百GB甚至几TB，根本塞不进眼镜。我们把它压到一两百MB，图的就是能真正落到VR眼镜上，这方面下了不少功夫。

彭思达：做得其实还不错，最后还长出了一家创业公司，专做体积视频，叫4DV.ai。4DV.ai和影视飓风合作挺多，影视飓风有几期播放量上百万的视频里提过4K4D。不过我没参与4DV.ai，只是他们用了不少我们实验室的技术，尤其是我博士中后期做的那些东西。

彭思达：博士毕业前，基本是导师指哪儿我打哪儿，没细想过具体能用在哪儿。真正工作以后，这方面想得越来越多。体积视频确实有用，可用武之地不宽，顶多在影视或者VR里使一使，这两个行业加起来市场价值并不大。

自动驾驶就不一样了，想象空间听着就大得多，过去也是我们学计算机视觉的人主要的就业去处。这也是后来转向自动驾驶仿真系统最主要的原因。

彭思达：先得说，智能这词有很多层次的定义。

最高那一层，是像人一样思考、推理、规划；也有一些比较低级的智能，比如操作。这种操作不过脑子、靠本能，也可以叫本体智能。这个词该怎么定义我说不好，大致就是这两类。

彭思达：眼下讲的通用智能，更多指第一种。真正像人一样思考、推理、决策、规划，这肯定跟视觉没关系。文本本来就是最紧凑的一种信息。比如读侦探小说，或者各种书本知识，文字就是最好的推理、决策、规划的载体。在文字上做模型学习，肯定能更好地接触到这种智能。

但真要从视觉这条路去学，效率就太低了。我们平时看的大量视频，里面并不会自然冒出推理、规划、决策这些能力。想靠视觉把这些东西学出来，方向本身就反了。

彭思达：视觉是一个重要部分，但我觉得不是最重要的。

这种动作智能，本质上是和环境打交道的能力。视觉在这里只是其中一个输入，算不上最要紧的那块。真正关键的是：把动作轨迹采下来之后，如何从中学会动作智能。

无论是前面那种偏规划、推理的高级智能，还是后面说的动作智能，视觉的角色更像一个外挂、一个挂件。拿文本智能来说，先把它学扎实，再把视觉接上去，让它借助视觉去做规划、推理。

动作智能走的是另一条路：先从动作轨迹里学会怎么操作，把动作本身弄明白，再接入视觉，让它能看着视觉去推理动作。可这一步没那么好走——人操作物体的过程，往往和视觉紧紧绑在一起。

所以说，文本智能这一种，确实能彻底抛开视觉独立存在，自己干自己的活。动作智能就不一样了，一上来就得把视觉信息放进去，让它学会从视觉里推出动作。只不过，视觉模态并不是主角，动作模态才是。

03

在具身领域的新征程

彭思达：我原先做的是三维人体重建，一下子跳到跟原来技术链路差别那么大的方向，不太现实，于是转去做了城市重建。两者底下都是重建技术，从人体换到城市，过渡得还算顺。无非是把输入数据换一换，再针对具体问题做些调整。对我们攒下来的那套技术栈来说，这算不上多大的坎——点云重建、可微构建、可渲染的三维表征这些技术，都能直接拿来复用。

刚好那时候有一些自动驾驶公司找我们合作，我们就发现了自动驾驶仿真系统这个需求。

彭思达：对，最早是理想来找的我们。2023年下半年，也就是我入职那年的下半年。当时我们做了篇叫Street Gaussians的工作，用到了理想汽车自动驾驶仿真系统里。后来这块做得有了点名气，也有不少智驾公司过来找我们合作。

高校实验室和自动驾驶公司的产学研合作向来绑得很紧，智驾领域不少技术都是先在实验室里提出，再到产业里放大。彭思达说，他们和理想汽车就是典型的校企合作：对方划定需要研究的技术需求，提供计算资源和数据资源，团队再安排学生去做。

彭思达：Street Gaussians处理的是场景表征建模，也就是怎么在计算机里表达动态街景。在这项工作之前，还没有哪个工作能把动态场景很好地重建出来，甚至在计算机里都找不到一个好的表达方式。

重建做出来了，问题也跟着来了：视角偏移一大，渲染质量就往下掉。StreetCrafter就是想用扩散生成模型引入视频生成先验，把这个问题解决掉。

彭思达：路测有很多问题。

一是成本。要测一万次，在真实世界里跑一万次，代价很高。二是复现。某个版本的算法在路上出了问题，必须保证在一模一样的情况下把问题重新复现出来，才能确认新版算法有没有解决它。

这些都是真实世界绕不开的问题，仿真不会有。仿真在电脑里跑，成本很低，遇到问题也完全可以复现出来。

彭思达：高保真仿真已经被工业界大规模用起来了。要铺得更广，关键还在三维资产怎么重建、怎么规模化重建。车厂随便就能攒下几千万公里的数据，怎么把这千万公里级的场景都重建成仿真环境？要鲁棒、要快，这块还是比较麻烦。

所以近两年他的很多研究都在往这个方向推，InfiniDepth、InfiniSplat v1/v2/v3等一系列工作，就是不断朝这里推进。

彭思达：最主要的原因是，研究转向前面已经发生过一次。刚工作时，他从体积视频转到自动驾驶仿真。做了两年多，自动驾驶方面的研究慢慢进入平台期，大家没那么强调自动驾驶技术了，仿真技术也在收敛。

现在智驾仿真的技术方案基本就是前馈高斯：数据堆上去，通过前馈高斯得到比较好的初始化高斯，再用视频生成模型补全未观测区域，形成智驾仿真方案。

这方面做好以后，肯定希望Move On，去看看更有挑战的领域。今年年初，他开始想做一些机器人相关的研究。

彭思达：每一次切入都得小心翼翼。一下子变化太多，很容易出问题。还是得对实验室学生负责，也是对自己负责。切得太大，自己什么都不懂，学生做不出东西，他也做不出东西。

所以每次都是逐步切换。他本来做自动驾驶仿真，对自动驾驶、移动机器人就很熟悉。机器人导航本质上也是移动机器人，原来就熟悉，于是往这方面切。

彭思达：这是一次很简单的切换。原先做的是自动驾驶场景仿真器，Habitat-GS做的是面向移动机器人的仿真器。里面可以放底盘、轮臂机器人、机械狗等各种机器人，本质上还是做仿真。这是他们开始做移动导航方面的第一个工作。

彭思达：他觉得更多还是应用上的区别。机器人仿真要支持更复杂的地形，也要直接支持移动机器人的各种任务。自动驾驶没那么复杂的导航需求，沿着GPS路线往前开就行了。

但移动机器人跟人一样，得有像人一样的移动能力。比如你让它帮你拿杯水，它得知道怎么找到这杯水。这样一来，仿真器里就需要构建类似的评测环境和指令。所以跟自动驾驶最大的不同，是更复杂的指令任务，以及与之对应的更复杂环境。

彭思达觉得，最关键的还是强化学习技术。这里头牵扯的问题不少，机器人跟三维世界模型交互，反馈很稀疏，RL 优化效果就打了折扣。反过来，要是有个各方面都可微的世界模型，RL 收敛就能更有保障。

彭思达：还没有。最近有篇挺火的工作叫 SuperMimic，算是一次不错的尝试。英伟达早前做的 SONIC 走的是传统仿真器路线，RL 训练时反馈稀疏。SuperMimic 加了个可微世界模型，人形机器人和地形交互时的梯度能算得比较好。这种梯度跟传统仿真器不一样，不是只有接触时才有，而是各种情况下都连续存在，对 RL 训练能起到不错的引导作用。

不过它的世界模型还处在比较初级的阶段，只建模了人形机器人在平地上的情况，做不了“Contact-Rich”那种复杂交互的世界模型。

04

三维重建不算空间智能

彭思达：这个概念的边界很宽。我的理解是，只要智能发生在三维空间里，就可以叫空间智能。机器人就是个典型例子，它得在三维空间里推理、交互、做决策，自动驾驶同样算。

彭思达：三维重建不属于空间智能，核心还是怎么界定智能。我给智能定的标准偏高，智能得跟人一样去思考。三维重建这件事，不涉及像人那样思考。

具体说，三维重建干的是把图片观测转成三维空间里的数字环境。空间智能关心的则是智能体在三维环境里如何推理、决策、交互。

彭思达：最根本的问题，还是智能体怎么在空间里推理、决策、交互。

人做这些事的时候，并没有用上显式的三维几何。我们是在脑子里搭出一个很模糊的场景状态，比如要抓起那杯水，先构建出这种模糊状态，手就伸出去了。

可要是靠训练来学空间规律，那就得有显式三维结构。

所以得分成两块看：真正推理、决策、交互的时候不需要，学习的时候需要。毕竟得亲手抓过杯子，才知道那是什么感觉。

彭思达：我们很快会推一篇新工作，叫 SuperNav 1.5。之前的 SuperNav 没用心灵地图，靠的是比较朴素的图文长上下文记忆。跟普通 VLM 一样，把见过的图片、描述都存进记忆里，再去索引。

SuperNav 1.5 换了个思路，借 SLAM 设计了一种心灵地图。SLAM 现在很成熟，机器人探索时能不断建图，慢慢就有了一张基础地图。然后我们在地图上标出一些关键点，让它知道每个区域放了什么，空间就这么记住了。

彭思达：如果只谈移动，技术瓶颈大概是怎么构建超大规模的空间记忆。人在一栋办公楼里工作过，莫名其妙就能把整栋楼记下来。导航机器人没这个本事，每次都得慢慢重新推理一遍。

应用上这也许不算大问题，学术上倒是挺有意思。我挺好奇人脑是怎么运作的，能这么自然地记住走过的地方。

05

后记

彭思达有个习惯：碰上不懂的东西，每天磨一点。

一篇论文刚读，他可能完全摸不着头脑，甚至得把论文背下来。可只要天天反复读、反复敲代码，一两周后，原本陌生的概念就突然熟了。这个法子从读博一直用到现在。做具身智能研究时，面对一大堆新知识，他还是每天学一点，慢慢把自己的认知建起来。

他从中尝到一种“微快乐”：学会一样新东西，就高兴一点，接着再学。

这套做研究的习惯，后来被整理成一份开源手册，在GitHub上拿到超1.5万颗星。博士毕业前后，彭思达在GitHub上维护起名为Learning Research的项目，把自己搞科研的经验一条条记下来。从怎么入门科研、怎样找到重要问题，到设计实验、撰写论文、做学术报告，博士生要走的环节，他几乎都拆开讲了一遍。

八年下来，彭思达的研究对象从动态人体延伸到城市街景，近来又转到机器人导航。方向一直在换，但他对研究的追求没变过，就是要做Top-down研究。

他的做法是先把目标想清楚——要做出什么样的产品或系统，然后从应用出发，把问题一层层往下拆，一直拆到最基础的技术环节。

当上导师之后，彭思达有段时间太在意帮学生发论文，反倒离解决问题本身远了。后来他重新回到一线，自己拆解问题、设计技术流程、分析实验现象，再带着学生一起做，这才找回他最享受的科研状态。

聊到最后，彭思达说：“自己最舒服的状态，还是作为一名一线科研人员去做研究。”

彭思达身上最有意思的地方也在这里：他既有把知识一点点磨透的耐心，又有把复杂问题拆成一条条技术路线的探索欲。科研对他而言，不全是追成果的竞赛，更像是一个不断认识新事物的过程。

学会一样新东西，就收获一点“微快乐”；接着，再去学下一样。

雷峰网 雷峰网