曹婷谈具身智能：数据不解决，自进化才是出路
这三个问题不解决，数据终究会成为具身最大卡点，一位前微软亚研科学家的“提前量”。
2009 年，曹婷去澳洲读博，导师是编程语言与系统方向两位顶尖学者。她研究的题目，是非对称多核处理器与 Java 这类托管语言之间功耗和性能怎么权衡。读博期间写的论文进了 CACM 研究亮点，图灵奖得主大卫·帕特森还专门撰文推荐，并把它收进自己的经典教材《计算机体系结构：量化研究方法》。
其中一篇发在 ISCA 的论文 The Yin and Yang of Power and Performance for Asymmetric Hardware and Managed Software，论证方式近乎诗意：虚拟机的垃圾回收、即时编译这些额外开销，正好属于能卸到小核上跑的差异负载，用小核的“阳”去补虚拟机开销的“阴”；反过来，非对称硬件带来的复杂性，又恰好被托管语言的抽象化解掉。
这段经历给曹婷留下的，是一个关于阴阳的直觉：约束从来不只是限制，它也可能是逼出系统生机的起点。
博士毕业后，曹婷进了华为编译器与编程语言实验室，管方舟编译器的内存管理，目标是在有限内存里让程序跑得更快更省。2018 年她转入
微软亚洲研究院（MSRA）异构计算组，一待七年，做端侧 AI 推理，把几十亿参数的神经网络塞进手机、PC 和 IoT 设备，让它们不依赖云端，在本地的算力、功耗和存储里跑起来。低比特量化、LUT 查表推理、存算一体加速器，这些技术后来进了微软 Office、Windows、Bing，服务百万级用户。
2025 年夏天，曹婷加入清华 AIR。摆在她面前的约束更凶险：训练数据极度匮乏，物理环境又千变万化。她很快注意到，机器人在固定设置下能把动作做对，环境稍有变化就失败，而这些失败里藏着的宝贵信息，传统系统随手就丢了。具身智能已经能演 Demo，真正部署却一直落不了地。
曹婷的答案还是“阴阳”：约束没法穷举，那就把它变成养分。当年 10 月，她和 MSRA 时期的老搭档、清华 AIR 副院长刘云新教授一起发起域变换（Z-Trans），押注具身自进化，之后陆续发布 Z0、Zeva、Zeva Ego、Zetta、Z-infra 等工作。
让软件在异构硬件上省功耗，让模型在边缘设备上省算力，再让智能在物理世界里学会自进化——曹婷这十几年做的，始终是同一件事：条件不充分的时候，让智能照样好好工作。
以下为AI科技评论与曹婷的对话，在不改变原意的基础上有所编辑。
01
机器人工厂慢慢冷下来了
“整体的技术范式没有收敛，而且变化特别快，基本每个月都不一样，但一个离线、一个在线这套学习范式，应该是大家统一认可的。”
▎AI科技评论：今年上半年，行业还在疯狂建机器人数采工厂，想靠海量数据大力出奇迹。到了下半年，具身上下文学习的工作陆续冒出来，是前面的研究证明了什么吗？
曹婷：我自己感受挺深。5 月份以前，大家还觉得“模型离线训练完，上线就能直接干活”，可眼下那些做数据采集的工厂，大多已经没了动静。
大家发现，离线数据采得再多，机器人在线依然干不成活，因为离线数据永远涵盖不到真实世界的全部情况。
看到之前的路走不通，大家才开始思考怎样让机器人不只依赖离线训练，还能在部署后利用新的示范和反馈进行在线的上下文学习。
▎AI科技评论：大家在技术上达成共识了吗？
曹婷：整体上学习范式分两种：一种 offline，一种 online。
上下文学习这个说法，最早来自大语言模型（LLM）——GPT 已经证明，靠上下文里的示例就能实现泛化。到了具身智能这边，大家也想着在上下文阶段先给机器人演示一次，之后它就能泛化到各种情况。现在技术路线还没定下来，变得又快，几乎每个月都有新变化；不过离线学习加在线学习这套路子，应该是业内都认的。
▎AI科技评论：大语言模型的 ICL 是涌现出来的，给几个文本例子它就能学会。能不能请你帮大家理一理，具身智能的 ICL 跟它差在哪，眼下都有哪些技术路线？
曹婷：具身领域的 ICL 远比语言模型复杂，目前行业里有三条不同的路线。
一类期待是像 LLM 那样，能力自己冒出来。Generalist 就说他们的能力是涌现出来的：训练时看过大量人类视频和 ego 数据，之后给一段视频，它就能自己上手干活。不过我认为这条路走起来更难，背后恐怕有不少限制条件。
第二种是显式训练，类似Skild，给它一段视频，让它去预测下一条 action。这不是模型自己涌现的，而是训练时就这么训的。就跟之前的 VLA 一样，之前是 language 做 prompt、action 做输出，现在是 video 做 prompt、action 做输出。
我们走的是第三条路，叫 ICCL（in-context causal learning，上下文因果学习）。视频直接喂给模型、让它生成 action，在我们看来非常难——画面里可能有走动的人、有无关的物体、有反光，模型很难从这堆噪声里把有效动作信息提炼出来。
问：那你们是把这类噪声整个丢掉？曹婷说，是的，团队加了一个动作-效果提取模块，把无关视觉变化挡在外面，上下文里只进动作和它带来的效果。从他们自己的观察看，这个方法眼下泛化性比别的模型都好，背景特别复杂时尤其明显。
问：要是 ICL 这条路真能走通，后训练是不是就没多大意义了？曹婷认为得分开看。ICL 的长处是泛化极为灵活，没见过的任务，人做一次它就知道该怎么做，家庭这类对泛化要求特别高的场景更合适。可到了工厂生产线上，厂方在意的是精度和延迟，客户要的是 99% 甚至更高，ICL 目前离这个水平还差得远。她举了 Skild 的报告：在没见过的任务里，ICL 步骤成功率也就 60% 多。所以在变化没那么频繁的柔性工业生产场景，采上几百条数据做一下后训练，仍旧是保精度最经济、最可靠的办法。家庭靠 ICL 泛化，工厂靠后训练求稳，这是两条完全不同的逻辑。
02
何谓因果
“模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。”
问：前面提到你们路线里有一项提取动作和效果的技术，这是你们的技术核心吗？曹婷答，是的。团队最早做的是 Zeva，当时基于 Cosmos。不过这项技术其实不挑基模，World Model、VLA 都能用。后来又发了 Zeva-Ego，是基于 VLA、用 Ego 数据做的中训练。这两个工作一脉相承：Zeva 强调上下文因果学习，带一个动作提取器，可以在线提炼动作和效果、加进上下文；Zeva Ego 则从 ego 数据里提炼动作和效果去做中训练，泛化性提升明显。最本质的都是因果提取器，这是他们的核心技术。
问：Zeva-Ego 用的数据是你们自己采的吗？曹婷说，用的是开源数据，但得清洗，大部分不适合直接拿来学动作，最后大概只留下十分之一。
训练因果提取器分两个阶段。第一阶段主要学动作之外的环境变化，有专门的网络负责把跟动作无关的东西提出来。第二阶段借第一阶段学到的环境表征，让因果提取器只提取与动作相关的信息。训练好之后，再拿那些没有动作标注的 ego 数据提取动作因果，用于后续中训练。
问：直接用无标注数据，能省掉不少标注工作，数据用起来也更高效。曹婷确认，他们用了 10K 小时没有标注的 ego 数据，通过编码器转成动作相关的监督信号来训练模型。
问：说到因果，之前世界模型那波起来的时候，不少人都说自己做的是因果世界模型。也有人质疑，目前还没有好证据能证明机器人真正习得了物理规律，你们怎么向别人证明？曹婷表示，这个领域里关于“因果”的讨论很多。他们说的因果就是 action 和 effect：因是动作，果是产生的效果，是直接的因果。比如让机械臂以多大力推下瓶子，瓶子究竟移动了多少。
怎么看出它有效？先看公开评测集，Zeva 效果更好。从实际表现看，背景杂乱时，跟业内其他模型比，他们的模型学得更高效，试的次数更少。有的模型拿咖啡杯，试五六次才拿起来，他们基本一两次就成功。
问：“理解物理规律”这个说法，容易让人以为是基于科学原理的理性理解，但实际上更像人类那种混沌的、经验性的理解？曹婷说没错，模型是 data-driven 的，是从大量数据里学会规律，涌现出能力。你当然可以直接把重力原理告诉它，但它一定要自己去试。跟小孩一样，没学过物理，也说不清为什么，可就是知道该怎么做，这是从大量尝试里攒出来的经验。
她认为最合理的一条路是：大量预训练，加上大量在线学习，让机器人自己把规律学会。她画过一张 roadmap，机器人最终会学成一个物理学家，自己想出新的定律。
问：AI for Science？曹婷答，对，未来会走到那一步。不过现在它能把眼下这些事情干好，就挺不错了。
03
学习与记忆构成一个闭环。
曹婷说：“记忆和学习是不分家的：记了足够多的经验，能泛化去做一个没见过的新任务，这就是学习。”
AI科技评论：聊到 ICL，长记忆和 RSI（recursive self-improvement，递归自进化）就绕不开，这三者之间是什么关系？
曹婷：记忆和学习的关系，我之前在 AIR 内部做过分享。记忆是分层次的。
最短的一层叫 working memory，也就是机器人执行当前任务时的上下文。再往上是跨任务的长期记忆——一个任务做完，经验被存下来，转为长期记忆；下次碰到类似任务，就去检索历史经验，塞进当前上下文辅助决策。
所以记忆和学习分不开：经验攒得足够多，能泛化到没见过的新任务上去，学习就发生了。
更宏观的闭环是具身 RSI，也就是我们定义并打通的物理世界自进化（PSI，Physical Self-improvement）。在线学习让机器人攒下成功和失败的数据，这些数据再拿去训模型本身，基模能力因此提升；基模强了，又能更快完成新任务、积累更多数据。这个飞轮就是 PSI 的核心逻辑。
▎AI科技评论：眼下还做不到不尝试就直接完成新任务，但长期看，人们肯定希望机器人一击即中。未来当前上下文这块的工作，会不会让位给巩固长期记忆的工作？
曹婷：你说得非常对。我们的数据现在全部回流，近期会发布一项新工作：把机器人自己尝试的数据训回模型之后，效果提升非常明显。这就像人尝试很多次之后，把这些都转成大脑皮层，作为长期记忆。
▎AI科技评论：GPT-6 出来以后，有人担心具身基模被“吃掉”，你怎么看？
曹婷：GPT-6 能力很强，但能理解任务、规划步骤、调用工具，不等于它本身具备可靠的物理执行能力。一个现实问题是时延——尤其需要快速响应的操作里，等模型返回结果，现场状态可能已经变了。
▎AI科技评论：这个延迟问题有可能解决吗？
曹婷：光靠 GPT 自身优化，就想满足机器人实时控制的要求，不太现实。GPT 这类大模型一定在追智能上限，奔着 AGI 去，一个模型啥都能干，参数越来越大；做复杂任务还得有思考过程，加上网络传输，这些开销都很难减下来。
▎AI科技评论：GPT 就像一个综合图书馆，具身基模则是一个专业的小库。
曹婷：对。我们很早就判断，World Model、VLA 这类中小脑，上面一定需要一个类似 GPT 的大脑，所以一直是 agent 加模型一起往前推：模型是 Zeva 和 Zeva Ego，agent（或者说 harness）是 Zetta。
具体做法是把具身的部分能力提取出来，训到一个小 VLM 模型上，可以理解成端侧的 GPT 模型。现在已经训到几十 B 参数，效果上基本没区别。这个模型充当大脑，负责理解用户指令、拆解长程任务、监控任务执行、生成恢复动作，再调用下层的工具和模型。
04
让产业用起来，是最终目标。
曹婷说：“（最近）虽然投资市场有点冷，但实际的产业需求特别大。”
▎AI科技评论：你是清华 AIR 教授，也是域变换的联创兼 CTO。院里这两年孵化出不少创业公司，在产业上有什么优势？
曹婷：AIR 是张亚勤老师建的。他原来在微软做到全球副总裁，后来回百度做过总裁。所以我们这里的人基本都是从产业回来的：我去年从微软研究院回来；周谷越老师是大疆早期核心成员之一，他创办的求之科技最近融了十几亿；创立它石智航的陈亦伦老师，之前是华为智驾的 CTO。
研究院的名字叫智能产业研究院，“产业”两个字是张亚勤老师建议一定要加上的，他说我们一定要赋能产业。院里老师基本都会办创业公司，方向主要两个：生物医药和具身智能。
▎AI科技评论：这是否意味着，相比叉院或者自动化所，AIR 跟产业结合更近，对怎么落地也更有经验？
曹婷：叉院的创业公司也挺多。我们 AIR 比较强的一点，是张亚勤老师本人在产业界影响力特别大，国内国外都是，这对我们在产业界获取资源助力很大。
▎AI科技评论：除了前面提到的 11 月即将发布的工作，域变换近期还在做什么？
曹婷：我们现在把产业化看得更重。模型从“不会干”到“能干成”的整条 pipeline 搭好之后，接下来就得放到真实场景里跑一跑、验一验。
这几个月我们跑了不少工厂。投资市场是有点冷，可产业端的实际需求大得很。需求大多集中在流水线上的活儿，比如拧螺丝钉；还有化工厂这类有风险的行业，很需要让机器人顶上去，别再让人进那种环境。
全屋操作的机器人也是我们正在做的方向。家庭场景是具身智能的上限，最能检验模型泛化能力。在雄安研究院，我们把卧室、卫生间、客厅整套搭了进去，机器人能在里面完成全屋任务。
▎AI科技评论：团队目前是以博士生为主力军吗？
曹婷：产业线上也有工程师，但主力还是博士生，我们的博士生非常强。
他们想法活跃，动手也快，有个念头很快就能落地。对外面的技术变化，他们盯得很紧，随时关注。大家会互相分享今天又出了什么新工作，一旦觉得某个技术有潜力，立马就去试。
有个同学某天跑来找我，兴奋得不行，说他发现只要去调 GPT，就能让一整条机械臂从零开始把任务做出来。我当时的反应是，这种自进化的闭环一定得做。Zetta 就是这么来的，一个月就搞定了；发布到现在才两个月，引用量已经很大。
我们看到了这个方向的影响力，未来这可能是条正确的路。之后好多看了这个工作找上门的公司都很奇怪——他们才刚意识到这个问题重要，我们的论文已经发出去了。我觉得这还是同学们的功劳。
▎AI科技评论：现在有多少人？
曹婷：差不多 20 人。只要他们觉得这件事有意思、有分量，根本不用我催，自己就往上顶，劲头很足。倒是我常问他们，累不累，要不要歇一歇。
05
写在最后
交流中，曹婷曾有些得意地说：“当行业突然意识到具身自进化非常重要的时候，我们已经有连续不断的成果发出来了。”事实也确实如此，域变换近期发的几项工作，跟行业的热点方向几乎一一对应。
6月，Z0 喊出“做持续自主进化的物理智能体”，在 RSI 成为显学的几个月前，就先从整体技术框架上入手，把数据回流和模型自迭代的闭环内置进去。8 月 18 日，承担 Harness 功能的 Zetta ζ 发布；9 月 1 日，实现具身上下文学习的 Zeva 发出，和同样做 ICL 的 Skild、Generalist 等几乎同期；一个月内，Zeva-Ego 正式亮相，进入了关于 ego 数据价值的主流讨论。
清华 AIR 跟一般的高校实验室不一样，从一开始就走产学研一体的路子。有院士这块牌子撑着，团队早期就同英伟达等机构搭上了合作，把前沿技术放到更大的场景里去验证。曹婷带来的是七年产业研究院攒下的工程化直觉，还有一套思维习惯——设计技术路线时，天然就奔着部署去。至于从顶尖院校出来的博士生，离学术前沿最近，科研热情高，学得快，动手也快，不容易被路径依赖捆住。
热点是阳面，热闹、喧嚣、人人可见；问题是阴面，冷清、难啃、人迹罕至。
跟雷峰网聊下来，曹婷始终笑呵呵的，没有距离感。平时不工作的时候她爬山、跑步，状态好得很。眼前这个温和优雅的人，你很难跟那个十几年来在暗处较劲的硬核研究者对上号。或许能沉住气在暗处下功夫，也敢在明处亮真章，这就是她好几回提前踩中热点的原因。
