Ted Xiao：AI要加速物理世界，Verification为何成关键瓶颈

眼下研究和投资基本压在两个方向上：一头是比特（Bits），一头是原子（Atoms）。这股势头在硅谷能看到，放到全球也一样，两边技术都跑得不慢。

比特这头站着 AGI 的支持者。他们的设想是在数据中心里搭出一个“天才之国”，先把 AGI 造出来，再交给 AGI 去处理别的问题。

原子这头盯的是 robot learning、与物体接触时的灵巧操作，还有通用机器人的普及。

假定 AGI 和通用机器人都能成，那么为 post-AGI 社会做准备时，就得想想两者之间少了哪一环：数字超级智能（digital superintelligence）要怎样才真正提升生活质量，让人过上更丰富的物质生活？

这个问题，可以从今天的物质生活是怎么改善的说起。

技术进步一直在造财富、推繁荣、改人的日子，其中一个很要紧的部分，是发明新的物理世界技术（physical technology），并且真把它做出来。今天这份舒适生活，背后是世界各地数百万工程师、科学家、设计师，加上白领和蓝领工人一代接一代干出来的。

落到实处看，一个构想要变成能大规模生产、能用的产品，中间要过设计、工程开发、原型制作、投产前测试与认证、生产、逐步提高产量和扩大生产规模这些环节。

要判断 AGI 和机器人之间缺什么，也得把它们放进这套具体流程里看。可这条链条上既有设计、分析这类脑力活，也有实操中的体力活，还有资本投入——哪些能交给 AGI，哪些能交给通用具身智能（embodied intelligence），哪些还得另想办法？

按 Ted Xiao 的分类，下图里蓝色的部分是抽象、数字化的工作，只在数字环境中运行的 AI 模型已经显出处理这类工作的能力。粉色部分要接触物体、要灵巧操作，是通用机器人能接下的活。

可就算数字AGI和机器人的灵巧度都做到了很高水平，工程链条上照样有一大堆活没法直接甩给它们。看GDP、看劳动份额、看行业利润率，或者看各领域的岗位数量，都能看出这一点。哪怕只是把这些工作大致列一列也会发现：有了人类级的操作能力，不等于剩下的工程问题就会自己消失。

要让所有人都过上今天一部分人已经享有的富足物质生活，要让每个人的生活质量都提上去，这条链条上的问题就得一个一个解决。只把其中一端加速，然后指望其余环节自动跟上，行不通。

这些还没解决的环节，直接拖着一项技术或产品走完研发、验证到规模化量产的速度。Amdahl’s law 讲的就是这个道理：一个程序里哪怕有大量操作能并行执行，整体速度还是被那些必须按顺序做、没法同时进行的操作卡住。创新和发明也受类似的限制。

如上图，设 p 为可加速环节原本占总耗时的比例，s 为这部分工作的加速倍数。前面已经看到，某些环节的 s 变得很大之后，耗时大幅下降；可局部再快，整体提速的上限仍然由 p 决定，也就是这些环节原来吃掉了多少时间。

图中灰色、橙色、蓝色三条曲线，对应的是不同的可加速比例。假定能加速的工作占原有总耗时的 50%（这已经比前面工程链条展示的覆盖面更宽），那么这部分工作就算快到无限，整个过程的总耗时最多也只能砍掉一半，整体速度顶多是原来的两倍。

只有当 p 逼近 99%、99.9% 乃至更高时，研发、反复迭代到投用所需的总时间，才有可能压到原来的十分之一、百分之一，甚至更少。

局部加速越猛，那些还没被加速的部分，就越容易变成整个研发和生产流程的瓶颈。

其实，不少工作的时间很难再往下压，限制主要来自两个方面：

有一类限制，卡在测试本身要花的时间上。

比如给快充电池做负载测试、充放电循环测试，整套流程常常要一年半以上。药物研发也一样，从最初构想、研究、报告，一路走下来……

更麻烦的是，哪怕测试拖了很久，实验结果也可能不稳、难以重复。美国生物技术公司安进（Amgen）的研究团队曾试图复现 53 项有影响力的癌症临床前研究，最后只成功复现 6 项，约占 11%。也就是说，已经发表、看上去很有价值的研究，也未必能给出稳定可靠的反馈。

另一个问题是，工程知识散落在不同企业、系统和岗位里。想加速更多环节，先得弄明白这些活到底是怎么干的。可其中一些诀窍属于企业的知识产权，还有一些只留在从业者的经验中，没法直接拿到。

软件开发在这方面其实是个特例：代码和版本历史能完整留存，程序有没有按预期跑，通常也有明确规则和工具可以查。实体经济同样攒下了大量工程知识，但打开 GitHub，找不到一套完整资料能告诉我们，人类是怎么把今天这个世界建起来的。

要判断哪些环节还有加速空间，不妨先看 verification 要多久。前面电池和药物研发的例子，指向的是同一个问题：得等多久，才能拿到可信结果，去指导下一轮实验？

这个问题下，不同任务的答案差得很远，短的几毫秒，长的要数十年。

有些结果能靠模型或仿真来检验，多投算力往往就能更快拿到反馈。所以在这类任务上，加 GPU、加 CPU、加钱是有用的。这种情形下，做起来可能依旧很难，但至少知道该从哪里下手提速。物理仿真、用 Lean 检查形式化数学证明、代码单元测试，以及部分设计任务，都归在这一类。

但也有一些结果，非实测不可。到了这一步，验证花掉的时间可能是几个小时，也可能是好几年。

验证要花多久，这件事之所以要紧，是因为模型得拿验证结果接着往下学。frontier model 研究里有一条经验：只要结果是否达标能判断得清楚、靠得住，这些判断就能当奖励用，通过 RLVR（基于可验证奖励的强化学习）来训练模型，让它在相应任务上表现更好。Microsoft AI 曾把自己的模型比作一台“爬山机器”，这个说法挺形象——结果达不达标只要能可靠判断，模型就会一直朝目标优化下去。

所以，frontier model 在 post-training 阶段能走到什么水平，是由 verification 决定的。数学、coding 这些领域都说明了这一点。

可是，研究者拿来训练模型的奖励和验证结果，自己也可能出毛病。负责检查结果、给出反馈的程序或模型，也就是这里说的 verifier，一旦有漏洞，模型就可能钻空子刷出更高的分数。训练得越充分，这些缺陷带来的影响或许越大。

放到物理世界里，能不能拿到快速、可靠的反馈，同样左右着研究方法的选择。机器人训练就是一例：过去十年，运动控制、全身控制和操作任务各自形成了不同的研究路线，拿到训练反馈、评估结果的路子也差得很远。

•还有一类是 sim-to-real，靠物理仿真和基于模型的学习来获取快速反馈。

还有一类做法，主要靠真人在真实环境里采集的示范数据：拿这些示范先把模型训出来，再放到真机上评测策略表现，反馈不通过仿真等途径获得。

运动控制就是个现成的例子。一台 Unitree G1，从 GitHub 下载代码，一张 GPU 加一个很小的 MLP 网络，训练 15 分钟就能看到效果。整个训练在仿真里完成，用的是 GPU 优化的物理仿真环境，能并行模拟数千乃至数百万次机器人执行动作的过程，既不用提前采集人形机器人的真实数据，也不用靠遥操作教它走路。

训练出来的控制策略（policy），也就是决定机器人怎么动的模型，可以直接用到真实机器人上，让它走路、后空翻，甚至完成更敏捷的运动和全身控制。这样的效果放在几年前还很难想象。

机器人操作研究走的是另一条路。过去十年，这个方向主要盯着大规模真实世界数据采集，而这些数据几乎都离不开人的专业技能和示范。第一视角数据（egocentric data）、机器人遥操作（teleoperation），还有数据手套、UMI 这类设备，研究者都在用它们扩充离线专家示范数据集（offline expert datasets），好让机器人学会实际任务里那些需要灵巧性的操作。

Physical Intelligence、Generalist、Dyna 和 Google DeepMind 等团队把模型训好之后，还得在实验室做真机 A/B 评测，常常要花数百小时，才能发布一个新模型。

Google 发表 RT-1、RT-2 论文时就是这样：投入数十名外包人员、数十台机器人、数百小时人工劳动，只为比较两个 checkpoint 哪个更好。

真机反馈来得慢，研究团队很难每次更新模型后都用新版本采到足够数据。Ted Xiao 的建议是按用途选数据：预训练可以用过去采集的示范，前提是这些示范接近理想表现；采纠错数据时则相反，应尽量让当前版本先执行任务，记下它在哪一步需要干预，以及纠正后的动作。

问题是，人已经掌握的许多操作技能，还没有被记录成机器人能学的数据。实体经济（physical world and physical economy）也面临类似的问题。

人类在进化过程中积累了丰富的身体技能，机器人要想学会这些本领，研究者就得先把人施展技能的过程记录下来，再让机器人据此学习。可眼下这类数据的体量，跟互联网上的数据相比差得远。也正因为这样，怎么把数据采到手，又怎么做出这样的算法——数据有限时能学，数据变多后还能跟着扩展——始终是业内努力的方向。

实体经济里同样存下了海量这类知识与数据，今天的社会能建起来，靠的就是它们。可这些资料尚未被系统记录、存储和梳理，没法像维基百科或 Reddit 上的内容那样拿来就用。

更关键的一点是，实体经济中人类并未把所有可发明的技术都试遍，工程创新还得一轮轮往下迭代。不少我们希望机器人学会的灵巧操作，人类现成的能力就能当参照；当然也存在要超过人类水平的操作，以及一些特殊工业场景。

由此来看，假如有人造出一台机器人，能在各类任务上做到人的水平，那已算很大的成功；反过来，一套工程系统若只能帮人类把 20 世纪 50 年代中期的技术再发明一遍，其价值就相当有限。

工程创新因此两头都要抓：一头是拿到已有数据，一头是把技术继续往前推。当前技术水平到什么程度、最优秀的团队怎么干活，得弄清楚；一个新想法如何走完设计、实验、工程流程变成现实，这些环节还能怎么改，同样要弄明白。

再往下看，工程测试按反馈快慢也能排个序：手工计算、软件分析、自动化检查，一般很快出结果；一旦牵涉真实设备、材料和环境，试验就可能拖上数周、数月、数年，甚至数十年。

测试还受资源和次数制约。F1 车队每年设计新赛车，风洞试验次数与 CFD 仿真算力都被规则卡着，这些测试和仿真配额本身就成了车队研发竞争的一部分。

测试资源有限之外，靠计算或仿真做验证能覆盖多大范围，也是个问题。同一项设计，也许通过了下图蓝色部分的计算或仿真检查，却在橙色部分的真实测试里露了馅。这类验证方法何时可信、何时反映不了真实表现，是工程实践中必须厘清的事。

Anthropic、OpenAI、Gemini 等团队已着手针对数字化设计与工程任务训练模型，Ted Xiao 透露了这一点。在这类能快速、低成本核查结果的任务上，模型表现提升明显。团队展示的工程设计 demo 让他印象很深。

可一旦把这些设计放进实际生产流程，就未必过关，有时连工程师做的基础检查都过不去。说到底，只拿计算或仿真检查的反馈去训练，目前似乎还撑不起实际工程的要求。

不止 CAD 如此。不少领域都是这样：能靠计算顶替实测的环节跑得飞快，而那些仍要等真实测试结果的环节，很难一起提速。

实测这一环，自动化实验室正在想办法。材料科学、药物发现等方向上，Periodic Labs、OpenAI、Anthropic 等团队在摸索怎么用真实实验的反馈，其中包含动手处理样本、试剂的湿实验。他们一边提升实验效率，一边试着让模型去判读实验结果、核查实验方案。

举例来说，Periodic Labs 公布过一项数据：其自动化实验室每天能跑约 100 次涉及 X 射线衍射的真实实验，新实验室有望把这个数字拉到每天 1000 次。但放到 coding 模型训练、人形机器人仿真训练里动辄数百万次的尝试面前，这个量级还是差得远。

Periodic Labs 于是又试着训练一个 LLM judge，让 LLM 来读 X 射线衍射图谱。它和博士专家判断的一致率有 77%。按他们的设想，先用真实实验的反馈把这个 judge 调好，再由它给出奖励分数来训练模型。

不过各团队用这类办法的效果参差不齐。跟 coding、工程计算、数学比起来，自动化实验室更容易卡壳或反复，很多环节照样得等真实实验。

Anthropic 在蛋白质结合体和 CRISPR 上的研究也暴露了同样的限制。科学家配合 Anthropic 的内部模型，在计算机里反复提出、检验实验设计，挑出的实验再交给人工湿实验室去做。有了模型帮忙，更多设计和初步检验能在计算机里完成，原本要数月或数周的事，如今数周或数天就能拿下。可人工湿实验本身还是要数周，设计分析快了，实验的等待时间没缩短。

实验当然可以并行推进，问题在于后一轮若要根据前一轮结果来设计，就得等前一轮收尾。哪怕一次并行做更多实验，也只是让这一轮拿到更多信息；研究者仍得看到结果，才能提新假设、排下一轮。并行能扩大每一轮的探索量，轮次之间的等待却消不掉。

要压缩验证时间，不少领域都在试着拿计算顶掉一部分真实测试。有些测量原本又慢又麻烦，结果还容易受干扰，成本也高；假如模型或仿真能可靠地完成这些测量，就有望靠更多算力把验证提速。至于那些非做不可的真实测试，就得提高效率，或者想办法让每一轮设计迭代不必都等着实测结果。

按 Periodic Labs 的路子，可以设计一个价值函数（value function），说白了就是训练一个 critic，让它依据真实反馈来评估方案。只要模型够可靠，一部分昂贵的实测就能用低成本的计算来代替。

问题在于，verifier 是拿历史数据训练出来的，可能只在有数据覆盖的任务和条件下才靠得住。可我们往往要检验的，是以前没见过的新设计。

模型确实有可能学会处理训练中没见过的情况，AlphaGo Zero 就是一例。但围棋能按规则判定结果，不必为每次验证掏高昂的真实实验成本。物理世界没这个条件：蛋白质怎么折叠、怎么结合，新材料和晶体能不能被发现、能不能合成，最后都得由自然规律来检验。而训练 verifier、奖励函数和价值函数时，能用的真实观测很有限。

模型或许能应付一部分新情况，但这种能力有边界。新设计和历史数据里的情况差得越远，就越难拿到可靠、有用的反馈。

所以，沿着已有路线把一次发明或设计重做一遍，模型可能快得多；可想超过已有成果，难度依然不小。学价值函数值得一试，但未必能直接解决探索未知的问题。

Ted Xiao 结合自己在 robot learning、frontier model 研究中的经历，也参照了同行的进展。在他看来，接下来最要紧的事，是找到一种既可信、又能把验证规模做大的方法，并且确认这套方法在实际使用条件下、在新一轮研发任务里依然靠得住。

左右滑动查看更多图表

回到最初的假设。AGI 提供的智能、机器人提供的劳动能力，这两样都是实现物质丰富的必要条件。可即便未来两者都成了，工程与发明中剩下的问题也不会自己消失。

第二点，那些能可靠验证的方向，往往更容易往前走。验证方法可信、又能大规模用起来，我们就能根据反馈继续学习、继续开发技术，一步步逼近这些任务的能力上限。

最后，评测指标得反映我们真正想要的结果。分数上去了，模型在现实中的表现会不会跟着变好？把 AI 模型、机器人、工程流程合到一起之后，整个系统有没有完成预期的工作？这些都要直接去测。

三个研究方向

落到具体研究上，Ted Xiao 认为有三件事值得做。

头一件是建更多 verifier，也包括大家常说的 RL 环境。眼下不少团队想的是增加训练环境，再砸更多算力去做 RL。但光增加数量和覆盖范围还不够，还得扎进一个领域里去，弄清楚里面的工作是怎么做的、实际应用要求达到什么标准，不能只盯着学术 benchmark。

第二件是检验 verifier 本身可不可信。得到模型实际工作的环境里去，看它会碰上哪些任务和操作条件，再查 verifier 在这些情况下的判断靠不靠谱。

接下来是真实测试的安排。verifier 与整套系统终究要过现实这一关，可这类测试花钱多、周期长，得砸进大量资本，能跑的次数有限，有些等待环节还压不短。所以，凡是可以可靠仿真的部分，就拿合成数据补进训练；非实测不可的时候，先把要验的东西定清楚，再挑那些结果最能给下一轮设计或训练指路的实验先做，让每次跑完都能尽量帮着改进 verifier 和技术。

实际推进需要怎么做？

具体怎么落地，Ted Xiao 在过去一年半里也一直在琢磨。

•最后阶段那些又贵、次数又少的实测，可以多投钱，争取更多实验资源，靠更广的合作把测试规模铺开。

•难点在于离线数据既少又散，所以部署这一步很关键。Ted Xiao 的看法是，数字世界不一样，OpenAI 能先在实验室里拿互联网数据训练模型好几年，再把 ChatGPT 推出来；物理世界没这种条件，现成数据又稀又散，只能把系统放进实际工作里，一边持续采数据、改 verifier 和模型，一边在用的时候弄明白到底要解决什么问题。

拿金属切削来说，Ted Xiao 的建议是，做软件的团队先到现场去，看操作者怎么把工序走完，听他们讲哪儿容易出岔子，然后用双方都听得懂的说法把问题讲明白。

•干这些事还得沉得住气。机会不少，研究者和创业者容易几个方向一起追，可只把某一个环节改好，并不足以让一项技术从研发到投产的总时间大幅缩短。局部成果也许能换来财富、名声和研究影响力，但整个流程未必能跟着快那么多。

•说到底要看的是：实体经济的产出涨没涨，新技术研发和投产快没快，工业产量增没增。几项 benchmark 拿高分，或者在社交媒体上受关注，都替代不了这些实打实的结果。