姚顺雨谈AI4S三阶段：从专用模型到会造工具的智能体

AI做科研，正从专用模型转向能解题、能造工具的通用智能体。

姚顺雨毕业于清华“姚班”和普林斯顿大学，提出过ReAct、思维树等方法，也参与过OpenAI智能体产品的研发。

整理之前，先交代两件事。

1、本文由潮涌AI根据姚顺雨现场演讲内容整理，保留第一人称，做了必要顺句和精简。

2、专名和数字按现场幻灯片与公开资料校正，补充信息以“背景补充”标出。

以下是姚顺雨演讲实录的正文部分——

AI for Science正在经历三次范式转变

很高兴来到这里，和大家聊聊AI for Science。

这次我们带来了Hy4模型，还有Hyra 2.0工具框架。今天聊到的不少内容，想深入看细节的话，混元的研究页面上有。

总的来说，我们正在经历三次非常快速的范式转变。它们之间不是简单的替代关系，而是层层递进、并行发展。

第一阶段，是我们为特定的科学问题打造专用模型。

第二阶段，得益于大语言模型的发展，我们有了能够解决问题的通用智能体。

大语言模型一路往前走，到今年就进了第三阶段：智能体不光能答题，还能把工具造出来。眼下的问题它能解，往后才会碰到的问题，它也提前铺路。

AI for Science最典型的例子，第一阶段就得说AlphaFold。那是第一种范式：研究者盯住某个具体问题，专门为它搭一套神经网络，再往模型结构里塞进大量人总结出的先验知识，距离偏差、序列进化偏差都算。

AlphaFold一到三代大致出现在2018年至2024年。这是AI for Science非常重要的一条路线：研究者训练一个神经网络，用它完成特定科学任务。

三代AlphaFold 的技术主线（由博主@胡奇Hooch整理）

但与此同时，另一场革命也在发生，那就是大语言模型。

大模型先完成统一，再通过缩放释放能力

大约从2017年到2022年，大语言模型完成了一系列统一和简化。

第一步是统一数据。

借助Transformer和自注意力机制，我们可以把任意类型的数据都表示成一串Token。不管是句子、图像、视频还是音频，都可以变成Token列表。

第二步是统一架构。

既然不同数据都能表示成Token列表，我们就可以用同一种架构处理它们，关键就是让不同Token之间能够进行自注意力计算。

有了Transformer这个高度统一的模型架构，下一步就是统一任务。

任务有各种各样的输入输出形式，其实可以换一种更通用的定义方式：预测下一个Token。

这样一来，不管什么输入进来，许多任务都能归结为同一个问题——下一个该出现的Token是哪个。

ReAct随后把工具调用补了进来。模型生成Token，既能为思考服务，也能为行动服务。遇到一个问题，它可以靠生成Token做推理，也能去调用搜索、代码、终端或别的外部工具，再依据工具返回的结果接着行动。

一个Transformer既能处理多种数据，又能生成Token来思考和行动，那它就不再只是语言系统，而是朝着通用智能体靠拢——能接收信息、做推理、采取行动。

大语言模型还有一个很关键的特性：缩放。这一点对AI从业者也许很直观，但姚顺雨仍认为它是AI最重要的概念之一。算力、数据、参数投得越多，模型预测下一个Token的损失就会一直往下走。

不过，模型能力平滑上升，不代表任务实用性也平滑上升。任务表现常常在某个时点突然跳变：此前一直接近零，跨过某道门槛后突然就变得很好。

这种现象在数学、编程、多模态理解等领域反复出现，AI for Science也不例外。

通用智能体已经开始解决真实科学问题

大语言模型一旦能像人一样思考和行动，我们就叫它智能体。它能调用工具，自己把问题解决掉。

一个例子是用Hy4做逆向蛋白质折叠。蛋白质折叠是输入一串氨基酸序列、输出对应的三维空间结构；逆向折叠反过来：给出目标骨架的几何结构，设计出尽量匹配的氨基酸序列。

语言模型的打法跟人的思路很像：先借助已有的生物学知识和先验提出候选序列，再调用结构预测等工具核对结构与目标的匹配程度，最后根据结果一轮轮优化方案。

刚开始模型表现并不好。多轮迭代之后，到第17次提交时结果已有明显提升。关键不在于某一次生成了什么，而在于它能不断提方案、调工具、读反馈，再接着修正。

另一个例子是用模型分析约700万个细胞，重建小鼠胚胎的三维结构。简单说，输入是84张无序的二维切片，目标是把对应的三维胚胎重建出来。

难点不只在数据量大，部分数据还可能出错或损坏。模型得用编程和终端等工具，也要找出错在哪里，再动手修。

最终它用一台机器，大约90分钟就跑完了整个重建流程。对生物学家来说，这能省下大量时间。

数学领域也有类似进展。智能体开始处理几何、群论、理论计算机科学和加法组合中的开放问题。姚顺雨团队自己的一个例子是和集与差集问题：智能体反复提出、检查、修正想法，最后得到最优指数，还参与了论文整理。

这些成果的水平与重要性有高有低，但工作形式是相通的：通用智能体不再只回答一个局部问题，而是在工具帮助下把研究流程往前推。

其实它现在已经在科学研究的许多环节帮得上忙：探索问题、设计研究方案、写代码、做实验、分析结果，也能复核结果、迭代优化、撰写论文和协助投稿。

为摸清语言模型智能体在科学问题上的底细，团队搭了一个叫TenureTrail的基准，涵盖7个研究领域、123项可执行研究任务，环节从问题探索、研究设计一直延伸到实验与数据分析、复核和迭代。前文提到的逆向蛋白质折叠，正是这123项任务之一。

评测结果显示，开源模型里Hy4的表现最突出。不过开源阵营与领跑的闭源模型之间，仍有距离。

科研能力像水位上涨，真正的变化是完整工作流被解锁

在我看来，这种进步方式有点反直觉。

以前做一个垂直领域，更像盖房子：你得盯住这个问题，打地基，再一层层往上砌。

通用智能体带来的变化则更像海水上涨。水位一直平平稳稳地升，直到漫过你的鼻子，你才真切感到事情变了。

编程就是个例子。

过去五到十年，模型能力其实一直在稳步往上走。直到它逼近人类工程师的水准，人们才猛然觉得剧变来了。可底层能力并非那一天才起步，它一直在涨。

另一个特点在于，不同领域的能力能够叠加。

今天也许解锁了数据分析，改天又解锁了编码。文献检索、写作、数据分析、编程这些能力一项项被解锁后，智能体就能把它们串起来，任务范围随之变大，工作流也更自主。

许多能力上的渐进提升，最终解锁的并非某个孤立功能，而是一整套完整工作流程。

下一步不是只交答案，而是留下可复用工具

第三种范式，可以看成第二种范式的延续。

通用智能体已经能像人一样解决问题，这一点我们已经看到了。再往前迈一步，就是让它去构建软件、工具和模型，为日后解决更多问题铺路。

这里面有几处关键变化。

从前我们面对的是特定问题，比如某一种蛋白质的结构。如今有了通用智能体和专门的任务框架，问题可以放得更开，方法也能适配不同领域。

与计算机相关的任务尤其如此，模型往往比较容易做好，因为结果更好验证，也更客观。代码能不能跑起来、模型能不能达到指标，都是可以查的。

这套框架名为Hyra 2.0，是一套支持持续数天到数周研究任务的Harness，也就是智能体运行框架。

你可以把它想成一个科学实验室。

Overall层负责统筹，Mission层拆解并推进任务，Worker层执行具体研究。多个智能体互相协作、共享进展、讨论进展，开发工具、整理原始证据，甚至彼此评审结果。

研究者拿到的不是一个最终答案，任务过程、证据和产出同样能看到。

这样一来，它才越来越像一个能持续运转的自主研究系统。

下一步不是只交答案，而是留下可复用工具

有个很有意思的结果：Hyra 2.0能自己构建模型。

它从零开始训练出一个新模型，名字叫HyInv。这是一个图神经网络，参数规模196万，干的是逆向蛋白质折叠的活。

前面用Hy4解一次逆向折叠，性质更像智能体去调用工具，完成一个具体任务。HyInv这个例子不同，它更接近AlphaFold的创造过程——只不过构建模型这件事不再完全由人来做，模型自己也参与了进来。

质量指标上，HyInv达到了有竞争力的水平，推理速度还更快。

现场展示的测试条件下，它生成128条序列大约用了50.6毫秒，约为公开ProteinMPNN实现速度的57倍。这个数字比较的是特定推理实现和测试条件，不代表整个蛋白质设计流程都快了57倍。

模型做加速也很在行，原因很直接：速度快慢最容易验证。

进展不止在蛋白质设计。Hyra和Hy4还被用来构建蛋白质语言模型HyPLM-Flash，分子模拟等方向也有相应模型。

它甚至延伸到了数学领域。

在HyProver的帮助下，加上与北京大学合作者共同推进，我们最近在两项数学问题上拿到了结果。一项是Petty等距点猜想的五维情形，证明每个五维实赋范空间都包含六个两两等距的点；另一项是Yau圆作用猜想的一个七维反例。

边界需要说清楚。

Petty猜想推进的是五维情形；Yau圆作用猜想得到的是特定反例，单连通版本仍然开放。

生物、化学、数学之外，电路设计、量子纠错和工程问题也在用Hyra和Hy4处理。这套方法通用性很强，许多不同的科学与工程领域都能用。

为了评估大模型究竟多擅长构建基础模型，我们还推出了FMBench。它从训练数据、模型架构和训练策略等方面考察模型设计基础模型的能力，任务覆盖机器学习和生命科学。

有三点观察。

第一，搭建模型是AI相比人类有比较优势的领域，因为这里面有大量繁琐的工程工作——写代码、跑实验、比较结果，都很适合交给AI。

第二，开源模型和闭源模型之间仍有较大差距。

第三，这个方向改进得非常快。两个月前发布的Hy4 Preview还排在榜单底部，我们的新模型在同样评测中的得分已经大约翻倍。

这也和RSI，即递归自我改进的概念密切相关。一个模型如果能参与构建和改进模型，就可能形成更快的循环。

技术问题多是时间问题，更难的是科学组织方式

刚才列举了不少有意思的AI for Science成果，但AI for Science显然才刚开始。

越往后走越会发现，这里面既有科学问题，也有组织问题。

你看到的大部分成果都出现在数字领域，因为数字领域的结果更容易验证。很多领域则不然，数据和验证都还不够。比如一款新药走完临床试验，可能就要好几年。

这类技术挑战在我看来更多是时间问题。我们进步很快，大家也在持续收集数据、搭建实验室，自动化实验室和机器人方向都有不少进展。

第二个挑战是科学品位。

上面提到的成果，背后都有人在定义问题、判断方向。

眼下有一场争论：模型究竟有没有品位，能不能把问题问对？

姚顺雨的看法是，长期看这件事有可能，也能学出来——所谓品位，多少也算一种计算上的启发法。但眼下这些研究仍离不开大量密集的人工判断，靠人来确立品位、找出值得追的问题。

第三个挑战在于，人类能理解的知识如何持续累积下去。

有些AI成果写成了上百页的论文，人却很难读懂、读透，也不易判断它跟这一领域其他部分有什么关联。结果还是得由人类数学家来解读，把结果整理成人类能理解、能接着用的知识形态。

姚顺雨认为，这些技术层面的问题终究会一点点解决，更大的难题或许出在社会和组织层面。

模型能力天天在涨，那谁该拥有科学数据、谁该访问、谁该从中受益？科学实验室该变成什么样子？成果要是AI帮着做出来的，科研信用和署名又怎么算？经费和科研机构该怎么跟着调？

在他看来，最大的挑战之一，是怎么教学生、怎么评价学生，怎么把下一代科学家培养出来。

以往年轻研究者是靠一件件基础工作练出来的，可现在不少入门级任务正在变样。进步这么快，很多事情都得重新想一遍。

科学不属于任何一家模型公司

姚顺雨说，在腾讯，他们也没法给出所有答案，但有些价值观是想守住的。

最根本的一条：科学属于科学界，也属于全人类，不归哪家特定公司或模型提供商所有。

所以他们希望尽量让模型、工具和软件保持开放，价格也让人负担得起。这是让模型和AGI的好处尽量扩散开的一种办法。

模型和深度研究工具的框架已经开放，也有智能体产品。最近他们还给学生发了免费额度，让学生能用到更多智能体能力，接触顶尖的开源模型。

腾讯内部也有不同部门联手支持科研人员，提供产品、算力或额度这类资源。他们希望靠这些协作，让科学家真能得到帮助。

最后做个收尾。

不少学科在某种程度上都是往纵深走的，而大语言模型给出了另一条进步轴线，与学科纵深相互正交。它能在众多垂直领域里推进，把不同领域的想法和知识连起来，也能帮着搭建可复用的科学工具。

科学的纵深与通用智能应当交织在一起，一起把科学的下一个前沿往前推。