Jeff Dean谈Discovery Loop：AI自我改进有边界，非递归
AI 正在把科学发现变成可迭代的工程系统。
在斯坦福HAI的闭幕主题演讲上，Jeff Dean讲了他离开Google之后参与创办的新公司Discovery 
Loop。这家公司的使命，是造出能自动解决机器学习、科学和工程重要问题的AI系统：提出实验、跑实验、评估结果、定下一步，让每一轮实验都给下一轮提供信息。演讲结束后，李飞飞与Jeff Dean坐下来聊了几个话题：自我改进和递归自我改进差在哪，AI解数学难题带来的冲击，Transformer的起点，技术预测哪些对了哪些错了，以及这一代年轻人面对AI时的焦虑。
以下是他们的对话实录：
李飞飞：先说说Discovery Loop。为什么现在要成立这样一家公司？
Jeff Dean：我们想造出能自动搞定机器学习、科学和工程里重要问题的AI系统，这是我们给自己的任务。他相信，到头来这会让世界多出一些新发现。不少学科都绕不开同一套流程：先想出一个实验，把它做起来、跑完，再看结果、做测量，然后定下一步，往往就是再做一个实验。我们打算让这套实验流程自己转起来。迭代时间要是能压短，实验能自动提出、大批量跑，每评估一次就学到东西，让后头的实验更靠谱，质量和数量一起往上走，突破性的结果就有可能出来。
李飞飞：为什么把它做成一家独立的公益性公司？
Jeff Dean：在他看来，技术只要做对了，给世界带来的正面作用会大得惊人；可这种正面作用不会自己发生，得所有人一起使劲。公司因此注册成公益性公司，公共使命写的是开发能解决重要社会问题的技术，并让这些技术的好处被广泛拿到手，落到人们的生活里。
李飞飞：团队呢？
Jeff Dean：我有三位很棒的联合创始人：Quoc Le、Sanjay Ghemawat和Oriol Vinyals。我们彼此合作了大约14到30年，喜欢一起解决难题。我们参与过Google搜索、广告系统、Gmail、新闻、翻译、大规模机器学习基础设施、TPU、模型蒸馏、MoE、神经架构搜索，也参与过AlphaChip、AlphaFold、神经天气预报等项目。我们还管理过大规模团队：我管理过Google Brain到600人，后来Google Research和AI团队约4400人。但后来我发现自己花很多时间在Q2运营支出会议上，就决定换一种方式。我们也很自豪，很多团队成员后来参与创办了Anthropic、OpenAI、Physical Intelligence等。
李飞飞：为什么是现在？是什么技术条件成熟了？
Jeff Dean：这10到15年里，硬件层面的性能涨得很猛，TPU、GPU和更专用的硬件都在往前走；软件抽象也更好了，能更高效地映射到硬件上；模型架构一路从word2vec、seq2seq、Transformer改到MoE；训练算法同样在进步，蒸馏就能做出质量不错的小模型；推理算法也有大变化，推理时多算一些、用思维链、多试几次再检查，结果会更好。可光有好的基础模型不够。得把agent和模型配在一起，让它能顺手地用工具把复杂任务办完，尤其要会创造：不是把做过的事再做一遍，而是把许多洞见拼起来，拿出真正新的东西，再验证它管不管用。Agent和模型还该从以前的实验和经验里学，比如解过5000个问题之后，能从最相关的那几个问题里学到东西。
李飞飞：传统实验循环的瓶颈在哪里？
Jeff Dean：老一套的循环，每个阶段都压着大量人工。问题一大，还得拆成子问题，而拆本身就不容易；每个子问题都有一堆人做实验、试不同路子，协调起来开销很大，资源会撞车，系统效应也冒出来。更麻烦的是，大项目一旦开动，早先的拆法就很难再动。他们想的是：少数领域专家，配上一套能自动拆出有意思的子问题、再自动把子问题解掉的系统；人可以引导拆法，指出哪些子问题重要，让小团队去啃影响大的部分。前提是基础设施得对路：成千上万个自动实验跑起来，系统要能掂量跑这个实验和跑那个实验各值多少，用强化学习或进化算法自动做决定，让早期的决定以后还能灵活地回头改，每个早期实验都能给将来的实验提供信息。
李飞飞：公司成立以来做了什么？
Jeff Dean：前三周做了400场面试，很多在University Avenue的Cafe Venetia，找优秀的人；找办公空间，现在在旧的Zibibbo餐厅；搭了自己的agent harness，用于所有开发和自动化。它有协作功能：你可以和模型对话、让它解决问题，也可以邀请队友一起和模型、agent协作，别人可以评论或向agent提设计方案。我们搭的是agent-first基础设施，目标扩展到数万、数十万agent做事，而不是几百个人做事。我们大约有20个自动改进循环在运行，评估如何让实验迭代更有效、更快，如何从之前结果中学习。
李飞飞：你们先聚焦哪些领域？
Jeff Dean：先盯住那些整个循环都能在数字形式里跑完的科学和工程问题，这类最容易加速。物理过程会把循环拖慢，有些领域得用混合办法。眼下重点放在机器学习研究、机器学习工程本身，还有硬件设计上。这三块他们有专长，也能撬开别的东西。拿医疗健康来说，要是有系统能自动把机器学习工程任务解掉，就可以把它指向健康、材料科学这类问题，要一个针对特定任务的模型。这算自我改进，但不是递归自我改进。医疗是长期的重要方向，可现阶段还是先做数字循环里最成熟的那几块。
李飞飞：那就把“自我改进”和“递归自我改进”说清楚。很多人把它们混着用。
Jeff Dean：自我改进系统是这样的：你给系统一个目标，通常带着可衡量的指标，比如模型准确率；系统就去试不同的模型架构，把准确率往上提。很多机器学习算法都能干这个，可这本身并不递归。比如你喂给系统大量MRI数据和对应结果，让它开发一个解释MRI图像的模型，系统会自动试不同办法，看准确率有没有涨。可这并没有改进那个“提出下一步试什么”的基础系统。递归自我改进问的是：你能不能拿这种自我改进的办法，去改那个提改进建议的基础系统本身。
李飞飞：但RSI被炒得很厉害，好像可以无限加速。物理限制在哪里？
Jeff Dean 说，人类提升模型能力的办法，是让有本事的科研人员和 ML 工程师一道做大量小规模实验，判断哪些想法管用、哪些不管用，再把管用的东西装进下一代模型。Gemini 2 在 Gemini 1 之后就是这么来的。自动化能把这个过程提速：人做一个实验，凌晨 2 点跑完，可能到早上 8 点才看结果；自动系统看结果、定下一步会更快，也可能在整个大项目层面做出更好的决策。但做出更好的基础模型，终归要实际训练、实际实验，要跑计算、看结果、存数据，再让另一个模型看结果决定下一步。这快不到无限，里面有实打实的物理过程。自动化会让改进速度提上去，但不会让这个循环无限加速。把它当成一套务实的工程系统来看，就没那么吓人，也更好理解。
李飞飞追问：人自己算自我改进系统，还是 RSI 系统？她拿学做煎蛋打比方。
Jeff Dean 认为人两者都占。一辈子学到很多东西，这是自我改进；同时人也学会了“怎么学”。学会怎么学，才让人能更快学更多，靠的是明白哪些知识、哪种信息呈现方式最容易被自己掌握。这更接近递归自我改进。他还提到，递归自学习和递归自我改进可能跟进化算法有关。
李飞飞说，最近几周 AI 在数学上进展很大，从 Navier-Stokes 相关的工作到更多刚发布的论文。数学是百年、千年人类智慧的顶点，数学家不只看技术解法，也看美感。她问 Jeff Dean 怎么看这种冲击。
Jeff Dean 回应，模型，以及能高度并行调用模型的 agent 系统，确实能解决非常难的未解数学问题，这揭示了眼下什么是可能的。很多人不舒服，是因为这些证明往往是 500 页 Lean 代码，机器能检查，但没人真正理解通往结果的优雅简单路径。知道一个问题被证明或证伪是好事，可数学家常常在解题过程中发展出优雅技术，这些技术会生出新的数学，用于其他问题。优雅解法往往带来可复用的巧妙技术，而在很长的机器生成证明里，人们未必看得到这种清晰优雅的技术。不过，知道某件事可解，在很多领域会让人更努力——知道自己能做到，然后可能换一种不同、更优雅的方式做到。所以一面是，这么多问题同时被解决确实令人不安；另一面是，这已经成为可能，人们要想想怎么用这种能力做更多数学。
李飞飞来了个突击测验：2017年6月12日有什么意义？
Jeff Dean 反问，那是 Transformer 论文上 arXiv 的日子吗？
李飞飞说对，给个 A+。她又问，你6月12日读了吗？
Jeff Dean 答没有，大概是6月10日读的。
李飞飞请他从这个起点回看近十年，说说个人最重要的技术时刻是什么，哪些预测对了、哪些错了。
Jeff Dean 列出几件事。Transformer 显然是更高效的模型架构：把经历过的所有状态都保存下来并对它们做 attention，而不是用一个小向量不停更新、忘掉之前的状态。这让模型用少得多的计算学到更多。蒸馏也很关键，他和 Jeff Hinton、Oriol 做的工作 2016 年被 NeurIPS 拒了，理由是影响不会太大，他们放到 arXiv，后来引用很多。它让人拿大模型当老师，教轻量的学生模型，做出推理高效的模型。MoE 也被证明很好。他预测错的一点是：本以为 MoE 会走向更狂野、更异质、更像有机神经网络的架构，有神经活动列、偶尔的大跨连接；实际 MoE 仍很规整，专家大小相同、马上汇合。神经架构搜索出来的模型看起来比人设计的更有机，比如连到上面17层、做奇怪连接，但还没走到他预想的那种野生态。另一个没充分预见的是编程能力：它成了模型解决多种问题的关键解锁器。他们在 Gemini 里重视它，但没想到如此深刻。
李飞飞说，在 HAI 必须谈那个“H”。AI 的社会影响、就业、心理焦虑、人类灭绝讨论、对齐，她问 Jeff Dean 最担心什么。
Jeff Dean 说，这是极强大、极通用的技术，几乎影响社会每个方面：数学、编程、生成图像、自动驾驶。以往的技术革命影响范围比较窄，这次同时影响很多领域。兴奋、忧虑、恐惧都在。他曾合写《塑造AI对数十亿人的影响》，考察就业与经济、AI for science、错误信息与虚假信息、媒体等七个领域，和很多领域专家交流过。他最担心的是：怎么在各个领域尽量拿到 AI 的上行收益，同时把下行伤害压到最小。这不是纯技术问题，也是监管、政策制定者和公民的问题。大家都要想办法驾驭新技术，确保它服务所有人，不以可预见的方式伤到我们。比如人们的工作受影响时，得有好的办法去适应世界的新需求，拿到有报酬的工作、过上繁荣生活。这是多方面的问题，需要很多人一起解决。
李飞飞提最后一个问题。她说这一代大学生很焦虑，连斯坦福学生也担心工作和经济未来，问 Jeff Dean 作为 AI 先驱，想对台下既焦虑又怀有希望的学生说点什么。
Jeff Dean 说他完全理解这种焦虑，世界变化很快，为快速变化的未来做规划很难。他的总体建议是：试着弄明白哪些新技术正在出现或很快会出现，并确保学会把这种技术用在你最有热情的事情上。那可能是当医生，可能是写作，可能是更有效地写软件。AI 可以辅助这些事，但人的因素仍然在：人类要决定我们 collectively 想做什么。你该想清楚自己想做什么，尽你所能做到最好，这意味着用上现在所有可用的工具。人类激情在 AI 时代仍然永恒。
李飞飞：谢谢 Jeff。
Jeff Dean：谢谢。
结 语
Jeff Dean 这场对话真正要谈的，是科学发现正被 AI 变成一个可工程化的循环，而非“AI 会不会取代科学家”。Discovery Loop 想做的，是让少数领域专家靠自动化实验循环，去啃过去得堆大量人力才能推进的大问题。不过他也划了一条清楚的界线：自动化会提速，但不会无限提速；递归自我改进值得研究，可别把它炒成没有物理成本的魔法。对科研机构和创业者来说，机会不在追“RSI”这个口号，而在把某个领域的实验循环数字化、自动化、可迭代。给年轻学生的建议则很朴素：弄懂新技术，做你热爱的事，把所有工具都用上。
