北大张牧涵创业无涯智远：让AI在运行中持续学习，押注实时RSI

什么样的AI才算真正属于你？

它可能记得你的兴趣和习惯，清楚你手头在做什么，甚至了解你过去几个月读过什么、想过什么。AI智能体（AI Agent）一步步走向实际应用，能长期陪伴用户、提供个性化服务的个人智能体（Personal Agent），也就成了行业关注的方向之一。

可要实现这种愿景，AI得先解决一个基础问题：在长期使用中，知识和经验怎么积累？

行业目前已经试过不少办法。上下文窗口越做越大，检索增强、对话摘要、外部记忆系统也相继出现，这些技术让AI能存下更多信息，需要时再调出来。问题是，这些信息大多还是放在模型参数之外。AI能翻过去的记录，却未必真从中学到了新知识和新能力。

想让AI越用越聪明，恐怕还得再往前走一步：让模型在使用过程中持续学习，把新经验一点点变成自身能力。

这和眼下AI圈子里很热的RSI（Recursive Self-Improvement，递归自我改进）研究正好接得上。按通常的理解，RSI是让AI参与到对自身的改进里，使能力一环接一环往上走。行业当下更在意的，是用AI帮着做模型研发、优化训练流程，把下一代模型的迭代节奏提起来。还有一条路也值得试：模型发布之后继续长本事，在和用户、和环境的打交道中不断攒下新知识、新能力。

近日，在中关村科学城组织的ACC2026活动上，DeepTech与北京大学人工智能研究院助理教授张牧涵聊了大模型的持续学习、实时RSI以及个人智能体的未来。

张牧涵曾在Facebook AI参与大规模推荐系统的研发。今年他创办了无涯智远，带一支以年轻研究者为主的团队，探索新的模型学习范式。他们想让模型在运行过程中吸收新信息，把值得长期保留的知识和经验写进自身参数，用更低的成本实现持续改进。

真要走到那一步，两道技术坎还横在面前。一道是模型参数频繁更新带来的算力开销；另一道是模型学新东西时容易把旧东西忘掉，也就是“灾难性遗忘”。

张牧涵在访谈里说，团队最近在持续学习上有了阶段性进展。按目前内部的实验设置，模型学会新知识之后，原有的知识和通用能力都保留得不错。下一步，团队会继续对这些结果做验证，同时摸索怎么把参数更新的成本压下来。

张牧涵的设想是，将来AI能在用户自己挑选、自己授权的范围里，一点点吸收阅读、交谈和工作中碰到的有用信息，用得越久成长越多。信息这样持续被吃进去，AI对用户的理解也会越来越深，最终慢慢变成一个能陪着个人一起成长的智能体。

以下是DeepTech与张牧涵的对话。

上下文终究有尽头

DeepTech：你本科在上海交通大学读，后来去美国念博士，还在Facebook AI工作过，最后选择回国。这些经历是怎么塑造你的，又怎么影响了你对行业的理解？

张牧涵：2011年我进了上海交通大学电院的IEEE试点班。2015年本科毕业后，我去美国圣路易斯华盛顿大学读计算机科学博士，导师是IEEE会士陈一昕教授。2019年，我用四年时间读完了博士。

读博那几年，我主要做人工智能和深度学习方面的研究，图神经网络我介入得比较早，把这项技术从理论、算法一路推到了实际系统里用起来。

2019年至2021年，我在Facebook总部的AI Personalization团队工作，参与支撑全球十亿乃至数十亿用户的推荐系统研发。那段经历让我接触到很多工程挑战，也完成了从理论研究者到工程实践者，再到生产级产品开发者的转变。

可到了2020年、2021年前后，AGI在我们眼里还是个很远的目标。这段经历也让我慢慢想清楚，自己更愿意长期扎进去的，是通用人工智能的基础问题。

在我看来，要想有真正的突破，就得把底层原理挖得更深，还得去试新的技术范式。所以我打定主意回国进高校，甚至做好了在实验室做十年理论研究的准备。

最后选择北京大学，一方面是因为它的交叉学科底蕴和自由学风，另一方面也是因为这里有很多志同道合、研究前沿问题的老师。

DeepTech：你早先做的是图机器学习、图神经网络这类偏理论的方向，到了Facebook又接触了工业级项目和产品。回北大之后，你的研究跟过去比，哪些接着做，哪些变了？

张牧涵：回到北大后，我继续沿着图神经网络这个方向，研究它的表达能力、泛化能力和通用逼近等理论问题。

2022年底ChatGPT出来，我受到的冲击不小。大概一两周后，我在全院做了一场报告，讲我自己怎么理解它，也讲了试用时看到的本事和翻车的例子。

尽管当时我还不是规模定律的坚定信徒，也不知道这条路线最后会成功还是失败，但我很确定，这个东西不能忽视，一定要研究。

就这样，我把大量精力投到语言模型上：训练怎么进行、架构怎样设计才更高效、推理与泛化靠什么机制、模型的可解释性又该如何入手，这些都成了我研究的对象。

其中最能抓住我注意力的是上下文学习，即 ICL（In-Context Learning）。只要给模型几个例子和指令，它就会照着指令走、调整自己的行为，表现出某种接近人类的少样本学习与泛化本事。

问题在于上下文窗口有限。那会儿一般只有 4K、8K，单轮对话有时够用，可要是一直交互下去，上下文耗光了该怎么办？

一条路是接着把上下文窗口扩得更大，但成本得算清楚。标准全注意力机制下，处理整段输入的注意力计算量随序列长度平方增长，KV Cache（键值缓存）往往也随长度线性增加，显存占用更多。窗口越大，成本越高，很难无限制地扩。更高效的架构能缓解这些麻烦，可长期攒下来的信息怎么存、怎么复用，仍然是个值得琢磨的问题。

人不一样，人是持续学习、终身学习的，从有记忆起就在不停吸收新知识。模型如果参数固定不动，新信息一般只能靠上下文或外部系统喂进去。我就想往下探一探：能不能把其中值得留下的信息，持续写进模型参数里。

DeepTech：沿着上下文学习和持续学习，你们做了哪些研究？这些工作又是怎么一步步长成无涯智远今天的技术方向的？

张牧涵：为了让大模型能持续学习，我们在模型架构、高效训练和微调上下了不少功夫，稀疏注意力、更高效的注意力机制，还有跟 DeepSeek 的 MLA（Multi-head Latent Attention，多头潜在注意力）相关的研究，都在其中。

这些工作能从一头缓解上下文容量的问题。注意力机制更高效、更省显存，就能装下更长的上下文，把上下文学习的窗口撑大。工业界眼下也还在往这个方向摸索。

比如 DeepSeek-V4.1-Flash 就用高效架构进一步压缩 KV Cache，同时降低长上下文下注意力的复杂度，它的技术报告也引用了我们近期的 HISA（Hierarchical Indexed Sparse Attention，分层索引稀疏注意力）工作。

不过在我看来，继续扩上下文仍然只是阶段性的解法。要真正解决持续学习，还得想办法把信息写进参数，让一部分经验能在上下文之外留下来。这跟扩大上下文、改进外部记忆并不冲突，可以互相补位。

上下文很像人的短期记忆或工作记忆，里面的信息通常是临时的。换一个上下文窗口，相关信息往往得重新给一遍。我们希望模型也能把重要、能长期复用的经验沉淀下来。很难想象一个人只有当天的短期记忆、隔天就清空，形不成任何长期记忆，他还怎么持续学习、怎么成长。

DeepTech：持续学习也是很多团队在做的方向。从在高校研究持续学习，到决定围绕它创业，能不能结合当时的模型规模和实验任务，讲讲它验证了什么关键判断？哪些指标的变化，让你觉得这条路值得继续加大投入？

张牧涵：他眼里最要紧的一点是：把新信息写进参数这件事，本身能否被训练成一种可泛化的能力。承担这种“参数学习能力”的，是另一个拥有海量参数的网络，即超网络。超网络一旦训练完成，遇到一篇从未见过的文章，就能直接产出有效的参数更新，让模型掌握文中的内容，不必再针对这篇文章反复做梯度下降。

张牧涵：早期我们用的是八十亿参数的基座模型，从较短的文本入手，测重建、续写和问答。做问答时把原文撤掉，看模型能否依靠生成的参数更新把问题答出来。真正令他兴奋的是，没见过的材料同样能写进去。团队还发现，超网络用英文语料训练之后，对中文材料也表现出内化能力。基座本身当然有多语言能力，但这个结果仍说明，学到的写入方式具备跨语言迁移的能力。

张牧涵：那时他主要看三个指标：新知识能否被正确调用，写入所需的时间和计算成本有多高，以及对新内容的泛化表现如何。论文里其实给出了非常强的 scaling law 曲线：超网络训练得越多、参数量越大，内化效果越好。这些结果让他认为，值得加大投入，继续摸这个学习机制的上限。

张牧涵：创业之后，他们把这一判断又推进了两步：内化后的效果，能否与把所有内容塞进上下文窗口的上下文学习相匹敌；连续学习之后，先前的知识和原有能力能否保住。眼下在内部全部测试集上，效果已经与上下文学习持平，而且经过连续几百 K 的写入，通用能力几乎没有下滑。

DeepTech：从 2022 年到现在，AI 技术逐渐从模型本身延伸到 Agent，今年 Coding Agent 的发展尤其迅速。你怎么看这条路线的演进？它对底层模型提出了什么新要求？

张牧涵：Harness（智能体运行框架）的发展确实大幅推动了 Agent。依靠上下文管理、检索增强和工具调用，它能把模型已有的能力更充分地发挥出来，系统的任务表现也能明显改善。我们关心的是，能不能把其中值得反复使用的经验，进一步转化为模型参数的更新。

上下文、外部工具和参数内的学习可以配合着用。哪些信息适合写进参数，哪些该留在外部、需要时再检索，要看具体任务，也要看效果、成本和稳定性。但说到底，如果只动 Harness 而不动参数，那单次推理能利用的新信息，仍受底层模型上下文容量的限制。

模型出厂后还要成长

DeepTech：实时递归自我改进（Real-time RSI）被无涯智远列为重要的技术路线。为什么你们格外强调实时？它跟眼下常见的模型迭代方式差别在哪？

张牧涵：一条自我改进的路子，是让 AI 帮忙写代码、写算子，优化基础设施和模型架构，合成数据，从而加快后续模型的研发与迭代。这类工作很有价值。

张牧涵：他们更在意另一个时间尺度：在两次模型版本发布之间，模型能否更及时地把新经验吸收进来？个人和企业的任务、知识与偏好一直在变，这对持续学习提出了新要求。

张牧涵：如今模型一旦发布，参数就固定了。联网搜索、RAG（检索增强生成）或 Harness 能帮它获取并使用新信息。他们想再往前走一步，让一部分经验进入参数，变成后续任务里可复用的内部变化。

基模版本迭代确实在提速，但张牧涵觉得这种阶跃式更新不合自己的审美，也不像人类学习的样子。人每天都在积累知识、形成新认知，并非隔几个月才升级一回。他每天读新闻、论文，跟人交谈，这些经历会一点点影响认知，一部分沉淀为长期记忆。他也希望模型能在长期使用中继续学习。

他所说的 Real-time，重点在让经验吸收更及时，同时把频繁更新的成本压下来。模型发布之后还能接着学、修正参数，把每天、每小时获得的新信息沉淀成能力和长期记忆，不必总靠高成本的离线重训。实时性被强调，原因有两个：进化更及时，成本也有机会降下来。

个性化是另一个关键点。张牧涵在 Meta 做的就是个性化方向，他希望模型本身能因人而异，而不只是让用同一套参数的人输入不同的上下文。

他期待将来每个人、每家企业，乃至每个在本地干活的机器人或 Agent，都能在各自的工作流和环境里继续学习，让出厂后的参数慢慢变得更贴合自己。

DeepTech：你刚提到持续学习和参数更新。模型怎么从新信息里学到能力，而不是简单地把知识堆上去？

张牧涵：新知识和新能力之间没有绝对清晰的界线。熟读唐诗三百首，不会作诗也会吟。人在记忆、压缩大量内容的过程中，也会抽象出规律。信息进入模型参数后，同样可能从中提取出超越单纯记忆、可迁移的规律，形成新能力。

但要让这种能力持续增长，新旧知识的关系得处理好。模型吸收新信息时，要尽量保住已有知识和通用能力，还要处理不同信息之间的冲突。人每天学新东西，也不会因为学了新的，已掌握的旧能力就大幅下降。模型同样得做到这一点。

后训练里的强化学习，就是能力从经验中产生的一个例子。模型不用逐条记住成功或失败的轨迹，而是拿轨迹及其奖励信号去调整参数，让自己下次更倾向于生成成功率高的行为、压住失败的行为。

这说明能力可以从大量知识、轨迹和记忆片段中抽象出来，关键在于怎么把它们有效地内化到参数里。

DeepTech：把新信息写进参数，传统持续学习的主要难点在哪？

张牧涵：传统持续学习有两个主要难题。第一是在线更新的成本。

常见的梯度更新要做前向计算和反向传播，可能还得保存大量中间状态及优化器状态，计算和显存开销都会增加。

而且一般不是反传一次就能学会，得经过多次梯度下降才能取得有效适应。不同微调方法的资源需求差别很大，可如果要高频、长期地更新，累计成本和系统调度仍然是重要问题。训练和推理用的基础设施也不一样，前者所需的计算量和设备规模通常高得多。

第二个问题是灾难性遗忘。模型学了新知识，却把旧知识忘了，通用能力下降，甚至对新知识严重过拟合，变成复读机。

他们此前尝试用实时反向传播把上下文中的内容写入模型参数，就撞上了这个问题。训练得不够，模型记不住；训练得太多，又容易过拟合，只会复述，没法理解并依据新内容回答问题。中间的平衡很难找。

有些方法会在学新知识时加入旧数据回放，帮助缓解遗忘，但额外的数据处理和训练也会推高成本。他们想找到一种更容易兼顾效率和能力保持的更新机制。

成本和遗忘，正是传统持续学习的两大瓶颈，眼下仍难在两者之间取得理想的平衡。

DeepTech：你刚才说，把新内容直接用梯度下降写进参数，成本高，还容易过拟合、出现遗忘。那你们的超网络怎么应对这些？能不能拿模型读完一篇新文章当例子，说说从拿到内容到参数更新完成，中间都发生了什么？

张牧涵：他们选了超网络，也就是用一个网络生成另一个网络的参数更新。核心想法是，把“看到新材料之后，参数应该怎样改”这件事，提前通过大量训练学到另一个模型里。

还是以读一篇新文章为例：基座先形成内部表征，超网络再把这套表征转成每一层对应的参数更新。更新被加载到基座上，基模的参数就这样被修正。此后回答相关问题时，整篇文章不必再放进上下文。

常规微调的路子是：针对新材料算损失、做反向传播，再经过多轮优化才拿到参数更新。他们则不同——用一个已经训练好的超网络，在前向计算里直接把更新生成出来。

这套机制本身也要训练。训练超网络时，得靠下游任务来检验生成的更新到底有没有用，再通过反向传播去改进超网络。等超网络训练好了，每次拿它给基模更新参数，只需超网络做一次前向传播，传统的多轮反传优化完全用不上。

在最近的 27B 基模上测试，短文档通过超网络内化平均只需约 200 毫秒，计入参数导出和加载，平均约 2 秒。

眼下这个过程已经延伸到连续内化：模型读完第一段材料、完成更新之后，第二段材料的学习就建立在这个已更新的基模之上，先前的经历会影响后面的学习。

DeepTech 问的是：同一份新材料，跟直接塞进上下文、靠检索调用、或者做一次常规微调相比，他们这套办法在什么情形下更占优？张牧涵的回答是，临时读一篇文章、答一两个问题，放进上下文往往就够用；如果要求准确引用原文、追溯来源，或者资料本身频繁变动，检索仍然不可少。

真正适合参数内学习的，是那些会被长期、反复使用的知识和经验——希望把它们彻底写进模型底层参数，省得每次携带大量原文、白白消耗 KV Cache。企业的规章制度、新出台的法规条例、必须严格遵守的代码规范，都属于这一类，值得永久写进参数。他说，他们的技术把这件事做到了秒级，推理成本也压得住。

借用《盗梦空间》里的说法，这相当于给模型做一次 inception。另一个场景是他前面提到的轨迹：海量轨迹没法全塞进上下文，也不可能靠检索去调用，同样得用参数内学习，从轨迹里提炼出普适策略，让模型下次更愿意生成正确的轨迹、压住失败的轨迹。

DeepTech 接着问这两大难题有什么新进展、接下来优先做哪些应用。张牧涵说，近期有一些让人受鼓舞的阶段性成果，方向是压低更新成本，同时尽量保住模型原有能力。

据他介绍，目前一些内部实验设置下，模型吸收新知识之后，旧知识和通用能力保留得比较好。下一步要验证的是，这些结果能不能在更长时间、更多任务以及不同规模的模型上继续站得住。

有了这些进展，他们会先盯住面向个人的智能模型，让参数内学习跟已有的上下文、工具和记忆系统搭起来用，使模型慢慢更贴合不同用户。理想状态是：在用户自主选择并授权的范围内，模型每天能接触到跟你一样的上下文——你看到、听到的内容，你的对话，手机和电脑屏幕上出现的东西，还有你读的新闻、文章和书籍。它能陪你一起经历、一起阅读，甚至读得更多更快，在这个过程中跟你共同成长。当然，牵涉到他人的私密信息，授权和使用边界也得守住。

模型一旦逐渐拥有你经历过的上下文，就有可能变成真正最懂你的个性化模型。一个人既是当下的自己，也是全部过往塑造出来的，他希望个人 Agent 也能走过跟你相近的路。

问题是这些上下文膨胀得很快，不可能全放进窗口。摘要或者记忆管理能留住一部分，但碎片化的文字记录未必等于亲身经历，视觉、听觉这些多模态感受尤其难以完整保留，隐式的风格、偏好也难学到。光靠 token、摘要或 RAG 不够，他希望模型能实时把这段经历写进自身参数。

DeepTech 提到，人的日常生活还包括视觉、听觉等多模态信息，这些内化进参数跟文字相比有何不同、他们做了哪些工作。张牧涵说，多模态内容经过编码同样能表示成 token，进入上下文窗口；他们想研究的是，怎么把其中有用的信息转成参数更新，供后续任务使用。

文本也好，视觉或其他模态也好，他们都想摸索一套尽量统一的内化机制。原理上讲，这是从 token 到参数空间的映射。不过多模态内容更容易让上下文迅速膨胀，所以既要有能装下更长多模态上下文的窗口，也要有快速把它参数化的能力。这靠几个小技巧解决不了，基础设施层面还得做大量优化。

DeepTech 问，个人智能体最近很受关注，可进入日常生活的程度还不高，除了订机票、订酒店，未来还有哪些更有想象力的应用？张牧涵说，他在 Meta 工作时跟同事聊过理想中的终极推荐系统——一个极度个性化、真正懂你的模型，甚至比你自己还懂你，因为人有时候并不完全清楚自己想要什么。这个方向一直吸引着他。

推荐系统想预判你的需求，把你可能需要的商品、帖子、广告或新闻推到你面前。为此他们当时做了大量用户建模，尽量利用用户过往的行为记录和留下的痕迹，更准确地理解一个人。个人智能体同样要在长期协作中学习用户的偏好、兴趣和任务习惯；他们希望参数内学习能跟已有的上下文、工具和记忆系统配合，让这种个性化更有效。

它或许能按你喜欢的套路写一部小说，哪怕是爽文；也能创作一首合你口味的音乐，甚至生成一款按你喜好编排情节的游戏。今天的书籍、音乐和游戏，大多是作家、音乐人或开发公司先做出来，再供所有人挑选的标准件。如果有一天它能专门为你生成你喜欢的内容，那又是另一个维度的想象空间。张牧涵说，他觉得这件事挺酷的。

一群零零后正在押注学习范式

DeepTech 最后问：不少模型公司、初创团队都在跟时间赛跑，初创公司和大厂在技术路线上有什么差异？无涯智远怎么发挥小团队的优势，在有限的窗口期里做出突破？

张牧涵认为，初创公司最大的优势在于小而精，能高度聚焦于某一项技术突破、某一个领域，把它做透。要跟大厂竞争，就必须打出差异化。做 RSI 的初创公司若直接拼算力、拼人才总量，很难占到便宜，所以一定要押注别的东西。无涯智远押注的，是学习范式上的创新。

他还觉得，当下仍是一个鼓励初创的时代。新的技术突破未必只在大厂内部发生，初创公司也有机会抓住窗口，快速迭代技术和产品，走出一条不同的路。

DeepTech 问：无涯智远团队里有很多 00 后，甚至还有非常年轻的本科生，他希望形成怎样的团队文化？和这些年轻研究者一起工作又有什么感受？

张牧涵说，团队现在非常技术导向，成员各有不同的研究和工程积累。信息比较透明，讨论也很公开，遇到问题可以直接摆出来聊。团队里有很多 00 后，但他不太想给 00 后、05 后或者 90 后贴标签，每个人都有自己的性格。他觉得自己心态也挺年轻，和他们很同频。

大家有一个比较相似的地方：对技术很纯粹，做的是自己感兴趣、也相信有潜力改变世界的事情。团队里有不少优秀的同学，有各省的高考状元、全国竞赛金牌获得者，甚至有 15 岁就进入大学的年轻成员。

实验曲线一出来，大家就围在一起看、一起分析，顺着问题往下推，有结果了便讨论开来；碰上新技术进展，交流、分享起来也很起劲。对还在读书的年轻人，他盼着他们先把基础打牢，找到自己真感兴趣的问题，留出独立探索的余地。

团队建立了不少基准测试和指标，一直在衡量技术有没有进展。张牧涵觉得，能吸引这样一群人，还是因为大家有共同的信念，也都愿意保持对研究的热爱。

DeepTech 问：他在高校和创业团队里接触了很多年轻人，面对竞争激烈的 AI 行业，对他们的发展有什么建议，或者有什么自己的体会？

张牧涵说，大道理他不太爱讲，经验倒愿意分享一些。头一条是诚实面对自己，认真看清自己的短板。人都有本能的防御和逃避，事情没做成，容易先怪外界。再聪明、履历再漂亮，也一定有不足。成功和失败里都掺着不少偶然，只有把这些看明白，才有机会接着往前走。

诚实面对自己，也意味着对技术同样诚实，别让表面的成绩冲昏了头，要透过浮躁的表象抓住更本质的问题，把一件事做得更长期。学术诚信是最起码的底线，在这之上，还得诚实地掂量自己的判断和技术成果。做到这些，才有可能真正突破上限。

DeepTech 问：从产业界到学术界，再到创业，除了诚实面对自己，他还有什么一直坚持的原则？

张牧涵说，还有一个就是感恩。上海交大的校训是饮水思源，对他影响很深。一路走来有很多人帮助过他，因此不能忘本。他的成长离不开家人、老师和一路上帮助过他的人。当年选择回国，也是希望能在中国参与推动这个领域的进步，做出有价值的工作。

此外，他也希望能够始终诚信地做研发、做学术，诚信地与人交流。有的投资人觉得他太实在，不太会吹，但他不想改变这一点。

DeepTech 问：AI 发展很快，可能一个月就有新变化。展望三到五年后，他希望自己和团队处在怎样的状态？

张牧涵说，现在其实很难预测三到五年后会发生什么。三年前，他们也很难预料 AI 会发展到今天这个水平。我们的外推能力远远跟不上这个时代，所以他只能拍脑袋想一想。

技术上，他希望无涯智远真正推动持续学习和 RSI 的范式转变，产生世界级的影响。三到五年后，甚至更早，他希望运行中的模型都能实时进化，每个人、每个企业都拥有自己的个性化模型和智能。

团队方面，他希望每个人都能在这个过程中有所收获。三到五年后，有些同学未必还在公司，但他希望他们都能得到成长，成为这个领域最顶尖的人才。不论是财富、能力、还是个人成长上的追求，他都希望大家能够实现。最后说到自己，财富并不是最主要的追求。他更希望这些工作最终被很多人真正用到，让持续学习成为模型的一项常见能力。如果能推动这件事，就已经很有意义。

运营与排版由何晨龙负责。

封面和首图均由 AI 辅助生成。