北大张牧涵创业无涯智远：让AI在运行中持续学习

一个真正属于用户自己的 AI，该是什么样子？

它也许能记住你的兴趣与习惯，了解你手头正在做的事，甚至清楚你过去几个月读过什么、想过什么。AI 智能体（AI Agent）一步步走向实际应用，能长期陪伴用户、提供个性化服务的个人智能体（Personal Agent），因此成了行业关注的方向之一。

可要走到那一步，AI 先得回答一个基础问题：长期使用中积累的知识和经验，怎么留下来？

行业目前试过不少路子。上下文窗口不断扩容，检索增强、对话摘要、外部记忆系统也陆续登场，靠这些技术，AI 能存下更多信息，需要时再调出来。问题是，这些信息大多还是放在模型参数之外。AI 翻得到过去的记录，却未必真从里面学会了新知识、新能力。

想让 AI 越用越聪明，恐怕得再往前一步：让它在使用过程中持续学习，把新经验一点点变成自身的能力。

这就和当下 AI 领域热度很高的 RSI（Recursive Self-Improvement，递归自我改进）研究接上了线。按通常理解，RSI 是让 AI 参与改进自身，从而持续提升能力。眼下行业更关注的是用 AI 辅助模型研发、优化训练流程，把下一代模型的迭代速度提上来。另一条值得试的路线，是让模型在发布之后继续成长，在与用户、环境的交互中不断攒下新知识和新能力。

近日，在中关村科学城组织的 ACC2026 活动上，DeepTech 与北京大学人工智能研究院助理教授张牧涵聊了大模型持续学习、实时 RSI 以及个人智能体的未来。

张牧涵早年在 Facebook AI 参与过大规模推荐系统的研发。今年他创办了无涯智远，带队探索新的模型学习范式，团队以年轻研究者为主。他们的想法是让模型在运行过程中吸收新信息，把值得长期保留的知识和经验写进自身参数，以更低成本实现持续改进。

不过这条路并不好走，两大技术难题横在面前。其一是频繁更新模型参数带来的计算成本，其二是模型学新知识时容易忘掉旧知识的“灾难性遗忘”。

据张牧涵在访谈中介绍，团队近期在持续学习上拿到了阶段性进展。按当前的内部实验设置，模型学完新知识后，原有知识和通用能力都保留得不错。下一步，团队会继续验证这些结果，同时研究怎么把参数更新的成本压下来。

在张牧涵的设想里，未来的 AI 能在用户自主选择和授权的范围内，慢慢吸收阅读、交谈和工作中碰到的有用信息，在长期使用中不断成长。信息持续被吸收，AI 对用户的理解也会不断加深，最终成为一个真能陪着个人成长的智能体。

以下为 DeepTech 与张牧涵的对话。

上下文终究有尽头

DeepTech：你本科在上海交通大学，之后去美国读博士，也在 Facebook AI 工作过，最后选择回国。这些经历怎么塑造了你，以及你对行业的理解？

张牧涵：2011 年我进入上海交通大学电院的 IEEE 试点班。2015 年毕业，赴美国圣路易斯华盛顿大学攻读计算机科学博士，导师是 IEEE 会士陈一昕教授。2019 年，我用四年读完了博士。

博士期间我的研究方向主要是人工智能和深度学习，图神经网络起步比较早，相关工作从理论、算法一路做到了实际系统应用。

2019 年至 2021 年，我在 Facebook 总部的 AI Personalization 团队，参与支撑全球十亿乃至数十亿用户的推荐系统研发。那段时间碰到了很多工程上的挑战，我也完成了从理论研究者到工程实践者、再到生产级产品开发者的转变。

但 2020 年、2021 年前后，AGI 对我们来说还是个遥远的目标。这段经历也让我慢慢想清楚，自己更愿意长期投入的是通用人工智能的基础问题。

在我看来，要真正做出突破，还是得对底层原理理解得更深，去探索新的技术范式。所以我决定回国进高校，甚至做好了在实验室做十年理论研究的准备。

最终选北京大学，一是看重它的交叉学科底蕴和自由学风，二是这里有很多志同道合、在做前沿问题的老师。

DeepTech：你早期研究图机器学习、图神经网络这类偏理论的方向，在 Facebook 又碰过工业级项目和产品。回北大之后，研究方向跟过去比，哪些延续了，哪些变了？

张牧涵：回到北大，我继续沿着图神经网络往下做，研究它的表达能力、泛化能力和通用逼近这些理论问题。

2022 年底 ChatGPT 出来，我受到的震撼不小。大概一两周后，我在全院做了一次报告，讲自己对它的理解，也讲了试用中看到的能力和失败案例。

当时我还算不上规模定律的坚定信徒，也说不准这条路线最终是成是败，但我很确定，这个东西不能忽视，一定要研究。

语言模型的训练方式、高效架构怎么设计、推理与泛化的机制、模型可解释性——这些题目我都投入了大量精力去琢磨。

这些课题里，ICL（In-Context Learning，上下文学习）最让我着迷。只要给出一些例子和指令，模型就能照做、调整行为，表现出几分像人的少样本学习与泛化本领。

问题是上下文窗口有上限。那阵子一般也就 4K、8K，单轮对话有时撑得住，可要是一直聊下去，上下文耗光了怎么办？

一个思路是接着把窗口扩得更大，成本却绕不开。标准全注意力机制下，处理整段输入的注意力计算量随序列长度平方增长，KV Cache（键值缓存）往往还会随长度线性上涨，显存占用更多。窗口越大，代价越高，很难无止境地扩。更高效的架构能缓一缓这些麻烦，可长期攒下来的信息怎么存、怎么复用，仍是个值得研究的题目。

人不一样，人是持续学习、终身学习的，从有记忆起就在不停吸收新知识。参数固定的模型，新信息一般得靠上下文或外部系统喂进去。我就想往下挖：能不能把其中值得留下的信息，持续写进模型参数里。

DeepTech：顺着上下文学习和持续学习，你们做了哪些研究？这些工作又是怎么把无涯智远带到今天的技术方向上的？

张牧涵：为了让大模型能持续学习，我们在模型架构、高效训练和微调上做了不少活，稀疏注意力、更高效的注意力机制，还有跟 DeepSeek 的 MLA（Multi-head Latent Attention，多头潜在注意力）相关的研究，都在其中。

从某个角度看，这些工作能缓解上下文容量的问题。注意力机制更高效、更省显存，就能装下更长的上下文，把上下文学习的窗口撑大。工业界眼下也还在往这个方向摸索。

举个例子，DeepSeek-V4.1-Flash 用高效架构进一步压缩 KV Cache，同时降低长上下文下注意力的复杂度，它的技术报告就引用了我们近期的工作 HISA（Hierarchical Indexed Sparse Attention，分层索引稀疏注意力）。

不过在我看来，继续扩上下文仍是阶段性的招。要真正解决持续学习，还得想办法把信息写进参数，让一部分经验留在上下文之外。这跟扩大上下文、改进外部记忆，是可以互相补位的。

上下文很像人的短期记忆或工作记忆，里面的信息通常是临时的。换一个上下文窗口，相关信息往往就得重新给一遍。我们希望模型也能把重要、可长期复用的经验沉淀下来。很难想象一个人只有当天的短期记忆、隔天就清空，什么长期记忆都形不成，那他怎么持续学习、怎么成长。

DeepTech：持续学习也是不少团队在探的方向。从在高校研究持续学习，到决定围着它创业，能不能结合当时的模型规模和实验任务，讲讲它验证了什么关键判断？哪些指标的变化，让你觉得这条路值得继续加码？

张牧涵：对我来讲，最关键的判断是：“如何把新信息写进参数”这件事本身，能不能被训练成一种可泛化的能力，而承载这种“参数学习能力”的，是另一个具备海量参数的网络——超网络。超网络训练好以后，面对一篇从没见过的文章，可以直接生成有效的参数更新，让模型掌握其中的内容，而不必再针对这篇文章反复做梯度下降。

早期做的时候，我们用的是八十亿参数的基座模型，从比较短的文本起步，测重建、续写和问答。问答时把原文拿掉，看模型能不能靠生成的参数更新把问题答上来。真正让我兴奋的是，没见过的材料也能写进去。我们还观察到，超网络用英文语料训练后，对中文材料也表现出内化能力。当然，基座本身就有多语言能力，但这个结果仍然说明，学到的写入方式有跨语言迁移的能力。

当时重点看的是三件事：新知识到底能不能用对、写入要花多少时间和算力、以及模型对新内容的泛化表现。论文里给出的 scaling law 曲线其实非常强——超网络训练得越充分、参数量越大，内化效果就越好。看到这些，团队认为应该加大投入，把这个学习机制的上限继续往下探。

创业之后，我们把判断又往前推了两步：内化后的效果，能不能匹配把所有内容装进上下文窗口的上下文学习；连续学习之后，前面的知识和原有能力能不能保住。目前在内部全部测试集上都已经匹配上下文学习的效果，而且经过连续几百 K 的写入，通用能力几乎没有任何下降。

DeepTech：从 2022 年到现在，AI 技术慢慢从模型本身延伸到 Agent，今年 Coding Agent 的发展尤其快。你怎么看这条路线的演进？它对底层模型提出了什么新要求？

张牧涵：Harness（智能体运行框架）的发展确实大幅推动了 Agent。靠上下文管理、检索增强和工具调用，它能把模型已有的能力更充分地发挥出来，系统的任务表现也能明显改善。我们关心的是，能不能把其中值得反复使用的经验，进一步转化为模型参数的更新。

上下文、外部工具和参数内的学习可以配合着用。哪些信息适合写进参数，哪些该留在外部、需要时再检索，要看具体任务，也要看效果、成本和稳定性。但不管怎么说，如果只动 Harness 而不动参数，那单次推理能利用的新信息，仍受底层模型上下文容量的限制。

模型出厂后还要成长

DeepTech：无涯智远把 Real-time RSI，也就是实时递归自我改进，当作重要的技术路线。你们为什么特别强调实时？它跟目前常见的模型迭代方式有什么不同？

张牧涵：一种自我改进的路径，是用 AI 帮忙写代码、写算子、优化基础设施和模型架构、合成数据，加快后续模型的研发与迭代。这些工作很有价值。

团队盯的是另一个时间尺度：两次模型版本发布之间的这段时间里，模型能不能更及时地把新经验吃进去？个人也好、企业也好，任务、知识和偏好都在不停变，持续学习因此面临新的要求。

眼下一个模型发出来，参数就定死了。联网搜索、RAG（检索增强生成）或者 Harness，能帮它拿到并用上新信息。团队想再往前走一步：让一部分经验直接进到参数里，变成后续任务能反复调用的内部变化。

在张牧涵看来，基模版本迭代确实越来越快，但那种阶跃式的更新不太合他的审美，也不太像人的学习方式。人每天都在积累知识、形成新认知，并非隔几个月才升级一次。他自己每天读新闻、看论文、与人交谈，这些经历会慢慢影响认知，一部分沉淀为长期记忆。他也希望模型能在长期使用中继续学习。

他所说的 Real-time，重点在于让经验吸收得更及时，同时把频繁更新的成本压下来。模型发布之后仍能继续学习、修正参数，把每天、每小时获得的新信息沉淀成能力和长期记忆，不用总依赖高成本的离线重训。实时性被强调，原因有两个：进化更及时，成本也有机会降下来。

个性化是另一个关键点。张牧涵在 Meta 做的就是个性化方向，所以他希望模型本身能因人而异，而不是让共用同一套参数的人各自输入不同的上下文。

他期待的是，未来每个人、每家企业，乃至每个在本地干活的机器人或 Agent，都能在各自的工作流和环境里继续学习，让出厂后的参数一步步变得更贴合自己。

DeepTech：你刚才提到持续学习和参数更新。那么，模型如何从新信息里学到能力，而不只是简单地叠加知识？

张牧涵：新知识和新能力之间，本来就没有绝对清晰的边界。熟读唐诗三百首，不会作诗也会吟。人在记忆、压缩大量内容的过程中，也会抽象出规律。信息进入模型参数后，同样有可能从中提取出超越单纯记忆、可迁移的规律，形成新能力。

问题是，要让这种能力持续增长，新旧知识的关系得处理好。模型吸收新信息时，也要尽量保住已有知识和通用能力，并处理不同信息之间的冲突。人每天学新东西，不会说学了新的，旧的本事就大幅下降。模型同样得做到这一点。

后训练里的强化学习，也是能力从经验中产生的一个例子。模型不用逐条记住成功或失败的轨迹，而是靠轨迹及其奖励信号调整参数，让自己下次更倾向于生成成功率高的行为、压制失败的行为。

这说明能力可以从大量知识、轨迹和记忆片段中抽象出来，关键在于如何把它们有效地内化到参数里。

DeepTech：把新信息写进参数，传统持续学习面临的主要难点是什么？

张牧涵：传统持续学习有两个主要难题。第一是在线更新的成本。

常见的梯度更新要做前向计算和反向传播，还可能得保存大量中间状态及优化器状态，额外的计算和显存开销由此产生。

而且一般不是反传一次就能学会，得经过多次梯度下降，才能取得有效的适应。不同微调方法的资源需求差别很大，可如果要高频、长期地更新，累计成本和系统调度仍然是重要问题。训练和推理用的基础设施也不一样，前者需要的计算量和设备规模通常高得多。

第二个问题是灾难性遗忘。模型学了新知识，却忘掉旧知识，通用能力下降，甚至对新知识严重过拟合，变成复读机。

他们此前尝试用实时反向传播把上下文中的内容写入模型参数，就撞上了这个问题。训练得不够，模型记不住；训练得太多，又容易过拟合，只会复述，没法理解并依据新内容回答问题。中间的平衡很难找。

有些方法会在学新知识时加入旧数据回放，帮助缓解遗忘，但额外的数据处理和训练也会推高成本。他们想找到一种更容易兼顾效率和能力保持的更新机制。

成本和遗忘，正是传统持续学习的两大瓶颈，目前仍难以在两者之间取得理想的平衡。

DeepTech：你刚才说，靠梯度下降把新内容直接写进参数，一是成本高，二是容易过拟合、也会遗忘。那你们的超网络具体怎么应对？能不能拿模型读完一篇新文章来举例，说说从拿到内容到参数更新完成，中间都经过哪些环节？

张牧涵：他们走的是超网络这条路，说白了就是让一个网络去生成另一个网络的参数更新。思路的核心在于：把“看过新资料后参数该怎么变”这件事，先用大量训练装进另一个模型里。

拿模型读一篇新文章来说，基座会先形成内部表征，超网络随后把这层表征转成每一层对应的参数更新。更新被加载进基座，基模的参数就得到了修正。再往后回答相关问题，整篇文章不用再塞进上下文里。

传统微调的做法，是针对新资料算损失、做反向传播，经过多轮优化才拿到参数更新。他们则不同：超网络已经训练好了，前向计算过程中就能把更新直接生成出来。

这套机制自己也得训练。训练超网络的时候，要用下游任务去检验生成的更新到底有没有用，再通过反向传播来改进超网络。等超网络训练完，此后每次拿它给基模更新参数，只需超网络做一次前向传播，传统的多轮反传优化完全不用了。

在他们最近的 27B 基模上测试，短文档通过超网络内化平均只需约 200 毫秒，计入参数导出和加载，平均约 2 秒。

眼下这个过程还能往连续内化上延伸：模型读完第一段材料、完成更新之后，第二段材料的学习就建立在这个已更新的基模之上，先前的经历会影响后面的学习。

DeepTech：同一份新材料，如果直接塞进上下文、靠检索去调，或者干脆做一次常规微调，你们这套办法在哪些情形下更占优？

张牧涵：只是想临时读一篇文章、回答一两个问题，放进上下文通常就够用了。要是得准确引用原文、追溯来源，或者资料变动频繁，检索同样不可少。

参数内学习真正派得上用场的，是那些会被长期、反复使用的知识和经验——希望它们彻底沉进模型底层参数，不必每次背着大段原文、白耗大量 KV Cache。企业的规章制度、新出台的法规条例、必须严格遵守的代码规范，都属于值得永久写进参数的东西，而我们的技术把这件事做到了秒级和推理成本。

借用《盗梦空间》里的说法，我们做的相当于给模型来一次 inception。另一个场景就是我前面提到的轨迹。海量轨迹不可能全塞进上下文，也没法靠检索调用起来，同样得用参数内学习，从轨迹里提炼出普适策略，让模型下次更愿意生成正确的轨迹、压住失败的轨迹。

DeepTech：面对这两大难题，你们近期拿到了哪些进展？下一步会优先试哪些应用场景？

张牧涵：最近有些阶段性进展挺让人受鼓舞，方向是压低更新成本，同时尽量保住模型原有的能力。

在目前一些内部实验设置下，模型吸收新知识之后，旧知识和通用能力都保留得不错。接下来要验证的是，这些结果放到更长时间、更多任务以及不同规模的模型上，还能不能站得住。

顺着这些进展，我们会先盯住面向个人的智能模型，希望参数内学习能和已有的上下文、工具、记忆系统搭起来，让模型一点点更贴合不同的用户。

理想状态下，在用户自己选择、自己授权的范围里，模型每天能接触到和你一样的上下文：你看到、听到的内容，你的对话，手机和电脑屏幕上出现的东西，还有你读的新闻、文章和书籍。它能陪你一起经历、一起阅读，甚至读得更多更快，在这个过程里跟你一起长。当然，牵扯到别人的私密信息，也得守住相应的授权和使用边界。

模型一旦逐渐拥有你经历过的上下文，它就有可能真的成为最懂你的那个个性化模型。一个人既是当下的自己，也由全部过往塑造，我希望个人 Agent 也能经历跟你相近的过程。

可这些上下文膨胀得很快，不可能全放进窗口。摘要或者记忆管理能留住一部分信息，但碎片化的文字记录未必等于亲身经历，尤其视觉、听觉这些多模态感受很难完整保留，隐式的风格、偏好之类也不好学。

只靠 token、摘要或 RAG 还不够，我希望模型能把这些经历实时写进自身参数。

DeepTech：人的日常里还有视觉、听觉这些多模态信息。跟文字比，它们内化到参数时有什么不一样？你们在这方面做了哪些事？

张牧涵：多模态内容编码之后同样能表示成 token，进入上下文窗口。我们想研究的是，怎么把其中有用的信息转成能在后续任务里用上的参数更新。

文本也好，视觉或其他模态也好，我们都想摸索一套尽量统一的内化机制。从原理上讲，这是从 token 到参数空间的映射。

问题是，多模态内容更容易让上下文迅速膨胀，所以既要有能装下更长多模态上下文的窗口，也要有快速把它参数化的能力。这不是几个小技巧能摆平的，基础设施上还得做大量优化。

DeepTech：个人智能体最近很受关注，可它进入日常生活的程度还不高。除了订机票、订酒店，你觉得它未来还有哪些更有想象力的应用？

张牧涵：我在 Meta 工作时，跟同事聊过理想中的终极推荐系统——一个极度个性化、真正懂你的模型，甚至比你自己还懂你，因为人有时候并不完全清楚自己想要什么。这个方向一直很吸引我。

推荐系统想的是预判你的需求，把你可能需要的商品、帖子、广告或新闻推到你面前。为此我们当时做了大量用户建模，尽量利用用户过往的行为记录和留下的痕迹，更准地理解一个人。

个人智能体也得在长期协作中学习用户的偏好、兴趣和任务习惯。我们希望参数内学习能和已有的上下文、工具、记忆系统配合，让这种个性化更有效。

它或许能按你喜欢的套路写一部小说，哪怕是爽文，也能创作一首符合你偏好的音乐，甚至生成一款根据你的喜好编排情节的游戏。

今天的书籍、音乐和游戏，大多是作家、音乐人或开发公司先做出来，再供所有人挑的标准件。如果有一天，它能专门为你生成你喜欢的内容，那又是另一个维度的想象空间。我觉得这事挺酷的。

一群零零后正在押注学习范式

DeepTech：不少模型公司、初创团队都在跟时间赛跑。你怎么看初创公司和大厂在技术路线上的差异？无涯智远怎么把小团队的优势用起来，在有限的窗口期里做出突破？

张牧涵认为，初创公司体量小反而占便宜。人少、方向集中，能把全部精力压在某一个技术突破或某一个领域上，把它做透。

想跟大厂过招，就得走差异化的路。做 RSI 的初创团队，正面拼算力、拼人才数量基本没胜算，必须押注别的东西。无涯智远押的，是学习范式上的创新。

他还提到，当下其实是个适合初创公司生长的阶段。新技术突破不一定只在大厂内部冒出来，初创团队同样能抓住窗口期，让自己的技术和产品快速迭代，走出一条不一样的路。

DeepTech：无涯智远团队里 00 后不少，还有年纪很小的本科生。你期待形成什么样的团队文化？跟这些年轻研究者共事，感受如何？

张牧涵说，团队目前技术导向非常明显，成员各自的研究和工程积累不尽相同。信息在团队内部比较透明，讨论也摆在明面上，碰到问题直接拿出来聊。

00 后确实多，但他不想给 00 后、05 后或 90 后贴标签，每个人性格都不一样。他觉得自己心态还算年轻，跟这些年轻人挺同频。

大家身上有个共同点：对技术很纯粹，做的是自己感兴趣、也相信能改变世界的事。

团队里优秀的同学不少，有各省高考状元、全国竞赛金牌得主，甚至有 15 岁就上大学的年轻成员。

平时大家会一起盯着实验曲线、做分析、推导问题，出了结果就凑到一起讨论。看到新的技术进展，也会兴奋地交流分享。对还在读书的年轻人，张牧涵的建议是先把基础打扎实，找到真正感兴趣的问题，给自己留出独立探索的空间。

团队建了不少基准测试和指标，持续衡量技术有没有往前走。在他看来，能把这样一群人聚到一起，靠的是共同的信念，以及大家都愿意守住对研究的热爱。

DeepTech：你在高校和创业团队里接触过很多年轻人。AI 行业竞争这么激烈，你对他们的发展有什么建议，或者自己的体会？

张牧涵说自己不爱讲大道理，但愿意分享一点经验。头一条是诚实面对自己，认真看清自己的缺陷。

人都有本能的防御和逃避机制，一件事没做成，很容易先归咎于外界。再聪明、履历再漂亮的人，也一定有不足。成功和失败里都掺着不少偶然因素，只有正视这些，才谈得上继续进步。

诚实面对自己，也意味着能诚实地面对技术。不被表面的成绩冲昏头，在浮躁的表象背后抓住更本质的问题，把一件事长期做下去。

学术诚信是最基本的底线。在这之上，还要诚实地衡量自己的判断和技术成果。做到这些，才有机会真正突破上限。

DeepTech：从产业界到学术界，再到创业，除了诚实面对自己，你还有哪些一直坚持的原则？

张牧涵提到的另一条是感恩。上海交大的校训是饮水思源，这句话对他影响很深。一路走来帮过他的人很多，不能忘本。

家人、老师，还有一路上帮助过他的人，都是他成长中离不开的。当年选择回国，他也是希望在中国参与推动这个领域的进步，做出有价值的工作。

另外，他希望能始终诚信地做研发、做学术，也诚信地与人交流。有投资人觉得他太实在、不太会吹，但他不想改。

DeepTech：AI 发展很快，可能一个月就有新变化。往三到五年后看，你希望自己和团队处在什么状态？

张牧涵坦言，现在很难预测三到五年后的事。三年前，大家也很难料到 AI 会走到今天这个水平。人的外推能力远远跟不上这个时代，所以他只能拍脑袋想一想。

技术上，他希望团队真正推动持续学习和 RSI 的范式转变，产生世界级的影响。三到五年后，甚至更早，他希望运行中的模型都能实时进化，每个人、每家企业都有自己的个性化模型和智能。

团队方面，他希望每个人在这个过程中都有收获。三到五年后，有些同学未必还留在公司，但他希望他们都能成长起来，成为这个领域最顶尖的人才。财富也好、能力也好、个人成长也好，他都希望大家能实现。

说到自己，财富并不是他最主要的追求。他更希望这些工作最终被很多人真正用上，让持续学习成为模型的一项常见能力。能把这件事推动起来，就已经很有意义。

运营与排版由何晨龙负责。

封面及首图系AI辅助生成。