AI智能体记忆被截断,训练怎么跟上?港科大(广州)团队提出Mosaic
你有没有想过一个问题:如果一个AI助手在帮你做一件复杂的事情时,突然需要"清空一部分记忆"才能继续工作,它的脑子里到底发生了什么?这不是科幻场景。今天的AI智能体(比如帮你写代码的Claude Code,或者帮你做深度调研的各种Agent系统)在处理特别复杂、特别耗时的任务时,经常会遇到一个很现实的问题:聊天记录太长了
一个AI助手在帮你处理复杂任务时,如果中途必须"清空一部分记忆"才能继续,它内部究竟起了什么变化?这事值得想一想。
这并非科幻。今天
遇到这种情况,系统通常二选一。一是"压缩上下文",把前面冗长的对话历史压成一份简短摘要,带着摘要往下走,等于另开一段新的"
不过麻烦也在这儿:眼下用强化学习训练这类系统,而强化学习就是让AI反复试错、按结果好坏调整行为,做对了给奖励、做错了受惩罚,跟训狗给零食一个道理。
这类训练几乎都建立在同一个假设上——任务从头到尾跑在"一段连续的对话"里,中途不会断掉重来。现实中的
香港科技大学(广州)等机构的研究团队写了篇论文,专门对付这个"考核标准跟不上实际操作"的毛病。
一个被忽视的真空地带
先把这个问题的麻烦程度讲清楚。
在研究者眼里,AI智能体做完一个任务的整个过程是一条**
轨迹
按传统设定,一条
会话是轨迹中的一个独立片段:一次完整的压缩操作算一个会话,一个子智能体干的活同样算一个独立会话。
拿实习生打个比方。你让他去调研一份报告,他从早坐到晚、笔记本一直摊着没合上,这属于单会话。要是中午笔记本内存不够,他先把上午记的内容整理成一页摘要,关机再开个新文档接着写,这就出现了"压缩会话"。再或者他嫌一个人忙不过来,叫两个同事分头查资料、查完汇总,那两位各自的工作也各算独立会话。
面对这种"多会话"轨迹,现有训练方法最常见的做法很粗暴,叫**
广播
毛病出在哪?
假设你带三个实习生做同一个项目,项目成了,公司发一笔奖金,可不管三人各干了多少、干得好坏,钱都平均分,一分不差。真出力的人积极性受挫,没帮上忙甚至拖后腿的照样白拿一份。
放任不管会怎样?AI智能体可能染上一些怪毛病。明明三两下能查到的答案,它偏要来回折腾好几轮,反正奖励按整条轨迹发,多开几个会话似乎也不亏。它也可能学不会何时该压缩上下文、何时该分身干活,因为没人告诉它这次压缩干得漂亮还是糟糕。
团队给出的方法叫**
Mosaic
思路是把原来"一刀切"的奖励拆成两层分别打分:先在整条轨迹这个层面校准一次,再到每个会话这个层面细调一次。
### 第一层:轨迹级别的"节俭度"校准
先看第一层。
**
GRPO,全称Group Relative Policy Optimization(分组相对策略优化)。它不用单独训一个"打分裁判",而是把同一任务下的一组不同尝试拿来互相比得失,省事也省钱。
原来GRPO只关心任务最终有没有完成,并不统计过程中开了几个会话。Mosaic就此补了一项新指标:会话数量。
这套逻辑不难理解。研究者假定同一批尝试里,既有成功的也有失败的,并为此立了三条规矩。头一条针对成功的尝试:会话用得越少,得分越高。理由很直白——会话开得越多,说明绕的路越长,执行成本也越高,奖励"少走弯路"正是要压住这部分开销。
第二条反过来针对失败的尝试。会话开得太少,反倒可能意味着探索不够、收手太早,碰上难题时尤其如此;愿意多开几个会话继续折腾的,哪怕最终没做成,也该比轻易放弃的拿到略好一点的分数,算是给坚持一点鼓励。第三条最关键:任务成没成才是决定性的,会话数量怎么比都不能越位。一个没做成的任务,开再多会话,也不能靠"会话多"反超一个做成了的任务。
打个比方,公司考核两个项目组。A组三天干完,B组磨蹭到第十天才干完,同样都完成了,A组理应评价更高,这是鼓励效率。可要是C组压根没干完,哪怕它加班到凌晨两点、投入的会议和讨论远超A组和B组,考核规则也不会因为C组"更努力"就给它更高的分数,干没干完是硬杠杠。这条底线不设会怎样?AI很可能学出一个取巧的路子:故意多开几个无意义的会话,装出很努力的样子骗分数,而不去真正解决问题。
落地时,研究者并没有直接把会话数量这个原始数字拿来当奖励。长尾分布摆在那里,有些极端情况会话数特别多,原始数字的意义会失真。他们改用一种叫"
### 第二层:会话级别的"边际贡献"打分
光在轨迹层面做粗调还不够。同一条轨迹里的所有会话,仍然共享同一个总分。这就像前面那个带三个实习生的项目经理,如今懂得按项目整体效率打分了,可落到每个实习生头上表现如何,依旧是一笔糊涂账。
于是Mosaic又加了第二层:会话级别的"
**
这个思路挺巧妙。研究者的做法是,在每个会话开始前和结束后,各测一次当前AI模型"如果现在就让它生成标准答案,它有多大把握"。把握值用模型给出正确答案的概率对数来衡量。一个会话做完之后,AI对正确答案的把握明显上升,说明这个会话提供了有用信息;反过来,带来噪音或者错误线索的会话,会让把握值往下掉。
这就像打发学徒去市场买菜,回来问他"你现在知不知道这道菜怎么做了"。要是他路上顺带偷听到了邻居阿姨的秘方,回来对做菜的把握明显提高,这趟市场就没白跑;可他要是光顾着跟人聊天,拎回一堆不相关的材料,回来你发现他反而更糊涂了,那这趟市场等于白跑,甚至添乱。
研究者还注意到更细的一层:不同类型的会话,"天生"产生的信息增益分布并不一样。普通搜索浏览型会话靠查资料拿外部证据,信息增益的来源很直接。压缩型会话的增益,取决于压缩过程究竟留下了有用信息,还是去掉了噪音,这个判断标准天然更难把握。分身干活型会话,既要看子智能体干得好不好,还要看结果交接顺不顺畅。
拿一把统一的尺子去量这几类性质完全不同的会话,会出现系统性偏差。比方说压缩型会话天生信息增益的平均值就偏低,全局统一打分的话,它永远被低估,分数被不公平地压低。Mosaic的办法是分类型做归一化,同一类型的会话放在一起比高低,而不是一股脑混在一起比。
最后,把这个会话级别的边际增益信号,和前面轨迹级别的节俭度分数加到一起,就成了Mosaic给每个会话打的最终分数。前者给的是长期的、看最终结果的大方向信号,后者给的是短期的、看局部贡献的细节信号,两者合起来才算完整的考核体系。
实验结果:更聪明还更省会话
研究团队在
结果很直接。压缩上下文的场景下,广播方法训练出的模型准确率是35.31%,平均每条轨迹要花3.17个会话;Mosaic训练出的模型准确率提到38.86%,相对提升超过10%,平均会话数反倒降到2.35个。
| 方法 | 压缩场景准确率 | 压缩场景会话数 | 分身场景准确率 | 分身场景会话数 |
|---|---|---|---|---|
| 原始模型 | 24.80 | 1.70 | 21.64 | 2.98 |
| 单会话GRPO训练 | 34.68 | 1.24 | 31.91 | 2.09 |
| 广播方法 | 35.31 | 3.17 | 31.44 | 4.43 |
| **Mosaic** | **38.86** | **2.35** | **32.46** | **3.77** |
这组数字挺有意思:准确率更高,耗的资源却更少。说白了,Mosaic训出来的AI,办事更靠谱,也没那么"啰嗦",不会动不动就多开几个没必要的会话。
研究团队还拿另一种做法做了对照——拆开来逐项验证,这套方法里的两个部件各自都起了作用。
他们做了消融实验。两个组件分开用,效果都有提升;合到一起,压缩场景里涨得更明显,分身场景里只涨了一点点。研究者的说法是:压缩场景的会话是一条接一条顺着走的,结构近似直线;分身场景里主智能体派出几个子智能体同时开工,结构更像一张网。
比表面数字更值得看的发现在后面。研究者没停在“准确率更高”这一层,而是往下追问了一步:多会话优化真起作用的时候,AI的行为究竟哪里变了?他们从三个角度观察——会话数量是增是减,会话质量有没有变好(更多会话是否真的推进了任务),有限的会话资源有没有被更聪明地分到关键阶段。
结果挺能说明问题。只用广播方法训练,三个指标一起涨,AI学会了“多开会话更容易成功”,但这一步走得比较粗。换成Mosaic训练,会话数量不再往上走,会话质量和资源分配反倒继续改善。说到底,有效的多会话优化,关键不在开了多少个会话,而在每个会话有没有真正产出价值。
拿学生备考打个比方。一个每天学十个小时,另一个只学六个小时,可后者六小时全程专注、不走神,每一分钟都在吸收;前者那十个小时里可能有一半在发呆。只看“学习时长”,会觉得第一个更用功,但决定分数的是每小时的学习效率,不是总时长。Mosaic做的,就是把AI的注意力从“要不要多开会话”挪到“每个会话有没有真解决问题”上。
研究者还进一步算了两个指标,其中一个叫
事情没到此为止,后面还有几道题等着。论文末尾用了不少篇幅谈这个方向接下来要面对的挑战,这部分比方法本身更耐琢磨。
头一个问题是数据不够。多会话轨迹在真实场景里并不少见,可适合公开训练的数据集眼下还很缺,这既卡住了实验能做到的规模,也卡住了别人能不能复现结果。
第二个问题更有意思,叫“跨会话的信息传递该怎么学”。压缩上下文,本质是把一堆啰嗦的历史记录压成一份精炼摘要,既要留住有用信息,又不能什么都留着导致压缩失败;分身干活,本质是把任务讲清楚交给子智能体,再把成果准确汇报回来。这三件事归到一处:篇幅有限时,到底该留什么信息才能撑住后面的决策?论文提到有一个叫
第三个问题是异步训练的麻烦。现实中训练大模型,往往不是等每条轨迹跑完才开下一批,而是边采样边训练的异步模式。多会话执行会让不同轨迹的长度和完成时间差得更开,策略的“过时程度”随之加重,同一批样本之间的比较也更复杂。比如优先处理跑得快的样本,很可能无意中偏向会话数少的轨迹,冷落那些处理困难任务、需要更多会话的轨迹,这会引入
第四个问题,是怎么在那些看不透内部构造的“黑箱”智能体框架里做这种训练。现实中不少商业化的AI智能体产品,内部怎么管理上下文、什么时候触发压缩、什么时候分身,外部开发者未必清楚。论文提出,要系统性研究各种智能体框架里破坏上下文连续性的具体机制(比如悄悄丢掉一些推理过程或工具调用的记录),这套多会话训练方法才能真正在更广泛的实际产品里落地。
写在后面
读完这篇论文,触动人的不是Mosaic设计得多巧妙,而是它揭出的一个更普遍的现象:一个系统的“运行方式”跑得比“训练方式”快时,中间会裂出一道真空地带,而这道地带常被忽略,因为表面上系统似乎“还能用”。
广播方法不是不能用,论文的实验数据也证明它比完全不训练要好。问题是它好得不够彻底,设计假设从一开始就没跟上实际运行的复杂度。软件工程里有不少类似的场景:一套考核KPI是在业务模式A下定的,后来业务演变成模式B,KPI没跟着变,团队就在旧标准下“优化”出一些数字好看、实际没什么价值的行为。Mosaic做的,其实是给多会话这种“新业务模式”重配一套更匹配的KPI。
还有个细节值得单说:Mosaic没有彻底改写AI学到的行为模式,只是把广播方法训练出的那个已有趋势“强化”了。正确的优化方向一直藏在那堆粗糙的训练信号里,只是没被精细地放大和引导出来。这让人重新想一个问题:很多时候缺的不是全新思路,而是一把更精细的打分尺子,把本来就有、但很微弱的信号放大出来。
Q&A
Q1:Mosaic是什么?
Mosaic 由香港科技大学等机构的研究团队提出,是一种多会话强化学习训练方法,用来让 AI 智能体在上下文压缩、子智能体分身这类场景里把任务完成得更高效,而且不必额外训练评委模型。
Q2:Mosaic和传统的广播方法有什么区别?
广播方法的做法是把整条轨迹的总分原封不动分给每个会话,贡献大小并不区分;Mosaic 则分两层打分,先依据会话数量对整体奖励做校准,再针对每个会话按边际信息增益单独调整,引导 AI 高效完成任务时更精准。
Q3:Mosaic训练出来的AI效果如何?
A:在