腾讯元宝联合KCL发布群聊Agent基准:记住不等于会用
腾讯元宝与伦敦国王学院团队推出GroupAssistBench,基于8万条真实群聊消息,评测AI助手在多人场景下的记忆能力。研究发现,能准确召回历史事实的模型,未必能在服务中正确使用这些信息。通过引入关系证据整理和约束绑定机制,可显著提升AI在复杂群聊中的实际表现。
为什么AI记住了日期,却还是发错了票?
想象一个九人的旅行群。大家最初商量好5月1日出发,后来因为有人请假,改成了4月30日。当你让AI助手帮忙提醒购票时,它却还在按5月1日通知所有人。
这种情况并不罕见。AI确实“记住”了群里的历史消息,但它没搞懂哪条信息才是当前有效的。在真实的群聊里,情况往往更复杂:谁想坐靠窗?谁的预算有限?哪些话只是随口一提,哪些已经成了最终决定?

对于服务于多人的AI助手来说,难点不在于从海量消息里翻出旧账,而在于判断此刻该用谁的、哪一条记忆。

针对这个痛点,腾讯元宝与伦敦国王学院(KCL)NLP团队合作,发布了首个基于真实群聊构建的Agent记忆基准——GroupAssistBench。他们整理了50个真实群聊中的80,299条历史消息,构建了2,395道评测题,目的很明确:看看现在的AI记忆系统,到底是真的“用得好”,还是仅仅“记得住”。

两个层级的考验:从回忆事实到完成任务
以往的Agent记忆评测,大多像考试一样问一些事实性问题,比如“群里之前说几点见面?”这种测试只能证明AI有没有把信息存下来。但GroupAssistBench把评测分成了两个层级,更贴近真实使用场景。
第一层是L1记忆召回。这部分有标准答案,比如确认最初的出发日期。这类题目共有1,374道,主要考察AI能不能从杂乱的历史消息中精准定位到关键事实。
第二层是L2开放式服务。这才是重头戏,共有1,021道题。题目要求AI完成具体任务,比如“帮大家发出行与购票提醒”。这里没有固定的标准措辞,但AI必须遵守所有有效的历史决定和成员限制。如果它忽略了某人的座位偏好,或者用了过期的日期,就算失败。
为了进一步细化分析,研究团队还根据记忆依赖的结构,将题目分为三类:
- M1单条记忆:只需要用到某一条特定信息。
- M2多记忆整合:需要综合多条信息,比如结合出发时间和每个人的空闲时段。
- M3更新与冲突处理:这是最难的,需要识别旧决定何时被新决定取代,以及哪些人的约束依然有效。
值得注意的是,这些分类并非简单的难度排序,而是描述信息依赖的不同形式。
数据是怎么来的?确保每道题都“非查不可”
为了避免AI靠常识猜对答案,团队在构建数据集时非常谨慎。他们先比较了“提供历史消息”和“不提供历史消息”两种情况下模型的回复,只有那些确实需要查阅群聊记录才能回答的请求,才会被选入评测。
对于每个入选的问题,团队建立了“记忆锚点”(Memory Anchors),精确指向来源消息和证据片段。同时,设置了严格的历史截止点,防止模型偷看提问之后的信息。
所有数据都经过匿名化和隐私审查,公开版本不包含任何个人身份信息。构建过程结合了程序规则、语义审查和人工核验。在抽样核验中,95.8%的题目被判定为有效,保证了基准的可靠性。
评分难题:服务没有标准答案怎么办?
在L2任务中,AI帮人安排活动或协调分歧,回复方式可以多种多样。简单的字符串匹配根本没法判断服务是否达标。
为此,团队为每道L2题定制了一套评分准则(Rubric)。这套准则包含三个部分:
- Grounding(依据):检查回答是否明确体现了必要的历史事实。
- Service(服务):检查任务是否真正完成。
- Penalty(惩罚):对违反现有决定、忽视成员限制或使用过时信息等错误进行扣分。
例如,在购票提醒任务中,如果AI采用了新日期,但忽略了某人的座位偏好,就会受到惩罚;如果把已作废的旧日期当成最终安排,惩罚会更重。
这套自动评判系统靠谱吗?团队用60道L2题、180份回答中的1,152项准则判断进行了人工核验。结果显示,自动评判与人工多数投票的一致率达到89.3%,证明其具有较高的可信度。
核心发现:更会回忆,并不必然更会服务
研究团队比较了完整上下文、检索增强和外部记忆等14组配置。结果出现了一个有趣的反差:
在L1记忆召回评测中,EverMemOS得分为0.621,高于使用相同任务模型的完整上下文(0.570)。这说明它在“找信息”方面更强。
但在L2开放式服务评测中,EverMemOS得分仅为0.247,反而低于完整上下文的0.431。
这意味着,能把事实找出来,不代表能在服务中用好这些事实。
为了搞清楚原因,团队追踪了497条“配对记忆”——即同一段历史既被L1直接询问,也被某项L2服务所依赖。分析发现,在L1已召回但L2未被判定有效使用的记忆中:
- 约36%根本没有进入L2模型的输入。这通常是因为用户指令模糊,比如只说“帮大家安排一下”,没有给出明确的检索线索。
- 其余约64%虽然进入了输入,但模型没有在回答中有效应用。这说明,即便证据摆在面前,模型也不知道该如何用它来约束当前的回复。
两种干预手段:让记忆真正发挥作用
针对上述问题,团队探索了两个轻量级的干预方向:
- RER(关系证据整理):在检索后,梳理人物、事件、时间及决定之间的关系,并在需要时补充相关候选证据。实验显示,RER让LightMem的L2平均分提高了6.28个百分点。
- ACB(服务约束绑定):将获得的事实整理为具有主体、范围和当前有效状态的回复约束。ACB让xMemory和EverMemOS的L2分数分别提高了3.94和3.16个百分点。
当两者组合使用时,效果更明显:LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高了7.03、4.64和4.43个百分点。
这些结果表明,通过整理证据和显式化约束,可以显著改善记忆驱动的服务表现。但这并不意味着只要多找回几条记忆就能解决问题,关键在于如何处理和使用这些信息。
结语
随着智能体开始承担更多长期服务,记忆系统的价值不再仅仅是“存了多少”或“搜得多快”,更取决于它能否理解何时使用、对谁适用、以及哪些信息已失效。
GroupAssistBench的出现,让这种差异变得可观察、可分析、可比较。它提醒开发者们:在构建多用户AI助手时,不要只盯着召回率,更要关注记忆在实际服务中的落地效果。毕竟,用户需要的不是一个只会背书的机器人,而是一个真正懂规矩、能办事的助手。
目前,论文已在arXiv公开,代码和数据集也已开放,供社区进一步研究和改进。