腾讯元宝×KCL:首个群聊Agent记忆基准发布
8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准 衡宇 3分钟前
腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBench,这是首个基于群聊构建的Agent记忆基准。
一个九人出行群里,大家起初说好5月1日出发,后来改成4月30日。有人让AI助手发购票提醒,它很可能照旧日期通知。
历史是“记住”了,可这个群并没被服务好。
群聊场景里还藏着更隐蔽的要求:谁要坐靠窗位,谁卡预算,哪些安排只是提议,哪些已经成了共同决定。
AI助手要服务一群人,光把记忆找回来不够,还得判断此刻该用谁的哪条记忆。
针对这一点,腾讯元宝与伦敦国王学院NLP团队构建了GroupAssistBench。研究基于50个真实群聊、80,299条历史消息,做出2,395道评测题,考察Agent记忆能否从“记得住”走到“用得好”。
团队对比了完整上下文、检索增强和外部记忆等14组配置。一个颇有代表性的反差是:EverMemOS在L1记忆召回评测中拿到0.621分,高于使用相同任务模型的完整上下文0.570分;到了L2开放式服务评测,它只有0.247分,低于完整上下文的0.431分。
更会回忆,不等于更会服务。
论文已在arXiv公开,代码和数据集也已开放。


△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。
从一段群聊到两种考验:记忆找得到,也要用得对
已有的Agent Memory评测常靠事实问答检验历史回忆,近期也有工作开始关注下游记忆使用。可真实群聊提出的问题更复杂:同一条信息可能由不同成员补充,安排会随讨论更新,一项回复还可能同时受多个人的约束。
GroupAssistBench的数据取自真实部署群助手的互动,保留了自然发生的话题切换、状态变化和多人信息交织,评测则分成两个相互关联的任务层级。
L1与L2:从回答事实,到完成服务
L1记忆召回有明确的参考事实,比如“最初约定哪天出发”。L2记忆使用则要求完成服务,比如“帮大家发出行与购票提醒”,答案没有固定措辞,却必须遵守有效的历史决定和成员要求。两类题目分别有1,374道和1,021道。
研究又按所依赖的记忆结构划分出M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其要识别:旧决定何时被新决定取代,哪些成员的约束仍然适用。这些类别描述的是信息依赖形式,并非简单按难度排序。

△评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。
每个问题,必须真正依赖历史
为了不让系统靠常识就蒙对答案,团队先对比“给历史”和“不给历史”两种情形下的回答,把真正依赖群聊记忆的请求挑出来;随后针对必需的事实设立记忆锚点(Memory Anchors),一一对应到来源消息和证据片段,并为每个锚点划定历史截止点,避免模型接触到提问之后才出现的信息。
数据做了匿名化处理并经过隐私审查,公开版本里不含原始群聊的身份信息。整个构建流程把程序规则、语义审查和人工核验结合起来;抽样核验时,95.8% 的题目被多数投票判为有效。

△数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。
服务没有标准答案,如何给分?
群助手帮大家安排活动、提醒购票或协调分歧时,合适的回复往往不止一种。简单字符串匹配判断不了服务是否真的满足历史约束。团队于是为每道L2题构建与对应历史证据绑定的定制评分准则(Rubric)。
这套 Rubric 包含三个部分:Grounding 看回答有没有把必要的历史事实说清楚;Service 看任务是否办成;Penalty 则针对违背已有决定、无视成员限制、拿过时信息作答这类错误进行扣分。拿购票提醒来说,既要采用新的日期,也得把相关人数、交通安排和个人座位偏好考虑进去;反过来,若把已经作废的日期当作最终安排,就该被扣分。
Penalty这套评分思路,还从真实用户对群助手的纠正里取经。研究者人工核验了60道L2题、180份回答中的1,152项准则判断;自动评判与人工多数票的结果一致率为89.3%。
497条配对记忆:事实找到了,为何还是用不上?
为避免把题型差异误读成记忆能力强弱,团队盯住了497条配对记忆——同一段历史,既被L1直接问到,也被某个L2服务真正依赖。这样一来,那些“已经想得起来”的记忆,进入服务环节后到底怎样了,就能看得清楚。
在受分析的外部记忆系统里,L1已召回、L2却未被判定有效使用的记忆,约36%压根没进L2模型的输入;剩下约64%虽然进了输入,回答中仍未被判定有效应用。这组比例只反映该类配对记忆的流向,不等于全部L2任务的失败率。
前一种情形,跟请求本身没给出明确检索线索有关:用户一句“帮大家安排一下”,不会逐条点明该翻哪些历史偏好。后一种则说明,证据递到模型面前,并不等于模型就懂得拿它约束当前回复。

△497条配对记忆的去向:对照L1召回成功的记忆,看它在L2中被应用、进了输入却未被判定应用,还是没进输入。
两种干预:把零散证据串成链,把历史要求变成硬约束
针对上面这些现象,团队试了两个轻量干预方向。RER(Relational Evidence Refinement)在检索之后梳理人物、事件、时间与决定之间的关联,必要时补上相关候选证据;ACB(Assistance Constraint Binding)则把拿到的事实整理成回复约束,写清主体、范围和当前有效状态。
实验里,RER把LightMem的L2平均分拉高6.28个百分点;ACB让xMemory和EverMemOS分别提升3.94和3.16个百分点。两者叠加后,LightMem、xMemory、EverMemOS的L2分数较各自基线分别上涨7.03、4.64和4.43个百分点。
这些结果说明,整理证据、把约束显式化,有可能改善记忆驱动的服务表现。不过两种机制各自独立贡献了多少,还得进一步拆开看,不能把提升一股脑归到“多找回几条记忆”头上。

△RER与ACB干预效果:比较关系证据整理、服务约束绑定以及两者组合在不同记忆系统上的提升表现。
从记住历史,到在合适的时机用上历史
真实群聊是Personal Agent和多用户助手的一块试验场。智能体承接的长期服务越来越多,记忆系统的价值就不只看“存了多少、搜得多快”,还要看它懂不懂何时该用、对谁适用、哪些信息已经作废。GroupAssistBench想做的,就是让这些差别能被观察、被分析、被比较。