腾讯元宝联合KCL发布GroupAssistBench:8万条群聊消息考验Agent记忆
腾讯元宝×伦敦国王学院NLP团队 投稿 量子位 | 公众号QbitAI 一个九人出行群,最初商定5月1日出发,后来又改为4月30日。等到有人请AI助手发布购票提醒,它很可能还按旧....
腾讯元宝与伦敦国王学院NLP团队联合投稿,量子位旗下公众号QbitAI发布。
想象一个九人出行群:起初说好5月1日动身,后来改成4月30日。有人让AI助手发购票提醒,它很可能仍旧按老日期去通知。历史是“记住”了,可这个群并没有被真正服务好。
群聊里还有更隐蔽的门道:谁要坐靠窗,谁卡着预算,哪些安排只是提议,哪些已经拍板成了共同决定。AI助手要服务一群人,光把记忆找回来不够,还得判断此刻该用谁的、哪一条记忆。
腾讯元宝和伦敦国王学院NLP团队为此联手做了GroupAssistBench。他们以50个真实群聊、80,299条历史消息为基础,搭出2,395道评测题,用来检验Agent记忆能不能从“记得住”跨到“用得好”。
团队对比了完整上下文、检索增强、外部记忆等14组配置,其中一组反差颇有代表性:EverMemOS在L1记忆召回上拿到0.621,高过同一任务模型下完整上下文的0.570;可到了L2开放式服务,它只有0.247,完整上下文则是0.431。可见回忆更在行,不等于服务更在行。
论文已经在arXiv公开,代码和数据集同样对外开放。△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。
从一段群聊到两种考验:记忆找得到,也要用得对
以往的Agent Memory评测多用事实问答来查历史回忆,近来也有研究把目光转向下游的记忆使用。真实群聊却抛出更麻烦的题目:同一条信息可能由不同成员陆续补上,安排会随讨论变,一句回复还可能同时被好几个人约束。GroupAssistBench的数据取自真实部署群助手时的互动,自然发生的话题切换、状态变化和多人信息交织都被保留下来,评测则拆成两个彼此关联的任务层级。
L1与L2:从回答事实,到完成服务
L1记忆召回有明确的事实参考答案,比如“最初约定哪天出发”;L2记忆使用要的是把服务做完,比如“帮大家发出行与购票提醒”,措辞没有固定答案,但必须守住有效的历史决定和成员要求。两类题目分别是1,374道和1,021道。团队又按所依赖的记忆结构分出M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其要判断:旧决定什么时候被新决定顶替,哪些成员的约束依然算数。这些类别讲的是信息依赖的形式,并不是简单按难易排座次。
△评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。
每个问题,必须真正依赖历史
怕系统光靠常识就能蒙对,团队先拿“给历史”和“不给历史”两种回答作对比,筛出确实离不开群聊记忆的请求;接着为必需事实建立记忆锚点(Memory Anchors),把来源消息和证据片段定位出来,并为各题设好历史截止点,免得模型读到提问之后的信息。数据做了匿名化和隐私审查,公开版本不含原始群聊身份信息。构建过程把程序规则、语义审查和人工核验结合起来;抽样核验里,95.8%的题目经多数投票被判为有效。
△数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。
服务没有标准答案,如何给分?
群助手替大家安排活动、提醒购票或者调和分歧时,合适的回复往往不止一种。光靠字符串匹配,判断不了服务有没有真的满足历史约束。于是团队给每道L2题都配了一套定制评分准则(Rubric),与对应的历史证据绑定。这套Rubric分三块:Grounding看回答有没有明确体现必要的历史事实;Service看任务是否完成;Penalty则针对违反现有决定、忽略成员限制、拿过时信息说事之类的错误扣分。举例来说,购票提醒既要用上新日期,也得照顾到相关人数、交通安排和个人座位偏好;要是把已作废的日期当成最终安排,就该挨罚。
Penalty这项设计还参考了真实用户对群助手的纠正反馈。研究用60道L2题、180份回答里的1,152项准则判断做了人工核验,结果显示自动评判与人工多数票的一致率为89.3%。
497条配对记忆:事实找到了,为什么没用上?
为避免把不同题型的差距误读成记忆能力的差异,研究追踪了497条配对记忆:同一段历史,既被L1直接问过,也被某项L2服务真实依赖过。这样一来,就能看清那些“已经回忆得出”的记忆,到了服务环节到底经历了什么。
在所分析的外部记忆系统中,一部分记忆L1已召回、L2却未被判定有效使用。这类记忆里,约36%压根没进入L2模型的输入;剩下约64%虽然进了输入,但回答中没有被判定为有效应用。这些百分比只描述该类配对记忆的去向,并非全部L2任务的失败率。
前一种情况,跟请求里缺少明确的检索线索有关——用户说一句“帮大家安排一下”,并不会逐条指出该翻哪些历史偏好。后一种则说明,证据递到了模型手上,不代表它就知道该拿这些证据怎么约束当前的回复。
△497条配对记忆的去向:比较L1召回成功的记忆,在L2中是否被应用、虽进入输入却未被判定应用,或未进入输入。
两种干预:把零散证据串起来,把历史要求变成约束
针对上面这些现象,团队试了两个轻量干预方向。RER(Relational Evidence Refinement)在检索之后梳理人物、事件、时间与决定之间的关系,需要时再补上相关候选证据;ACB(Assistance Constraint Binding)则把已拿到的事实整理成回复约束,写清主体、范围和当前有效状态。
实验里,RER让LightMem的L2平均分涨了6.28个百分点;ACB让xMemory与EverMemOS分别提高3.94和3.16个百分点。两者组合后,LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高7.03、4.64和4.43个百分点。
这些结果说明,整理证据、把约束显式化,有望改善记忆驱动的服务表现。不过两种机制各自的独立贡献还需进一步细分,不能把全部提升都简单归到“多找回了几条记忆”上。
△RER与ACB干预效果:对比关系证据整理、服务约束绑定及二者组合在不同记忆系统上的表现提升。
从记住历史,到在正确的时候使用历史
真实群聊是Personal Agent和多用户助手的一块试验场。智能体开始承担更多长期服务后,记忆系统的价值就不只看“存了多少、搜得多快”,还要看它能不能理解何时使用、对谁适用、哪些信息已经失效。GroupAssistBench想做的,就是让这种差异可以被观察、分析和比较。
论文链接:https://arxiv.org/abs/2611.04867 Hugging Face论文:https://huggingface.co/papers/2611.04867 代码:https://github.com/Tencent/GroupAssistBench 数据集:https://huggingface.co/datasets/tencent/GroupAssistBench 项目主页:https://zhanghao-groupassisbench.github.io/
欢迎在评论区留下你的想法!