腾讯元宝联合KCL发布GroupAssistBench:8万条群聊消息考验Agent记忆

资讯 腾讯网 作者:量子位 全文 2936 字 · 约 8 分钟读完 分类腾讯元宝腾讯智能体

腾讯元宝×伦敦国王学院NLP团队 投稿 量子位 | 公众号QbitAI 一个九人出行群,最初商定5月1日出发,后来又改为4月30日。等到有人请AI助手发布购票提醒,它很可能还按旧....

所属频道 大厂动态智能体与 Agent国产大模型

腾讯元宝与伦敦国王学院NLP团队联合投稿,量子位旗下公众号QbitAI发布。

想象一个九人出行群:起初说好5月1日动身,后来改成4月30日。有人让AI助手发购票提醒,它很可能仍旧按老日期去通知。历史是“记住”了,可这个群并没有被真正服务好。

群聊里还有更隐蔽的门道:谁要坐靠窗,谁卡着预算,哪些安排只是提议,哪些已经拍板成了共同决定。AI助手要服务一群人,光把记忆找回来不够,还得判断此刻该用谁的、哪一条记忆。

腾讯元宝和伦敦国王学院NLP团队为此联手做了GroupAssistBench。他们以50个真实群聊、80,299条历史消息为基础,搭出2,395道评测题,用来检验Agent记忆能不能从“记得住”跨到“用得好”。

团队对比了完整上下文、检索增强、外部记忆等14组配置,其中一组反差颇有代表性:EverMemOS在L1记忆召回上拿到0.621,高过同一任务模型下完整上下文的0.570;可到了L2开放式服务,它只有0.247,完整上下文则是0.431。可见回忆更在行,不等于服务更在行。

论文已经在arXiv公开,代码和数据集同样对外开放。△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。

从一段群聊到两种考验:记忆找得到,也要用得对

以往的Agent Memory评测多用事实问答来查历史回忆,近来也有研究把目光转向下游的记忆使用。真实群聊却抛出更麻烦的题目:同一条信息可能由不同成员陆续补上,安排会随讨论变,一句回复还可能同时被好几个人约束。GroupAssistBench的数据取自真实部署群助手时的互动,自然发生的话题切换、状态变化和多人信息交织都被保留下来,评测则拆成两个彼此关联的任务层级。

L1与L2:从回答事实,到完成服务

L1记忆召回有明确的事实参考答案,比如“最初约定哪天出发”;L2记忆使用要的是把服务做完,比如“帮大家发出行与购票提醒”,措辞没有固定答案,但必须守住有效的历史决定和成员要求。两类题目分别是1,374道和1,021道。团队又按所依赖的记忆结构分出M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其要判断:旧决定什么时候被新决定顶替,哪些成员的约束依然算数。这些类别讲的是信息依赖的形式,并不是简单按难易排座次。

△评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。

每个问题,必须真正依赖历史

怕系统光靠常识就能蒙对,团队先拿“给历史”和“不给历史”两种回答作对比,筛出确实离不开群聊记忆的请求;接着为必需事实建立记忆锚点(Memory Anchors),把来源消息和证据片段定位出来,并为各题设好历史截止点,免得模型读到提问之后的信息。数据做了匿名化和隐私审查,公开版本不含原始群聊身份信息。构建过程把程序规则、语义审查和人工核验结合起来;抽样核验里,95.8%的题目经多数投票被判为有效。

△数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。

服务没有标准答案,如何给分?

群助手替大家安排活动、提醒购票或者调和分歧时,合适的回复往往不止一种。光靠字符串匹配,判断不了服务有没有真的满足历史约束。于是团队给每道L2题都配了一套定制评分准则(Rubric),与对应的历史证据绑定。这套Rubric分三块:Grounding看回答有没有明确体现必要的历史事实;Service看任务是否完成;Penalty则针对违反现有决定、忽略成员限制、拿过时信息说事之类的错误扣分。举例来说,购票提醒既要用上新日期,也得照顾到相关人数、交通安排和个人座位偏好;要是把已作废的日期当成最终安排,就该挨罚。

Penalty这项设计还参考了真实用户对群助手的纠正反馈。研究用60道L2题、180份回答里的1,152项准则判断做了人工核验,结果显示自动评判与人工多数票的一致率为89.3%。

497条配对记忆:事实找到了,为什么没用上?

为避免把不同题型的差距误读成记忆能力的差异,研究追踪了497条配对记忆:同一段历史,既被L1直接问过,也被某项L2服务真实依赖过。这样一来,就能看清那些“已经回忆得出”的记忆,到了服务环节到底经历了什么。

在所分析的外部记忆系统中,一部分记忆L1已召回、L2却未被判定有效使用。这类记忆里,约36%压根没进入L2模型的输入;剩下约64%虽然进了输入,但回答中没有被判定为有效应用。这些百分比只描述该类配对记忆的去向,并非全部L2任务的失败率。

前一种情况,跟请求里缺少明确的检索线索有关——用户说一句“帮大家安排一下”,并不会逐条指出该翻哪些历史偏好。后一种则说明,证据递到了模型手上,不代表它就知道该拿这些证据怎么约束当前的回复。

△497条配对记忆的去向:比较L1召回成功的记忆,在L2中是否被应用、虽进入输入却未被判定应用,或未进入输入。

两种干预:把零散证据串起来,把历史要求变成约束

针对上面这些现象,团队试了两个轻量干预方向。RER(Relational Evidence Refinement)在检索之后梳理人物、事件、时间与决定之间的关系,需要时再补上相关候选证据;ACB(Assistance Constraint Binding)则把已拿到的事实整理成回复约束,写清主体、范围和当前有效状态。

实验里,RER让LightMem的L2平均分涨了6.28个百分点;ACB让xMemory与EverMemOS分别提高3.94和3.16个百分点。两者组合后,LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高7.03、4.64和4.43个百分点。

这些结果说明,整理证据、把约束显式化,有望改善记忆驱动的服务表现。不过两种机制各自的独立贡献还需进一步细分,不能把全部提升都简单归到“多找回了几条记忆”上。

△RER与ACB干预效果:对比关系证据整理、服务约束绑定及二者组合在不同记忆系统上的表现提升。

从记住历史,到在正确的时候使用历史

真实群聊是Personal Agent和多用户助手的一块试验场。智能体开始承担更多长期服务后,记忆系统的价值就不只看“存了多少、搜得多快”,还要看它能不能理解何时使用、对谁适用、哪些信息已经失效。GroupAssistBench想做的,就是让这种差异可以被观察、分析和比较。

论文链接:https://arxiv.org/abs/2611.04867 Hugging Face论文:https://huggingface.co/papers/2611.04867 代码:https://github.com/Tencent/GroupAssistBench 数据集:https://huggingface.co/datasets/tencent/GroupAssistBench 项目主页:https://zhanghao-groupassisbench.github.io/

欢迎在评论区留下你的想法!

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  2. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  3. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
  4. 豆包工作,把 Agent 干活成本打下来

    处理不少日常任务,成本已经低到几乎可以忽略不计。 作者: GaKi 编辑: Koji‍ 排版: NCon豆包工作的「豆姐」,终于换头像了,新版看起来更加干练,颇有几分职场人的感觉:换头像的同时,豆包工作还公布了一组数据:上线三个月,DAU 突破 800 万,企业客户 ARR 突破 20 亿元。与此同时,豆包工作还对模型

    来源 腾讯网
  5. 阿里夏温武AICon北京演讲:TaoDesign如何把设计资产变成Agent知识

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  6. 亚马逊封堵AI购物助手,马斯克放话:也许该做个对手

    AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了! 10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。 他吐槽: 那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。 人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上! 而亚马

    来源 AI 行业观察
  7. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  8. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  9. 姚顺雨回清华姚班讲座:台下坐的AI骨干,多是同门师兄弟

    文/凯斯编辑/章鱼本周三,腾讯首席AI科学家姚顺雨回清华姚班做讲座。次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他...

    来源 腾讯网
  10. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  11. 豆包网页版上线Agent工作模式:八大功能覆盖PPT生成与AI搜索

    本文介绍豆包AI网页版的访问方式及2026年最新升级的Agent工作模式。该模式支持自主拆解任务、操作浏览器及生成文档。文章详细解析了PPT制作、图像生成、深度搜索等八大实用功能,并结合QuestMobile数据探讨其用户规模,为不同场景用户提供具体操作建议。

    来源 AI 应用前沿
  12. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  13. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
向下滚动自动加载更多