腾讯元宝联合KCL发布群聊Agent基准:记住不等于会用

资讯 AI 应用前沿 全文 2554 字 · 约 7 分钟读完 配图 3 张 分类腾讯元宝腾讯智能体

腾讯元宝与伦敦国王学院团队推出GroupAssistBench,基于8万条真实群聊消息,评测AI助手在多人场景下的记忆能力。研究发现,能准确召回历史事实的模型,未必能在服务中正确使用这些信息。通过引入关系证据整理和约束绑定机制,可显著提升AI在复杂群聊中的实际表现。

所属频道 大厂动态智能体与 Agent国产大模型

为什么AI记住了日期,却还是发错了票?

想象一个九人的旅行群。大家最初商量好5月1日出发,后来因为有人请假,改成了4月30日。当你让AI助手帮忙提醒购票时,它却还在按5月1日通知所有人。

这种情况并不罕见。AI确实“记住”了群里的历史消息,但它没搞懂哪条信息才是当前有效的。在真实的群聊里,情况往往更复杂:谁想坐靠窗?谁的预算有限?哪些话只是随口一提,哪些已经成了最终决定?

文章配图

对于服务于多人的AI助手来说,难点不在于从海量消息里翻出旧账,而在于判断此刻该用谁的、哪一条记忆。

文章配图

针对这个痛点,腾讯元宝与伦敦国王学院(KCL)NLP团队合作,发布了首个基于真实群聊构建的Agent记忆基准——GroupAssistBench。他们整理了50个真实群聊中的80,299条历史消息,构建了2,395道评测题,目的很明确:看看现在的AI记忆系统,到底是真的“用得好”,还是仅仅“记得住”。

文章配图

两个层级的考验:从回忆事实到完成任务

以往的Agent记忆评测,大多像考试一样问一些事实性问题,比如“群里之前说几点见面?”这种测试只能证明AI有没有把信息存下来。但GroupAssistBench把评测分成了两个层级,更贴近真实使用场景。

第一层是L1记忆召回。这部分有标准答案,比如确认最初的出发日期。这类题目共有1,374道,主要考察AI能不能从杂乱的历史消息中精准定位到关键事实。

第二层是L2开放式服务。这才是重头戏,共有1,021道题。题目要求AI完成具体任务,比如“帮大家发出行与购票提醒”。这里没有固定的标准措辞,但AI必须遵守所有有效的历史决定和成员限制。如果它忽略了某人的座位偏好,或者用了过期的日期,就算失败。

为了进一步细化分析,研究团队还根据记忆依赖的结构,将题目分为三类:

  • M1单条记忆:只需要用到某一条特定信息。
  • M2多记忆整合:需要综合多条信息,比如结合出发时间和每个人的空闲时段。
  • M3更新与冲突处理:这是最难的,需要识别旧决定何时被新决定取代,以及哪些人的约束依然有效。

值得注意的是,这些分类并非简单的难度排序,而是描述信息依赖的不同形式。

数据是怎么来的?确保每道题都“非查不可”

为了避免AI靠常识猜对答案,团队在构建数据集时非常谨慎。他们先比较了“提供历史消息”和“不提供历史消息”两种情况下模型的回复,只有那些确实需要查阅群聊记录才能回答的请求,才会被选入评测。

对于每个入选的问题,团队建立了“记忆锚点”(Memory Anchors),精确指向来源消息和证据片段。同时,设置了严格的历史截止点,防止模型偷看提问之后的信息。

所有数据都经过匿名化和隐私审查,公开版本不包含任何个人身份信息。构建过程结合了程序规则、语义审查和人工核验。在抽样核验中,95.8%的题目被判定为有效,保证了基准的可靠性。

评分难题:服务没有标准答案怎么办?

在L2任务中,AI帮人安排活动或协调分歧,回复方式可以多种多样。简单的字符串匹配根本没法判断服务是否达标。

为此,团队为每道L2题定制了一套评分准则(Rubric)。这套准则包含三个部分:

  1. Grounding(依据):检查回答是否明确体现了必要的历史事实。
  2. Service(服务):检查任务是否真正完成。
  3. Penalty(惩罚):对违反现有决定、忽视成员限制或使用过时信息等错误进行扣分。

例如,在购票提醒任务中,如果AI采用了新日期,但忽略了某人的座位偏好,就会受到惩罚;如果把已作废的旧日期当成最终安排,惩罚会更重。

这套自动评判系统靠谱吗?团队用60道L2题、180份回答中的1,152项准则判断进行了人工核验。结果显示,自动评判与人工多数投票的一致率达到89.3%,证明其具有较高的可信度。

核心发现:更会回忆,并不必然更会服务

研究团队比较了完整上下文、检索增强和外部记忆等14组配置。结果出现了一个有趣的反差:

在L1记忆召回评测中,EverMemOS得分为0.621,高于使用相同任务模型的完整上下文(0.570)。这说明它在“找信息”方面更强。

但在L2开放式服务评测中,EverMemOS得分仅为0.247,反而低于完整上下文的0.431。

这意味着,能把事实找出来,不代表能在服务中用好这些事实。

为了搞清楚原因,团队追踪了497条“配对记忆”——即同一段历史既被L1直接询问,也被某项L2服务所依赖。分析发现,在L1已召回但L2未被判定有效使用的记忆中:

  • 约36%根本没有进入L2模型的输入。这通常是因为用户指令模糊,比如只说“帮大家安排一下”,没有给出明确的检索线索。
  • 其余约64%虽然进入了输入,但模型没有在回答中有效应用。这说明,即便证据摆在面前,模型也不知道该如何用它来约束当前的回复。

两种干预手段:让记忆真正发挥作用

针对上述问题,团队探索了两个轻量级的干预方向:

  1. RER(关系证据整理):在检索后,梳理人物、事件、时间及决定之间的关系,并在需要时补充相关候选证据。实验显示,RER让LightMem的L2平均分提高了6.28个百分点。
  2. ACB(服务约束绑定):将获得的事实整理为具有主体、范围和当前有效状态的回复约束。ACB让xMemory和EverMemOS的L2分数分别提高了3.94和3.16个百分点。

当两者组合使用时,效果更明显:LightMem、xMemory和EverMemOS的L2分数相对各自基线分别提高了7.03、4.64和4.43个百分点。

这些结果表明,通过整理证据和显式化约束,可以显著改善记忆驱动的服务表现。但这并不意味着只要多找回几条记忆就能解决问题,关键在于如何处理和使用这些信息。

结语

随着智能体开始承担更多长期服务,记忆系统的价值不再仅仅是“存了多少”或“搜得多快”,更取决于它能否理解何时使用、对谁适用、以及哪些信息已失效。

GroupAssistBench的出现,让这种差异变得可观察、可分析、可比较。它提醒开发者们:在构建多用户AI助手时,不要只盯着召回率,更要关注记忆在实际服务中的落地效果。毕竟,用户需要的不是一个只会背书的机器人,而是一个真正懂规矩、能办事的助手。

目前,论文已在arXiv公开,代码和数据集也已开放,供社区进一步研究和改进。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 豆包网页版上线Agent工作模式:八大功能覆盖PPT生成与AI搜索

    本文介绍豆包AI网页版的访问方式及2026年最新升级的Agent工作模式。该模式支持自主拆解任务、操作浏览器及生成文档。文章详细解析了PPT制作、图像生成、深度搜索等八大实用功能,并结合QuestMobile数据探讨其用户规模,为不同场景用户提供具体操作建议。

    来源 AI 应用前沿
  2. 苹果自研Agent:3个岗位曝光,最快明年推出

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月20日消息,今日,据彭博社报道,苹果正自研Agent,并于11月17日至19日陆续发布3个相关招聘岗位,进一步披露其研发计划。苹果希望借此进入快速增长的Agent市场,与早已占据先发优势的OpenAI、Anthropic和Meta等科技公司展开竞

    来源 腾讯网
  3. 阿里夏温武AICon北京演讲:TaoDesign如何把设计资产变成Agent知识

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  4. OpenAI内部Agent开销曝光:研究员日均消耗2400美元

    OpenAI的研究员,现在用AI已经用到什么程度了? 人均每天调用的Agent,按API标价折算,居然能值2400美元?! 用得最猛的那10%研究员,单日使用量甚至能达到2.3万美元(约16万人民币)。 嘶……这帮研究员用起AI来,是真一点都不心疼Token啊。 OpenAI公开了最新内部Agent研究报告《Resea

    来源 AI 行业观察
  5. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  6. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  7. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  8. 亚马逊拦下Grok Bot:马斯克回应,网友帮忙起名

    新智元报道 AI刚学会替你干活,亚马逊、摩根大通、嘉信理财就开始堵门了!10月18日,@trikcode在X上列出了一份「AI碰壁清单」,点名达美航空、摩根大通、嘉信理财、Yelp和亚马逊。他吐槽:那些本该替我们搞定一切的AI智能体,开始被互联网挡在门外。人愿意买,AI愿意跑腿,但最后一公里却卡在了平台不肯放行上!而亚

    来源 腾讯网
  9. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  10. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  11. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  12. DeepSeek V1作者Tony Zhang创业做Linger:12GB显存本地跑125B模型

    前DeepSeek核心成员Tony Zhang公布新项目Linger,主打本地部署的个人AI助理。通过PolyStrata引擎优化,普通游戏本也能流畅运行125B参数大模型。系统开源,强调数据隐私与主动学习能力,能自动整理知识库并操作电脑应用。

    来源 AI 应用前沿
  13. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  14. 26B参数循环Transformer模型Inkling 2 Mini开源,支持本地离线运行

    Thinking Machines Lab发布Inkling 2 Mini,采用循环Transformer架构,总参数26B。该模型支持文本和图像输入,可在配备32GB内存的MacBook上离线运行智能体任务,如编写代码或驱动虚拟角色。权重已按Apache 2.0许可开放,适合开发者部署本地编程助手。

    来源 AI 应用前沿
  15. 腾讯混元Hy4 Flash实测:35分钟出可玩游戏,API价压过DeepSeek

    腾讯新发布的混元Hy4 Flash模型在速度与成本上表现激进。实测显示,它能在十几分钟内完成3D场景建模、增量游戏开发及财报分析,API价格仅为竞品的一半。通过混合注意力与Engram记忆模块等技术优化,该模型在保持高智能水平的同时,将推理成本压缩至旗舰模型的二十分之一,适合处理高频日常办公任务。

    来源 AI 应用前沿
向下滚动自动加载更多