腾讯元宝×KCL:首个群聊Agent记忆基准发布

资讯 量子位 作者:衡宇 全文 2670 字 · 约 7 分钟读完 配图 6 张 分类腾讯元宝腾讯智能体

8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准 衡宇 3分钟前

所属频道 大厂动态智能体与 Agent国产大模型

腾讯元宝与伦敦国王学院NLP团队联合推出GroupAssistBench,这是首个基于群聊构建的Agent记忆基准。

一个九人出行群里,大家起初说好5月1日出发,后来改成4月30日。有人让AI助手发购票提醒,它很可能照旧日期通知。

历史是“记住”了,可这个群并没被服务好。

群聊场景里还藏着更隐蔽的要求:谁要坐靠窗位,谁卡预算,哪些安排只是提议,哪些已经成了共同决定。

AI助手要服务一群人,光把记忆找回来不够,还得判断此刻该用谁的哪条记忆。

针对这一点,腾讯元宝与伦敦国王学院NLP团队构建了GroupAssistBench。研究基于50个真实群聊、80,299条历史消息,做出2,395道评测题,考察Agent记忆能否从“记得住”走到“用得好”。

团队对比了完整上下文、检索增强和外部记忆等14组配置。一个颇有代表性的反差是:EverMemOS在L1记忆召回评测中拿到0.621分,高于使用相同任务模型的完整上下文0.570分;到了L2开放式服务评测,它只有0.247分,低于完整上下文的0.431分。

更会回忆,不等于更会服务。

论文已在arXiv公开,代码和数据集也已开放。

腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 1)
腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 2)

△14组配置的主实验结果:左侧为L1记忆召回,右侧为L2开放式服务。比较应在各自指标内部进行。

从一段群聊到两种考验:记忆找得到,也要用得对

已有的Agent Memory评测常靠事实问答检验历史回忆,近期也有工作开始关注下游记忆使用。可真实群聊提出的问题更复杂:同一条信息可能由不同成员补充,安排会随讨论更新,一项回复还可能同时受多个人的约束。

GroupAssistBench的数据取自真实部署群助手的互动,保留了自然发生的话题切换、状态变化和多人信息交织,评测则分成两个相互关联的任务层级。

L1与L2:从回答事实,到完成服务

L1记忆召回有明确的参考事实,比如“最初约定哪天出发”。L2记忆使用则要求完成服务,比如“帮大家发出行与购票提醒”,答案没有固定措辞,却必须遵守有效的历史决定和成员要求。两类题目分别有1,374道和1,021道。

研究又按所依赖的记忆结构划分出M1单条记忆、M2多记忆整合、M3更新与冲突处理。M3尤其要识别:旧决定何时被新决定取代,哪些成员的约束仍然适用。这些类别描述的是信息依赖形式,并非简单按难度排序。

腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 3)

△评测框架总览:基于同一群聊历史构建L1事实回忆与L2开放式服务题,并按单记忆、多记忆和更新冲突划分依赖类型。

每个问题,必须真正依赖历史

为了不让系统靠常识就蒙对答案,团队先对比“给历史”和“不给历史”两种情形下的回答,把真正依赖群聊记忆的请求挑出来;随后针对必需的事实设立记忆锚点(Memory Anchors),一一对应到来源消息和证据片段,并为每个锚点划定历史截止点,避免模型接触到提问之后才出现的信息。

数据做了匿名化处理并经过隐私审查,公开版本里不含原始群聊的身份信息。整个构建流程把程序规则、语义审查和人工核验结合起来;抽样核验时,95.8% 的题目被多数投票判为有效。

腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 4)

△数据构建流程:筛选确实依赖历史的请求,定位记忆锚点,构建评测问题,再通过规则与人工核验把关。

服务没有标准答案,如何给分?

群助手帮大家安排活动、提醒购票或协调分歧时,合适的回复往往不止一种。简单字符串匹配判断不了服务是否真的满足历史约束。团队于是为每道L2题构建与对应历史证据绑定的定制评分准则(Rubric)。

这套 Rubric 包含三个部分:Grounding 看回答有没有把必要的历史事实说清楚;Service 看任务是否办成;Penalty 则针对违背已有决定、无视成员限制、拿过时信息作答这类错误进行扣分。拿购票提醒来说,既要采用新的日期,也得把相关人数、交通安排和个人座位偏好考虑进去;反过来,若把已经作废的日期当作最终安排,就该被扣分。

Penalty这套评分思路,还从真实用户对群助手的纠正里取经。研究者人工核验了60道L2题、180份回答中的1,152项准则判断;自动评判与人工多数票的结果一致率为89.3%。

497条配对记忆:事实找到了,为何还是用不上?

为避免把题型差异误读成记忆能力强弱,团队盯住了497条配对记忆——同一段历史,既被L1直接问到,也被某个L2服务真正依赖。这样一来,那些“已经想得起来”的记忆,进入服务环节后到底怎样了,就能看得清楚。

在受分析的外部记忆系统里,L1已召回、L2却未被判定有效使用的记忆,约36%压根没进L2模型的输入;剩下约64%虽然进了输入,回答中仍未被判定有效应用。这组比例只反映该类配对记忆的流向,不等于全部L2任务的失败率。

前一种情形,跟请求本身没给出明确检索线索有关:用户一句“帮大家安排一下”,不会逐条点明该翻哪些历史偏好。后一种则说明,证据递到模型面前,并不等于模型就懂得拿它约束当前回复。

腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 5)

△497条配对记忆的去向:对照L1召回成功的记忆,看它在L2中被应用、进了输入却未被判定应用,还是没进输入。

两种干预:把零散证据串成链,把历史要求变成硬约束

针对上面这些现象,团队试了两个轻量干预方向。RER(Relational Evidence Refinement)在检索之后梳理人物、事件、时间与决定之间的关联,必要时补上相关候选证据;ACB(Assistance Constraint Binding)则把拿到的事实整理成回复约束,写清主体、范围和当前有效状态。

实验里,RER把LightMem的L2平均分拉高6.28个百分点;ACB让xMemory和EverMemOS分别提升3.94和3.16个百分点。两者叠加后,LightMem、xMemory、EverMemOS的L2分数较各自基线分别上涨7.03、4.64和4.43个百分点。

这些结果说明,整理证据、把约束显式化,有可能改善记忆驱动的服务表现。不过两种机制各自独立贡献了多少,还得进一步拆开看,不能把提升一股脑归到“多找回几条记忆”头上。

腾讯元宝×KCL:首个群聊Agent记忆基准发布(配图 6)

△RER与ACB干预效果:比较关系证据整理、服务约束绑定以及两者组合在不同记忆系统上的提升表现。

从记住历史,到在合适的时机用上历史

真实群聊是Personal Agent和多用户助手的一块试验场。智能体承接的长期服务越来越多,记忆系统的价值就不只看“存了多少、搜得多快”,还要看它懂不懂何时该用、对谁适用、哪些信息已经作废。GroupAssistBench想做的,就是让这些差别能被观察、被分析、被比较。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果招聘曝光AI Agent计划:Siri要从动嘴变动手?

    苹果招聘信息透露,公司正开发可跨应用操作、独立规划并执行多步骤任务的 AI Agent,并强调隐私与权限管理。据彭博社报道,项目仍处早期阶段。面对已积累用户与收入的竞争对手,苹果正争夺下一代计算入口。

    来源 爱范儿
  2. 苹果押注自主式AI Agent:Siri要从动嘴变动手

    Siri 可能终于要从「动嘴」进化到「动手」了。让 Siri 查天气、设置闹钟、打开应用,早已不是什么新鲜事。但如果你现在让它安排一次出差,查好机票和酒店,再根据日历整理行程,恐怕还是得自己动手。苹果最近的一系列动作,透露了它想改变这种状况的野心。11 月中旬,苹果官网出现了两则与自主式 AI Agent 有关的招聘信

    来源 腾讯网
  3. 苹果自研Agent:3个岗位曝光,最快明年推出

    智东西(公众号:zhidxcom)编译 | 黄菲编辑 | 江宇智东西11月20日消息,今日,据彭博社报道,苹果正自研Agent,并于11月17日至19日陆续发布3个相关招聘岗位,进一步披露其研发计划。苹果希望借此进入快速增长的Agent市场,与早已占据先发优势的OpenAI、Anthropic和Meta等科技公司展开竞

    来源 腾讯网
  4. 阿里夏温武AICon北京演讲:TaoDesign如何把设计资产变成Agent知识

    当 Agent 真正进入企业流程,哪些工作可以交给 AI ?50 + 实战案例揭晓答案! AI 正在从回答问题的辅助工具,走向理解目标、调用系统、完成任务的工作承担者。当 Agent 真正进入企业流程,问题不再是 “如何把 AI 做出来”,而是哪些工作可以交给 AI、结果如何验收、权限、成本与风险如何收住。随着大模型向

    来源 AI 行业观察
  5. OpenAI开放GPT-Live-1.1 API:实时双向对话,智能体边聊边干活

    OpenAI 今日宣布向开发者开放 GPT-Live-1.1 API 语音模型,允许第三方开发者将其集成到自己的应用程序中,构建能够实时聆听、回应并执行复杂任务的 AI 语音智能体。 据 OpenAI 介绍,GPT-Live-1.1 是 GPT-Live-1 的升级版本,具备全双工语音交互能力,可以

    来源 AI 开发者社区
  6. ARTEX开源:AI Agent驱动渗透测试,Planner与Worker如何分工

    ARTEX 是一个基于 LLM Agent 的自动化渗透测试平台,采用 Go 和 Next.js 构建。它通过 Planner 和 Worker 协作,自动梳理资产、生成攻击向量并记录流量。本文介绍其核心架构、部署流程及在授权测试中的实际应用,强调人工复核的重要性。

    来源 AI 应用前沿
  7. 腾讯混元AMA回应算力瓶颈:下一代Hy模型将大幅扩容

    智东西11月21日报道,今天凌晨,腾讯混元团队在社交媒体平台Reddit举行了一场AMA活动,与全球开发者围绕Hy4系列模型展开交流。姚顺雨也出现在了评论区,只是哪个是他的马甲我们不得而知。 ▲姚顺雨在X预告本次Reddit AMA活动(图源:X) 此次AMA处于一个非常有趣的时间点。 就在昨天,腾讯刚刚开放旗舰模型H

    来源 AI 行业观察
  8. 中国开源模型的「最大甲方」有了

    作者 | 郑敏芳互联网大厂们正在成为开源大模型的新甲方。腾讯总裁刘炽平在三季度业绩电话会上透露,WorkBuddy已成为中国几乎所有开放权重模型的最大客户。这可能只是一个开始。近期,国内头部办公Agent密集调整产品策略。继腾讯WorkBuddy率先采用多模型路线后,字节跳动旗下豆包工作接连扩大第三方模型接入范围,阿里

    来源 腾讯网
  9. alphaXiv上线AI Agent专属预印本服务器:936个Agent自组学术圈

    有点不可思议,AI Agent 已经开始组团搞科研了。近日,alphaXiv 推出了一个专门面向 AI Agent 的预印本服务器,允许不同实验室的 Agent 在同一个平台上自主开展研究、交流成果。这些 Agent 会提出假设、设计实验、运行代码、分析数据,还会把研究成果写成论文,提交给其他 Agent 审查。更有意

    来源 腾讯网
  10. 豆包网页版上线Agent工作模式:八大功能覆盖PPT生成与AI搜索

    本文介绍豆包AI网页版的访问方式及2026年最新升级的Agent工作模式。该模式支持自主拆解任务、操作浏览器及生成文档。文章详细解析了PPT制作、图像生成、深度搜索等八大实用功能,并结合QuestMobile数据探讨其用户规模,为不同场景用户提供具体操作建议。

    来源 AI 应用前沿
  11. 苹果招兵买马做AI Agent:Muse的领跑位置还稳吗

    苹果近期密集招聘AI工程人才,重点开发多Agent协调、长周期推理和工具调用系统。Meta旗下Muse上线后迅速登上苹果应用商店免费榜第二,摩根大通看好其吸引数亿商家、拓展电商变现的潜力。苹果若将AI Agent整合进iOS,或凭借系统入口和用户规模对Muse形成直接竞争。

    来源 华尔街见闻
  12. 豆包工作,把 Agent 干活成本打下来

    处理不少日常任务,成本已经低到几乎可以忽略不计。 作者: GaKi 编辑: Koji‍ 排版: NCon豆包工作的「豆姐」,终于换头像了,新版看起来更加干练,颇有几分职场人的感觉:换头像的同时,豆包工作还公布了一组数据:上线三个月,DAU 突破 800 万,企业客户 ARR 突破 20 亿元。与此同时,豆包工作还对模型

    来源 腾讯网
  13. Gemini 4 翻身背后:SemiAnalysis 填表道歉,Hassabis 接梗回应

    Google DeepMind通过组织调整、算力重新分配和训练体系升级,在短短七周内连续推出四款Gemini 4模型。依托大规模预训练、多线并行研发和真实工程场景的强化学习训练,Gemini在编程和Agent能力上实现突破,重返行业第一梯队,此前唱衰Google的SemiAnalysis也公开致歉。

    来源 华尔街见闻
  14. Gemini 4 翻身记:SemiAnalysis 补交道歉表,Hassabis 接梗

    曾断言 Gemini 掉队的研究机构 SemiAnalysis,在 Gemini 4 系列密集发布后向 Google 公开致歉。文章梳理 DeepMind 的组织调整、算力分配与长期研发积累,解析真实工程任务驱动的后训练如何提升编程和智能体能力。

    来源 爱范儿
  15. 姚顺雨回清华姚班讲座:全球AI骨干多出同门

    11月18日,腾讯首席AI科学家姚顺雨回清华姚班做讲座。 次日一早,这次讲座就被互联作为佐证北京的“AI浓度”的新注脚。 但其实,说是“北京AI浓度”,范围还是太大了。要看AI人才有多集中,镜头完全可以从北京拉近到海淀,再从海淀拉近到清华姚班。 科技新闻里,姚顺雨的名字前面总跟着一长串头衔。在清华姚班他还有一个更接地气

    来源 AI 行业观察
  16. AMD XDNA2 NPU 率先获得 Unsloth Desktop 适配,支持超百款智能体

    IT之家 11 月 20 日消息,AMD 当地时间 19 日宣布,其锐龙 AI 处理器上的 "XDNA 2" NPU 成为首款获得 Unsloth Desktop 本地界面支持的神经网络处理器。 具体来看,兼容的应用程序向 Unsloth Desktop API 发送模型请求,而 Lemonade 和 FastFlow

    来源 AI 行业观察
向下滚动自动加载更多