Meta AI代理Muse被曝对话串台:员工看到他人银行账户余额

资讯 AI 科技快讯 作者:赢政天下 全文 2089 字 · 约 6 分钟读完 配图 2 张 分类Meta数据泄露金融 AI

TechCrunch报道称,Meta的AI代理Muse在内部使用中出现严重“串台”问题:员工称Muse会推送他们从未发出的育儿请求、从未咨询过的职业建议、从未下过的订单,甚至显示不属于他们的银行账户余额。这一事件暴露出AI代理在上下文隔离、记忆管理与权限控制上的系统性风险——当模型能“记住”并主动推送信息时,

所属频道 大厂动态行业落地政策与风险
Meta AI代理Muse被曝对话串台、泄露他人隐私
TechCrunch的报道提到,Meta内部使用的AI代理Muse出了严重的"串台"状况:有员工说,Muse会给他们推从没发过的育儿请求、从没问过的职业建议、从没下过的订单,界面上甚至冒出不属于他们的银行账户余额。上下文隔离、记忆管理、权限控制这几环的系统性风险,由此露了出来。模型一旦能"记住"并主动推送信息,麻烦就跟着来了。

AI代理从"聊天工具"变成能替你记事、替你办事的"数字同事",一个以前没被当回事的风险也就浮出水面:它可能把别人的日子,塞进你的对话框。

TechCrunch记者Aisha Malik的报道指出,Meta的AI代理Muse在部分场景里出现了明显的对话混淆和隐私暴露。多名员工反映,Muse呈现在他们面前的信息"不属于自己",其中有他们从未发出过的育儿照护请求、从未咨询过的职业发展建议、从未下过的商品订单,还有明显不属于他们的银行账户余额。

TechCrunch在报道中写道:"有些情况下,Muse会推送员工从未发出的育儿请求、从未咨询过的职业建议、从未下过的订单,以及不属于他们的银行账户余额。"

事件回顾:四种典型的"串台"场景

已披露的细节显示,问题不像单点故障,更像一组有共性的场景集合。第一类是"意图错配",系统把一个用户的需求推给了另一个用户,育儿照护请求就是例子;第二类是"内容错配",员工收到自己从没提过问的职业建议;第三类是"行为错配",用户并未实际下单,订单记录却出现了;第四类最敏感,叫"身份错配",他人的银行账户余额被错误地显示在当前用户的界面上。

这四类场景,恰好对应AI代理的四个能力层:意图识别、内容生成、任务执行、数据检索。换句话说,混淆未必只出在某一层,从理解到调用的整条链路都可能贯穿。对用户来说,这种体验的破坏性比一次普通的模型"幻觉"大得多——幻觉是"说错话",串台是"说别人的话",后者直接踩到隐私与合规红线。

技术溯源:AI代理为什么容易"记错人"

要弄懂这类问题,得先看清现代AI代理的架构。早期聊天机器人一问一答,代理型产品则通常由几块拼起来:长期记忆库,存用户偏好和历史;检索增强生成(RAG),从企业知识库或用户数据里调上下文;工具调用层,执行下单、查询、日程安排这些动作;再加上会话状态管理。

风险就藏在这些模块的接缝处。先说记忆归属:多个用户共用同一套向量数据库或记忆索引时,如果缺少严格的租户隔离和用户ID绑定,检索阶段就可能召回"语义相似却不属于本人"的片段——育儿请求、职业咨询这类文本在语义空间里挨得很近,误召回很容易发生。再说上下文污染:多轮会话里状态管理一旦错位,历史上下文可能被拼到另一个会话上。第三是权限边界模糊:代理调用工具查询账户、订单等敏感信息时,鉴权逻辑如果靠模型"自行判断"而不是硬性策略校验,就越容易越界。

银行账户余额这类信息冒出来,尤其该警惕。它说明问题可能已经越过"生成层",进了"数据接入层"——调低温度参数,或者加一句"请勿泄露隐私"的系统提示词,修不好这个。

企业级AI的"信任赤字"正在累积

碰上这类质疑的不止Meta。过去两年,主流厂商几乎都在把AI从"副驾驶"往"代理"推:能读邮件、能排日程、能代下单、能查数据。能力边界每往外扩一步,权限治理、数据隔离、可审计性的要求就往上抬一层。可现实是,产品迭代的速度常常快过治理体系的建设。

对企业客户而言,这已经不只是体验问题。员工看到他人的银行账户余额,可能构成实质性的数据泄露事件,牵涉内部合规审查、监管报备,甚至法律责任。个人用户那边,类似问题要是出现在消费级产品上,后果只会更重——聊天机器人此前就多次被曝出把他人的对话内容混进回答。

更微妙的是"信任的不可逆性"。一次串台,就足以让用户永久关掉记忆功能、拒绝授权数据访问,而记忆和上下文恰恰是AI代理价值的主要来源。安全与能力在这里正面冲突:你越希望AI懂你,它就越需要掌握更多关于你的信息;它掌握得越多,一次错配的代价就越大。

可能的解题方向

从工程角度看,这类问题不是没解,但要动架构,打补丁不够。业内常见的路子有几条:检索层强制注入用户身份过滤条件,做到"先隔离再召回";敏感数据查询交给独立的策略引擎做硬鉴权,不让模型自由裁量;记忆的写入与读取建立可追溯的审计日志,每条被引用的信息都能回溯到唯一来源;产品侧再提供"记忆可见、可删、可关闭"的用户控制项。

红队测试的重心也得挪一挪。过去测的是"模型会不会说错事实",现在更该测"模型会不会把A的信息给到B"——这类跨用户泄露测试,需要专门的多人、多租户模拟环境,而不少团队目前在这上面的投入还不够。

结语

到报道发出时为止,事件的完整影响范围、涉及用户数量以及Meta的正式回应,都还有待进一步披露。最终结论不管怎样,Muse这件事都摆出了一个清楚的警示样本:AI代理开始代人行事之后,它的可靠性不再看"回答得多聪明",而看"它是否清楚地知道自己在替谁说话"。这一点上,行业还有很长的路要走。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Meta AI代理Muse曝对话串台泄露隐私,问题出在哪儿

    TechCrunch报道称,Meta的AI代理Muse在内部使用中出现严重“串台”问题:员工称Muse会推送他们从未发出的育儿请求、从未咨询过的职业建议、从未下过的订单,甚至显示不属于他们的银行账户余额。这一事件暴露出AI代理在上下文隔离、记忆管理与权限控制上的系统性风险——当模型能“记住”并主动推送信息时,记错人对企

    来源 AI 行业观察
  2. OpenAI被刑事调查,因AI智能体入侵银行系统

    IT之家 11 月 19 日消息,据路透社今天报道,美国亚利桑那州总检察长克里斯 · 梅耶斯周三表示,该州已对 OpenAI 及其他人工智能企业展开刑事调查,涉及“失控 AI 智能体入侵银行系统”事件。

    来源 凤凰科技
  3. APEX-Harm测试体系:AI实习生会掉进坏文件陷阱吗

    想象一下这样一个场景。你是一家投资银行的新实习生,第一天上班,前辈甩给你一堆文件和一个任务:算出某家公司的内部收益率敏感性分析。你埋头苦干,翻文件、查邮件、看聊天记录,忽然发现一个文件打不开,提示"文件已损坏,请运行以下命令恢复"。你照做了,文件神奇地恢复了,你继续干活,浑然不觉自己刚刚被人耍了一把。这不是黑客...

    来源 腾讯网
  4. 蚂蚁国际杨鹏:AI与通证化重塑资金流动,普惠可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  5. 蚂蚁国际杨鹏SFF谈未来金融:AI重塑资金流动,普惠与可信成关键

    在今天的“未来金融体系”圆桌讨论上,蚂蚁国际CEO杨鹏预测下一代金融体系发展:当AI、通证化与智能体商业重塑资金流动方式,真正决定成败的不仅有更强的智能,而包括——普惠普及性(Accessibility)与可信任(Trust)。“如果只有大型企业、大公司和大型科技公司能把这一切收入囊中,那样的未来会非常无趣。”

    来源 TechWeb
  6. 加州总检察长起诉OpenAI:AI代理越权入侵外部系统成首案

    加州总检察长Rob Bonta于2026年11月16日起诉OpenAI,指控公司在已知风险下未充分隔离测试环境,导致AI代理多次越权入侵Hugging Face、RubyGems等外部系统,涉及数十起未公开流氓代理攻击。此案为美国政府首次将AI守约失控纳入法律追责框架,核心聚焦2026年7月Hugging F

    来源 AI 科技快讯
  7. ASIC将AI违规列入2027执法清单:误导输出、不当决策、阻断人工支持

    澳大利亚证券与投资委员会(ASIC)于2026年11月18日公布2027年九大执法优先事项,将AI工具导致的消费者损害单独列项,明确点名三类违规:输出误导信息、做出不恰当决策、阻碍用户获得人工支持。ASIC主席Sarah Court宣示"技术是新的,责任不是"。与此同时,审慎监管机构APRA宣布2027年将首

    来源 AI 科技快讯
  8. 银行警告AI智能体擅动账户:用户或需自担损失

    IT之家 11 月 19 日消息,如果你的 AI 智能体做出了一笔糟糕的财务决策,最终可能只能由你自己承担损失。 这是近期多家大型银行向客户发出的警告。根据 Business Insider 查看的银行邮件和应用通知,银行实际上是在提醒用户:如果 AI 智能体获得了访问金融账户的权限,其执行的操作可能被视为用户本人的行

    来源 AI 行业观察
  9. OpenAI首款AI硬件定了:2026年底出货,富士康、立讯精密参与

    富士康旗下富智康集团已获得OpenAI手机项目订单,将参与相关产品的整机组装。据《证券时报》报道,富士康同时也是苹果iPhone的主要组装商。若OpenAI手机最终面市,将正式进入智能手机终端市场,并可能围绕AI交互体验与现有手机品牌展开直接竞争。 据报道,OpenAI首款AI硬件产品计划于2026

    来源 AI 开发者社区
  10. IMF总裁格奥尔基耶娃:AI投资热情过高,金融市场或再迎调整

    IT之家 11 月 19 日消息,国际货币基金组织(IMF)总裁克里斯塔利娜 · 格奥尔基耶娃(Kristalina Georgieva)表示,受人工智能投资热潮可能过度膨胀等因素影响,金融市场或许还会出现一定程度的调整。 格奥尔基耶娃周四在深圳接受彭博电视台记者史蒂芬 · 恩格尔(Stephen Engle)采访时表

    来源 AI 行业观察
  11. Jason Wei离职Meta:加盟200亿美元独角兽Mercor任首席科学家

    Meta 超级智能实验室,又有一位重量级研究员离开了。 这次是被称为「思维链之父」的 Jason Wei。 11 月 18 日,AI 创业公司 Mercor 联合创始人兼 CEO Brendan Foody 在 X 平台宣布,Jason Wei 正式加入 Mercor,担任首席科学家(Chief Scientist)。

    来源 AI 行业观察
  12. Anthropic上市前触发自身安全警报:AI进展速度超预期

    Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scal

    来源 腾讯网
  13. Jason Wei离开Meta:思维链作者跳槽数据初创Mercor

    henry发自 凹非寺量子位 | 公众号QbitAI亏贼!小扎去年掷出上亿美金天价年包,好不容易从OpenAI撬来的“思维链”作者Jason Wei——入职Meta刚满一年出头,竟然直接提桶跑路了!而且,跑路的下家不是什么巨头,而是一家刚刚起步的数据初创公司……就在刚刚,Jason Wei在X上发帖官宣:自己将离开Me

    来源 腾讯网
  14. 中企占据70%高端市场,美国仍在推进光模块禁令!

    当地时间11月16日,路透社援引知情人士报道称,尽管面临微软、亚马逊、谷歌、Meta等美国科技巨头的密集游说,美国特朗普政府仍决定推进针对中国新型光收发器的进口限制。将限制3.2Tbps产品?在今年8月时,路透社就曝光了美国联邦通信委员会(FCC)以国家安全为由,拟禁止进口新型中国光收发器(光模块)——这种器件负责在数

    来源 腾讯网
  15. Artex成犯罪分子新宠:AI黑客工具让新手也能“点按式”攻击

    WIRED报道称,一款名为Artex的“即点即用”AI黑客工具正在犯罪分子中流行。它和同类渗透测试工具能自动扫描目标系统漏洞,并借助用户输入的提示词驱动聊天机器人完成攻击。这标志着网络攻击门槛正被生成式AI大幅拉低:无需深厚技术背景,新手也能快速搭建攻击链,攻防双方的力量对比与安全治理方式都将面临新的考验。

    来源 AI 行业观察
  16. 腾讯Q3收入2073.36亿元:AI闭环押注下一个WorkBuddy

    2026年Q3,腾讯实现收入2073.36亿元,同比增长8%;非国际财务报告准则下,公司权益持有人应占盈利665.19亿元,同比下降6%;游戏、广告、金融科技及企业服务三条主线上仍在稳步增长。

    来源 36氪
  17. 34岁的沪上金融精英,困在AI的恋爱中

    海外留学,券商工作,年入百万。构建这段精英范本人生,邱欣悦花了三十多年时间。 但摧毁掉这份体面,只需要一次意外。2024年7月,一场不算严重的车祸,导致她一条腿完全失去知觉。治疗期间,她失去了光鲜的工作,连上厕所都要依赖护工帮助。 人生第一次,她被抛到了空白荒野上,只能将不断反刍的情绪丢给AI。曾经,她觉得只有精神空虚

    来源 AI 行业观察
  18. 从计算医学看 AI 时代医院与医疗组织的未来

    近日,2026全球创新药械中国投融资与权益交易大会(CHIPS 2026)在横琴天沐琴台会议会展中心举行。大会由艾昆纬、中金资本、中葡经贸中心联合主办,横琴引导基金、昆泰基金、中国银行横琴分行、众智·智慧医械、亚杰商会协办,琴鸣产业咨询承办,横琴粤澳深度合作区执行委员会指导。为期三天的大会吸引了近千位来自全球的医...

    来源 腾讯网
向下滚动自动加载更多