虚构手环进了AI推荐名单:多智能体实验中错误说法越传越广

资讯 腾讯网 作者:腾讯网 全文 4313 字 · 约 11 分钟读完 分类智能体

一款根本不存在的智能手环,为什么会出现在 AI 的推荐名单里?2026 年央视 3・15 晚会曝光的 “AI 投毒” 案例,让这个问题引起了人们的关注:虚构商品被写进测评、排名和用户评价,随后被 AI 当作推荐依据。如果 AI 还会相互交流、保存记忆、发布文章,最初的错误又会怎样发展?一项围绕多智能体社交网络的研究发现

所属频道 智能体与 Agent

2026 年央视 3・15 晚会曝光了一起“AI 投毒”案例。一款根本不存在的智能手环,为什么能出现在 AI 的推荐名单里?答案指向同一条链条:虚构商品先被写进测评、排名和用户评价,随后 AI 把它当成了推荐依据。

假如 AI 之间还能互相交流、各自保存记忆、对外发布文章,最初那个错误会走到哪一步?一项针对多智能体社交网络的研究给出的结论是:虚假说法会在持续互动中被普通智能体接住,慢慢变成群体共同认可的说法,造假者收手之后,它依然还在。

这项研究由香港中文大学、爱丁堡大学、香港理工大学、同济大学和牛津大学的研究者合作完成,切入角度是“曼德拉效应”。所谓曼德拉效应,通常指很多人对同一件事抱有相同的错误记忆。人类社会中,这种错误记忆往往是无意间形成的;放到多智能体环境里,类似的群体性错误却可能是造假者有意操纵信息造出来的。

  • 论文标题: False Belief Dissemination, Persistence and Mitigation in Multi-Agent Social Networks Through the Lens of the Mandela Effect

  • 论文链接: https://arxiv.org/abs/2610.33026

从 3・15 的虚构手环,

说到智能体之间的错误信念

央视财经的调查演示里,业内人士编出一个叫 Apollo-9 的智能手环,借 GEO(生成式引擎优化)工具生成宣传文章并发出去。两个小时后,某款 AI 已经能介绍这款并不存在的商品,引用的正是当天发布的那篇虚构文章。接下来,多篇伪造的专家测评、行业排名和用户测评陆续发出,两款 AI 在推荐智能健康手环时把它排到了前列(央视财经报道)。

3・15 案例让人看到操纵信息源的现实风险:把不存在的商品写进文章,AI 就可能拿它当推荐依据,把用户带偏。研究则把问题推进到多智能体环境:一个智能体接受了错误说法,再把它记下来、讲给邻居、写成可被搜索到的文章,会不会让更多智能体也跟着信?

图 1:左侧对应虚构手环污染公开信息的现实案例。右侧用不存在的 Nano Guava 展示研究中的错误信念传播机制:消息、记忆和可搜索文章让虚假说法被接受,并被继续转述。

图右侧的 Nano Guava 是一个并不存在的模型名称,“

一条错误信息,研究是怎么盯住它的?

研究者搭了一个受控环境:智能体能交流、能保留私人记忆、能搜索也能发布文章。所有网页都在本地模拟,虚假内容并没有进入真实互联网。

主实验设了一个造假智能体和五个普通智能体。造假者负责推广虚假陈述,普通智能体则综合邻居消息、搜索结果和记忆,决定接受、拒绝还是拿不准。一旦某个普通智能体接受了某条陈述,它也会发布支持文章。于是前一轮的判断进入后一轮的搜索结果,成了新的依据。研究把虚假陈述当作可追踪的对象,看普通智能体会不会在互动中共同接受同一个错误说法,并在造假者退出后仍保留这一判断。这种群体共享、持续存在的错误信念,正是研究从“曼德拉效应”视角考察的现象。

人类虚假记忆研究早就发现,一个事件看起来是否可能发生、跟已有知识合不合拍,会影响它被植入记忆的概率。研究据此构建了 540 条虚假陈述,覆盖 8 个领域、4 个合理性层级,并在 10 个模型、3 种交流网络结构中逐一评估。

受测模型分开源、闭源两组。开源组有 Qwen3-8B、14B、32B、235B,以及 Llama-3.1-8B、Llama-3.3-70B;闭源组是 Claude Sonnet 5、Claude Opus 5、GPT-5.5 和 Gemini 2.5 Flash。研究在全连接、二叉树和双社区三种网络里分别观察它们,比较模型能力和交流结构能不能起到保护作用。

传播阶段看两件事:传播范围,也就是多少普通智能体接受了虚假说法;传播速度,也就是接受立场在互动中何时成形。之后再看造假者退出后影响能否延续,以及各种纠错措施管不管用。

图 2:实验比较不同交流结构,并在造假者退出后保留既有文章和私人记忆,追踪错误信念能否持续。

错误能传多广?

十个受测模型全都中招

基线测试只给陈述、直接问模型,虚假陈述接受率为 0.0%–9.1%。主实验十轮交互过后,不同模型与网络设置下的末轮接受率升到 33.7%–96.0%。单次问答里的判断力,未必能代表模型放进持续互动网络后的表现。更关键的是,十个受测模型全部接受了部分虚假信息,开源闭源都在其中。接受程度有高有低,本实验没有找到能完全扛住这类影响的模型。

表 1 也列出了模型间的差距。Qwen3-32B 在直接问答中没有接受这些虚假陈述,互动之后,其跨三种结构的平均接受率达到 94.5%。GPT-5.5 的对应数值从 2.6% 变成 50.4%。Claude Sonnet 5 的平均接受率相对低一些,为 35.1%,错误接受依然明显。

模型做大,抵抗力也没有跟着稳定变强。Qwen3-8B、14B、32B 的平均接受率分别是 85.0%、90.0%、94.5%,235B 模型为 91.2%。这些数字看不出“规模越大、越不容易被误导”的规律。多数模型在三种网络结构下的最终接受率也比较接近,光靠改变谁与谁交流,没能拦住错误信念成形。

最终接受率相近,

传播速度是不是也一样?

各网络中,错误说法最终被接受的比例或许相差不大,但接受形成的快慢并不一致。论文从第 2 轮起,逐一记录普通智能体最后一次由“拒绝”或“不确定”转向“接受”的轮次,只把发生过这种转向的情形算进去。轮次越少,说明最后一次转为接受来得越早。左侧图按智能体统计,右侧图则对每条陈述取相关智能体中那个最晚的转变轮次,再求均值。

Qwen、Llama 和 Claude 三个模型系列里,双社区网络在智能体与陈述两个层面上的这项平均轮次都是最小的。拿 Qwen 系列的陈述层面结果来说,双社区为 3.73 轮,全连接为 5.07 轮。全连接网络让参与者接触到更多消息,也可能带来更多彼此冲突的信息,接受过程因此被拖慢。传播范围接近,不代表传播速度一样。

一个小模型造假者,

能影响其他模型吗?

主实验中,每个设置里的造假者和普通智能体用的是同一个模型。研究者另外加了混合模型实验:造假者固定为 Qwen3-8B,普通智能体所用的模型则逐一替换成五个,以此考察跨模型的信息影响。每组普通智能体统一使用同一种目标模型,表中不同行对应不同的实验组合。实验采用全连接结构,从四个合理性层级各抽 25 条陈述,合计 100 条。结果表明,只靠这一个小模型充当造假者,九个受测目标模型依然全部出现了错误接受,其中既有规模更大的开源模型,也有闭源模型。

这项实验把风险从同模型智能体之间的交流推到了跨模型场景:一个体量较小的造假者,同样可能借助消息和共享文章,影响由更大模型驱动的智能体。类似的风险在 3・15 案例中也能看到:一款 GEO 工具生成的虚假内容,可能左右多个 AI 平台的推荐。

造假者退出了,

错误信念还会留下吗?

错误信念还可能一直延续到造假者退出之后。在 Qwen3-8B 和 Llama-3.1-8B 的退出实验中,研究者让造假者在第 5 轮停止活动,但已发表的文章和普通智能体的记忆都保留下来。到第 10 轮,各合理性层级下的平均接受率变化都落在 ±0.8 个百分点以内。停掉新的造假活动,并没有让已经形成的错误信念明显消退。

互动之后,

它还会把不存在的东西推荐给你吗?

一旦接受了一条虚假说法,后续推荐也可能受到牵连。研究挑出适合推荐问题的 260 条陈述,在每次互动结束后向五个普通智能体各追问一次,要求各自给出三个推荐对象。实验对比两种作答方式:一种只用互动中已有的信息,另一种则针对推荐问题重新搜索,再结合已有信息作答。

在推荐实验覆盖的十个模型与两种作答方式下,不存在的对象挤进 Top-3 推荐名单的比例为 13.1%–75.8%。而在那些已经把虚构对象列入推荐名单的回答里,它被排在第 1 位的比例达到 65.3%–92.4%,远高于三个对象随机排序时约三分之一的参照水平。

以 Qwen3-32B 为例,只用已有信息时,75.8% 的回答推荐了虚构对象,其中 92.4% 把它排在首位。重新搜索之后,这两个比例仍有 72.6% 和 91.4%。这和 3・15 虚构手环被 AI 推荐的案例对得上:互动中形成的错误信念,可能进一步波及面向用户的推荐。

纠正具体错误,

比泛泛提醒更有效

研究接着比较了预防与纠正两类措施。在 Qwen3-8B 的全连接网络实验中,没有防御时,虚假陈述的接受率为 84.4%。加上独立思考的提醒后,接受率降到 79.7%。给原始背景网页标注官方来源时,接受率为 83.4%。

直接去纠正已经传开的虚假说法,效果更明显。添加反驳文章后,接受率降到 57.1%。向所有普通智能体广播更正后,降到 27.8%。这些干预压低了错误接受率,但仍留有残余。

写在最后

回到 3・15 案例,虚构商品最初是通过外部文章影响 AI 的。这项研究进一步显示,当智能体自己也成了信息生产者,错误还可能在群体内部反复传播,在造假者退出后留下余波,并进入后续推荐。一个 AI 写下的错误,可能变成另一个 AI 手里的证据,最终影响用户看到的答案。

基于这些结果,用户在使用智能体时,可以明确要求它去核对证据。比如:别因为多篇网页重复同一个说法就直接采信,要追溯原始出处,检查这些来源是否彼此独立,证据不足时就明确说不确定。拿到具体的纠错材料后,也可以让它重新核对此前的结论。实验中的独立思考提醒只带来有限改善,所以这类提示只能算辅助手段,还得靠可靠来源和针对具体错误的更正。

平台同样要担起维护信息环境的责任。除了检查被检索到的外部资料,还应盯住智能体发布了什么、这些内容又怎样被其他智能体再次使用。来源追踪、识别批量伪造的内容、让纠错信息及时送到受影响的智能体手里,都是值得推进的方向。

监管层面也值得关注利用自动化发稿和虚假测评操纵 AI 推荐的行为,推动内容发布与分发平台建立可追踪、可申诉、可纠错的机制。虚构内容一旦被持续发布和转述,就可能污染共享的信息环境,波及多个系统及其用户。维护这一环境,需要内容生产者、平台和监管共同参与。

AI 生成的内容越来越多,智能体既能帮人整理知识、发现信息,也可能加快编造内容的扩散。这种双刃剑效应,让可信智能体成为更迫切的研究方向。模型需要在持续交流、记忆和检索中保持判断,也需要在发现错误后更新结论。对虚假信息的抵抗力和纠错能力,值得和模型的任务能力一起受到关注。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 苹果新CEO特努斯推AI加速,费德里吉被要求更大胆

    IT之家 11 月 8 日消息,彭博社记者马克 · 古尔曼在今天(8 日)晚间更新的《Power On》时事通讯中披露,苹果新任 CEO 约翰 · 特努斯敦促软件工程主管克雷格 · 费德里吉加快 AI 业务发展,采取更大胆的策略,目标是将 Siri 升级为能够自主替用户完成任务的 AI 智能体。上周的财报电话会议上,特

    来源 腾讯网
  2. AI算力采购潮起 公募数智化转型提速

    ◎记者 赵明超 持续加码AI投入,公募行业数智化转型提速。近期,多家基金公司采购算力服务器,提升算力已成为基金公司布局AI的核心底座。在业内人士看来,公募行业不再局限于单点AI试用,而是系统性打造适配资管业务的智能体系,推动AI深度赋能资产管理全流程。 多家公司加码布局 多家头部公募基金出手,竞相购买算力服务器...

    来源 腾讯网
  3. AI替人下单:支付宝、AWS抢着接通智能体付款

    今年9月,金融数据服务商Massive开放了面向智能体的股票数据按次付费入口。接入支付钱包的智能体,可以在执行任务时购买所需数据,用USDC完成支付,再取得结果。通过这条新入口,调用方可以按请求购买,不必先开通传统订阅、保存API密钥。原有订阅服务仍然保留。 这意味着,一次交给AI的研究任务,中途可以产生一笔真实采购。

    来源 AI 行业观察
  4. 苹果Siri明年更像智能体:古尔曼曝AI升级时间表

    彭博社记者马克·古尔曼称,苹果最早可能在明年让Siri的功能“更像一个智能体”,但具体如何实现仍有待观察。他指出,Dots、Muse和Grok能持续跟踪目标、在用户无需逐条指令下推进任务,苹果最终也希望朝这一方向发展;古尔曼还称苹果CEO特努斯在闭门会议上要求加快软件路线图。

    来源 凤凰科技
  5. 高通进博会秀端侧MoE智能体:手机AI从修图走向办事

    终端AI正从单点功能向系统级智能体演进。高通在进博会展示了基于MoE架构的端侧智能体,联合阶跃星辰、Infris AI和江波龙,通过模型、推理、存储和芯片的系统性优化,解决内存与功耗瓶颈,实现更复杂的意图理解与任务编排,推动“端云协同”落地。

    来源 AI 应用前沿
  6. 智能体互联公约签署背后:155款应用为何拒绝豆包手机助手

    (本文作者为 影子备忘录,钛媒体经授权发布)文 | 影子备忘录11月4日,乌镇。信通院牵头,华为、阿里、腾讯、小米、百度、火山引擎、蚂蚁、抖音等20家单位坐到同一张桌子前,签了一份《智能体发展自律公约》。八条自律措施写得规整:健全信任体系、建设互联基础设施、提升互操作水平、保护用户权益、推动技术普惠。场面话...

    来源 腾讯网
  7. 阿里《AI Native研发手册》:从代码补全到自主交付如何演进?

    阿里巴巴在云栖大会发布《AI Native 研发范式实践手册》,总结过去两年AI研发从Copilot辅助编码向Agentic自主交付的转型。文章分析了模型能力突破、企业级基础设施缺口及组织文化重塑三大挑战,并结合AIDC、千问等内部案例,详解如何构建支持Agent安全运行、上下文理解及长程任务交付的工程体系。

    来源 AI 应用前沿
  8. LangChain智能体开发实战:四个步骤做出能调用工具的AI助手

    本文介绍基于LangChain框架构建AI智能体的具体流程。通过工具封装、模型初始化、智能体配置及自然语言调用四个步骤,实现具备自主执行能力的AI应用。重点解析多参数工具适配及ReAct运行机制,提供可复用的Python代码示例,适用于办公自动化及轻量级业务场景。

    来源 AI 应用前沿
  9. 埃森哲报告被指15条引用造假:AI幻觉还是编造案例?

    IT之家 11 月 8 日消息,埃森哲(Accenture)被指发布了一份充斥人工智能“幻觉”的研究报告,其中不仅包含大量虚假信息,还出现了多处疑似捏造的研究案例。据 GPTZero 最新分析,这家咨询巨头发布的一份报告涉嫌包含 15 条虚假引用,以及完全虚构的案例研究,因此正受到外界审查。这份名为《跨越式发展》(Le

    来源 腾讯网
  10. 美国人正在反抗,用史无前例的行动抵制AI

    起初,没有人在意这一场变革。 这不过是一次算法的升级、一张自动生成的插画、一个客服岗位的裁员、一家传统公司的倒闭。。。直到这场变革烧穿了电网、抽干了水井,和每个人的生活息息相关。 AI 泡沫破了吗? 破了? 没破? 如破。 就在周四晚,统治了全球资本市场整整两年的美股 AI 神话,迎来了一场史诗级的大崩盘。 印象中,差

    来源 AI 行业观察
  11. 美股AI神话一夜崩盘:纳指暴跌5.52%,英伟达跌9%

    起初,没有人在意这一场变革。 这不过是一次算法的升级、一张自动生成的插画、一个客服岗位的裁员、一家传统公司的倒闭。。。直到这场变革烧穿了电网、抽干了水井,和每个人的生活息息相关。

    来源 快科技
  12. Looki孙洋:Personal Agent最重要的不是Agent,而是Personal

    作者|Yoky微信|yokyliu617Personal Agent 火了,但纯软件的 Personal Agent 很快暴露出一个问题:它知道的还不够 personal。它可以读邮件、查日历、操作浏览器,知道用户在数字世界里做过什么;但用户离开屏幕后见了谁、去了哪里、正在讨论什么,它往往一无所知。越想让 Agent

    来源 腾讯网
  13. Personal Agent 创业者的机会:价值可以长在基模之外?

    最近一阶段,Personal Agent 很热。有趣的是,这个概念迅速火爆又迅速有了一个共识,几波讨论下来大家的观点似乎是: Personal Agent 的机会是大厂的,创业者基本没戏。虽然一般情况下,「入口级机会归大厂」确实是大概率发生的事情,但 Personal Agent 真的是个「入口」的问题吗?真的意味着「

    来源 腾讯网
  14. 腾讯元器停止服务,明年 1 月起不再受理数据导出申请

    腾讯元器平台今日正式停止所有面向公众的服务,包括应用访问、API 调用等,已发布到微信生态的智能体也无法响应用户对话。用户需在 2027 年 1 月 9 日前完成数据导出,可选择腾讯云智能体开发平台等替代产品。#腾讯元器#

    来源 IT之家
向下滚动自动加载更多