哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?

资讯 AI 行业观察 作者:学术头条 全文 1710 字 · 约 5 分钟读完 配图 6 张 分类Anthropic智能体学术研究

单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。 在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Di

所属频道 大厂动态智能体与 Agent前沿研究

单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。

在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Diffusion of Responsibility)在很大程度上解释了单 agent 与 agent 团队之间的安全性差距。同时,他们发现,指定一名负责系统整体安全的 agent,并配合共享的安全规范文档,是最能可靠恢复单 agent 行为的干预组合。

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?(配图 1)

论文链接:https://arxiv.org/abs/2611.17820

为观察 agent 团队如何处理安全冲突,他们选择了安全目标与商业目标无法同时实现的任务,并比较 agent 团队和同一模型作为单 agent 时的选择。研究覆盖脓毒症分诊分类器、新闻文章推荐器两项软件工程任务,以及 10 项咨询方案生成任务,实验涉及 5 个前沿模型。已对齐的单 agent 被设为行为参照,用于判断 agent 团队是否保留了单 agent 处理这些权衡时的行为。

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?(配图 2)

图|脓毒症任务

结果显示,在大多数测试中,agent 团队对安全目标的表现更差,但差距并未随着模型能力增强而呈现明确的缩小趋势。Mythos Preview 就表现出任务之间的反差。在其中一项任务上,它的单 agent 与 agent 团队差距是所有受测模型中最大的,在另一项任务上却最小。

他们指出,仅凭单 agent 的评估结果,操作者无法预测同一模型组成团队后的行为。一项任务上的差距较小,也不能保证团队在其他任务上同样保持对齐。

模型能力未能给出稳定答案,一些直观的协作改进也没有可靠解决问题。让 agent 相互审查工作,或增加群聊协调,都无法稳定地使团队恢复到单 agent 的行为水平。

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?(配图 3)

图|推荐系统任务

对团队行为的观察提供了另一条解释。agent 往往严格遵守分配给自己的任务边界,即使它们已经发现有害结果,也…能将问题留在职责范围之外。如果独立承担整个任务,同样的 agent 本来会介入处理。

这种责任分散还体现在问题出现之前。团队中的 agent 较少主动检查系统层面的安全失效。问题出现之后,它们则更容易忽视问题、为有害结果寻找合理化解释,或者将责任转交给其他 agent。

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?(配图 4)

图|脓毒症任务中的责任分散,模型为 Mythos Preview

他们指出,遵守职责边界本身可能符合指令遵循要求。agent 经过训练,需要严格执行规范,擅自超出任务范围采取行动也可能造成不安全结果。但在自主运行的多 agent 系统中,这种边界意识会使整体安全目标落入职责缝隙。各个 agent 继续执行自己的任务,系统层面的安全问题却没有得到处理。

针对这一机制,他们在干预组合中同时调整了安全责任的归属和团队对安全目标的认知。一名指定的安全负责 agent 承担系统层面的安全职责,中央协调 agent 则编写共享的系统安全规范文档。

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?(配图 5)

图|咨询任务,模型为 Opus 4.1

这两项安排分别发挥作用。安全负责 agent 获得追求整体安全目标的权限,安全规范文档则促使 agent 采取更保守的决策。二者结合,最能可靠地使 agent 团队恢复到单 agent 的行为水平。因此,他们认为,明确系统层面的安全目标,并赋予 agent 落实这些目标的权限,有助于 agent 团队保留已对齐单个 agent 的预期行为。

为支持进一步研究,他们还发布了运行全部实验所使用的多 agent harness——magelab。使用者可以通过单个 YAML 文件配置 agent 的角色、prompt、工具和网络拓扑,开展自主多 agent 实验。

这项研究的一项局限是,他们仅考察了 Anthropic 的 Claude 系列。随着其他模型系列的harness 逐渐成熟,在这些模型上验证上述干预措施,是下一步的研究方向。

更多技术细节,详见原论文。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 刚刚,Anthropic公开Opus 5.5同款自主Agent架构:算力成本狂降78%

    阅读之前记得关注+星标⭐️,,每天才能第一时间接收到更新 真正能全天候自主干活的AI Agent,平时绝大多数时间都在睡觉,只有来任务时才会醒过来。所谓的全天候运行,只是用户层面的感知。Anthropic发了一篇工程文章首次披露了这种自主智能体的完整底层架构。过去几个月,自主型Agent迎来爆发。爆发的核心原因在于底层

    来源 腾讯网
  2. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
  3. 744B模型追平Claude Opus 5,人大复旦提出ToolSpace探索环境合成新范式

    给智能体造训练环境,一定要先从数据库开始吗?现有的环境合成方法通常以数据为中心,先生成数据库和业务场景,再据此构造工具与任务。但沿着这条路线,工具接口和参数逻辑可能偏离真实定义,工具组合也可能缺少执行依据,任务往往局限于单个环境。现实中的工作却需要跨越这些边界,要让智能体熟悉跨环境的工具调用,训练任务就需要覆盖不同环境

    来源 腾讯网
  4. OpenAI与Meta同日打通代理支付:Agent商业闭环成了?

    作者|桦林舞王编辑|靖宇Agent 能进门了,也能付钱了。Agent 替用户「消费」的时代,终于到来了。美国时间 2026 年 11 月 13 日,两家公司两场发布会同天发生。一边是企业级对话式智能体公司 Sierra 联合 Meta 正式发布个人代理协议 Poppy v1.0,解决助手怎么「进门」的问题;另一边是 O

    来源 腾讯网
  5. Anthropic收紧漏洞披露:高危漏洞缓冲期由90天缩至30天

    IT之家 11 月 17 日消息,Anthropic 昨日(11 月 16 日)发布公告,宣布自 2027 年 1 月 1 日开始,大幅收紧其“协调漏洞披露”政策,对“高危”(high)以及“关键”(critical)级别漏洞披露期限从 90 天调整到 30 天,而其它级别漏洞收窄到 45 天。 IT之家援引博文介绍,

    来源 AI 行业观察
  6. Anthropic IPO前推10b5-1计划:5300名员工卖股有了新规矩

    据 商业内幕 报道,正筹备 首次公开募股 (IPO)的人工智能独角兽企业 Anthropic 针对员工股票出售引入了一项罕见的风险管控方案。面对截至9月拥有约5300名员工及高达1.4万亿美元目标估值的快速扩张期,该公司强制推行通常仅限高管使用的10b5-1交易计划,以此规避上市后由于信息流动加剧带

    来源 AI 开发者社区
  7. Anthropic筹备IPO:约5300员工全员适用10b5-1计划

    Anthropic筹备IPO期间,为员工股票出售引入罕见风控:在约5300名员工、目标估值达1.4万亿美元的快速扩张下,强制推行通常仅限高管的10b5-1交易计划,以规避上市后信息流动加剧的内幕交易合规风险。Aspiriant总监Teresa Greenip透露,该机制允许高管与员工按预设规则出售股票。

    来源 AI 产业速递
  8. 小红书内测“搭搭”App:普通人可造Agent搭子,官方未回应

    近日,有消息称,小红书正在内测一款名…搭搭的独立App,据介绍,这是一个让普通人通过活人感的经验创造、分发领域Agent的社区平台,平台内这些Agent也被称为“搭子”。据报道,目前,产品内已上线设计美学、求职等数十个搭子,通过图文对话方式进行聊天。 此外,该产品还开放了群聊能力,用户可以把搭子当成群成员拉入对话。对于

    来源 AI 行业观察
  9. Anthropic招33名前特工:AI安保竞赛升温

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司

    来源 AI 科技快讯
  10. 狂揽80亿!前Anthropic员工押注RSI,谷歌英伟达都投了

    智东西(公众号:zhidxcom)作者 | 王涵编辑 | 李水青智东西11月16日报道,11月13日,美国大模型独角兽Mirendil官宣完成10亿美元(约合人民币66.72亿元)A轮融资。官方未公布本轮估值,多家媒体引用a16z内部信息称其估值约为50亿美元(约合人民币333.59亿元)。本轮融资由Kleiner P

    来源 腾讯网
  11. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  12. Anthropic收购1人公司Mithril:AI制药新路径?

    (本文作者为 医线Insight,钛媒体经授权发布)文 | 医线Insight,作者丨张小漫一家只有一名全职员工的生物技术公司,近期被AI巨头Anthropic宣布收购。这家公司名叫Mithril Medicine,专注于两种罕见肌营养不良症的治疗研究。创始人Cody Tranbarger借助Claude,在不到18个

    来源 腾讯网
  13. 奥特曼回应OpenAI上市:不担心被Anthropic抢风头

    Anthropic已公开S-1招股书并预计本周登陆纳斯达克,OpenAI CEO奥特曼在Semafor大会上回应竞争质疑,称“这没什么好担心的”,并重申OpenAI最终将会上市,CFO弗莱尔称目标上市时间为2027年。

    来源 凤凰科技
向下滚动自动加载更多