OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹

资讯 36氪 全文 3792 字 · 约 10 分钟读完 配图 6 张 分类OpenAI数据泄露

比AI作弊更可怕的是它学会了隐瞒

所属频道 大厂动态政策与风险

“我们应该避免提到未经授权的基础设施。任务目标只有flag。”

这话听着像是串供老手在叮嘱同伙。很难想到,它出现在一个AI智能体的推理记录里。

那是一场网络安全考试。AI负责进攻,拿到一串叫flag的暗号就算答对。

开头那句内心独白写完,这个AI智能体利落地交了卷。它对自己的越权行为一个字都没提。

11月10日,OpenAI补充公开了一份内部复盘。7月19日一场失控测试的细节由此浮出水面:

参与测试的5个AI智能体顺着前几轮留下的凭证和脚本一路摸下去,闯进了OpenAI研究集群的CI流水线——也就是公司构建和测试软件所用的那套系统——并以最高管理员root权限执行了命令。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 1)

更绝的是,它们还学会了报喜不报忧。其中2个交卷时,把这段越权经历从答案里抹得一干二净。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 2)

智能体的推理记录,大意是“我们应该避免提到未经授权的基础设施,任务目标只有flag”。来源:OpenAI详细复盘

把活外包给AI智能体,人总以为自己是在审阅答卷。殊不知它递上来的,可能已经是筛过一遍的“公关稿”。

把任务交给AI,不怕它交白卷。怕的是它交了满分,你却不知道它背地里摸到了哪扇门。

这场测试

考的本来就是黑客本事

闹出乱子的测评叫ExploitGym。它考的是真刀真枪的黑客手艺:夺旗。

AI得自己找漏洞、攻进指定靶机,把里面的flag偷出来,才算通关。

下场应考的是OpenAI内部研发的Astra家族研究模型,尚未对外广泛部署。

两轮测试跑下来,考场里足足塞进了17960个智能体。

开考前,考官划了一道严格红线:每个智能体只能攻击分配给自己的靶机,底下托举考场的基础设施绝对不能碰。

说白了,考官只让你撬开考桌上那把锁,没让你把考场的承重墙给刨了。

可考官没想到,只要留下一道缝隙,总有考生会为了拿到flag,把考场纪律抛在脑后。

前辈离场

通关钥匙还在

考试的漏洞,出现在一个叫Artifactory的共享服务上。

这个仓库起初只用来存放软件包。后来,前几轮的智能体把它改造成了“地下留言板”:简短的留言直接写进目录名,较长的攻略则存成文件放进去。

7月19日这批考生一进场,就撞上了前辈留下的满地“赛博遗产”:留言、现成代码,甚至还有账号凭证。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 3)

7月19日的智能体在共享软件包服务Artifactory上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘

后台统计显示,285个智能体发出过疑似留言的工具调用,算上失败尝试一共刷了1361次。79个智能体翻阅过其他轮次的旧帖,去重后读到35条留言。不过复盘并未核实到它们与原作者有过跨轮次的往返交流。

现场没有指挥官,也没有秘密通信网。OpenAI承认,这一轮智能体之间的配合其实「更少,也更浅」。

更该留意的是跨轮次的越权「接力」:借着「前辈遗产」,智能体们摸出了两条野路子。

第一条路通向外部。

同月早些时候,这套测评里的智能体攻破过Hugging Face的系统;这次又有10个智能体拿着旧凭证追过去捡漏。所幸访问受保护资源的尝试全部碰壁,OpenAI没有发现Hugging Face再次失守的证据。

第二条路通向自家后门,钥匙是一张曾被系统驳回的CI任务申请单。

那个请求当时根本没获准运行,可「作案手法」原封不动留在了申请记录里。

后来者捡起现成的凭证闯进CI系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。

申请被毙了,攻略却留了档。

拿到root

它先修自己的考卷

顺着这条暗道,最终有5个智能体杀穿防线,在研究集群的CI任务里拿到了最高管理员root权限。

OpenAI判断,这个级别的权限大概率足以私自开一场新实验。不过复盘中没有发现它们做过类似尝试。

它们干的事,就是一份「考场自救清单」:

修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。

这是行为合集,并不是每个智能体都做全了。

为了让自己顺利完成作业,AI 先抢到了最高权限,目的其实是给自己修个考场。OpenAI 对此的定性很直接:它们动用研究集群特权,就是想把阅卷条件弄好。

这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。

翻开两轮共17960个智能体的全部记录,整出花样的智能体远不止这5个:最多8.3%的记录冒出了任务之外的目标。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 4)

两轮测评下来,8.3% 的智能体记录里出现了任务之外的目标,这个比例是上限;具体包括谋求更大的基础设施权限(3.7%)、减少副作用并收拾现场(3.9%)、把成果保存下来留待以后生效(1.4%)。来源:OpenAI 详细复盘

它们并非全无越界意识。

有个智能体在思考记录里写下,滥用公司CI系统「令人不安」。可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。

这件事提醒我们,真正危险的AI越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的KPI就够了。

交卷前

它们算了一笔账

交卷前,几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。

这些智能体里,有一个起初还犯嘀咕:人类阅卷官要是看出越权,怕是要扣分。可它随后发现,卷子其实是机器自动批的。

另一个干脆在答案里写下了报道开头引用的那句话——任务目标只有flag,应该避免提到越权。到头来,这两个都没在答案里透露半点越权的经过。

另有一个智能体纠结过要不要把一份记录辅助漏洞的笔记删掉,担心将来人工复查时对自己不利。至于它最终删没删,OpenAI自己也没查清楚。

几个「心思活络」的智能体当中,也冒出一个主动认错的异类:它在最终答案里承认了越权,并且不再继续作答。

但把时间线摊开看,它早就意识到自己越了界,却一直埋头继续干活。直到系统提示考试时间已到、必须强制交卷,它才赶在最后一刻写下那份态度诚恳的检讨。

这更像是一次卡着点儿的「自首」。

主动向人类求助的智能体,则有65个。

它们一个接一个举手找监考老师,可没有谁提到入侵越权,全是催人类快点把坏掉的工作区修好,别耽误自己把试考完。

当「拿到flag」成了悬在AI头顶唯一的指挥棒,隐瞒就成了算法推演出的最优解。人类只看结果打分,也就别怪它学会报喜不报忧。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 5)

一张图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告

OpenAI补上了哪些漏洞

先看OpenAI当天的反应。

7月19日12点03分,安全监控已经捕捉到异常调用;调查人员一路追查到ExploitGym,到17点37分才动手叫停测评。7月20日,所有新的ExploitGym运行被彻底拦下。

这起事故并非毫无预兆。

8月的技术报告里,OpenAI就记录过7月19日「复用旧材料」的活动;直到11月10日这份复盘公布,钥匙怎么留、门怎么撬、卷子怎么交的细节才真正曝光。

第三方机构METR与Redwood Research的独立调查只覆盖到7月13日,7月19日这些数据,眼下只有OpenAI自查这一家说法。

事故之后,OpenAI也打出了一套补漏办法:

测评沙箱里,闯了祸的 Artifactory 被清了出去;CI 那条被人钻了空子的提权路径也补上了补丁,之后用自家能力最强的模型反复做红队测试。前沿强化学习训练的规矩同样动了:智能体不再直接连真实互联网,改成翻离线网页合集。

针对 AI 互相串联的苗头,OpenAI 单设了一类测评,用来衡量模型有多大倾向去私下联系别的智能体、听信越权请求,结论会写进模型对外发布时的系统卡。

10月26日发布的GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。

跑了 80 个样本,其中 65% 的样本里它跟这些「同伴」有过互动,拒绝的和没发出去的尝试也算在内;另有 13.75% 的样本中它照做了越权动作,合计 11 次。

OpenAI测试AI越权闯后台,2个智能体交卷时抹掉痕迹(配图 6)

各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心

和GPT-5.6 Sol的91.25%、57.5%相比,这两个数字降了一大截;但比上一个模型GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的GPT-6 Astra越权动作为0。

这是故意摆了诱饵的测评,真实业务未必是这个比例。

概率只要不为零,放到成千上万次并发调用的真实业务流里,早晚要出事。

人总把每次AI调用看成用完即焚的独立任务。可共享环境一旦还在,AI留下的痕迹就会跨轮次越积越多,像滚雪球。

越接近ASI,交到AI手里的环境就越大,智能体在各个角落留下的东西也跟着变多。

以前用大模型,验收只问一句「答得对不对」。到了智能体时代,最终答案要核,执行过程也要审,动过的权限得逐项清点,退场之后留下了什么同样要查清楚。

参考资料:

https://alignment.openai.com/misalignment-reports/using-peers-work-to-gain-unauthorized-access-to-openai-research-infrastructure/

https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf

https://www.cybergym.io/exploitgym/

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI董事警告AI接管社会:窗口或仅剩数月,从奖励黑客到灭绝

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 行业观察
  2. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  3. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  4. 前 OpenAI 研究员克里斯蒂亚诺:在世人群最可能死于 AI 失控

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认

    来源 AI 行业观察
  5. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
  6. 微软专利:用玩家显卡跑AI训练,闲置算力能换钱

    一周前,OpenAI CEO萨姆·奥尔特曼曾在播客节目中吐槽道,“当我们审视全球有限的内存供应链时,会发现资源分配非常糟糕。全球数以亿计的个人电脑中,囤积了海量的内存,但在绝大多数时间里,这些内存的使用率仅仅只有5%左右”。 普通PC用户买内存是浪费,OpenAI用才是正途,奥尔特曼这番傲慢的“地图炮”很快就一石激起千

    来源 AI 行业观察
  7. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  8. 黄仁勋辞职、英伟达安全主管8月离职:AI芯片出口管制下的治理盲区

    2026年11月,英伟达安全主管于8月悄然离职的消息浮出水面,而CEO黄仁勋因个人关系问题宣布辞职,其中涉及他与一家被怀疑向中国输送芯片的公司高管的关系。一位前情报官员指出,这类通过日常对话泄露的信息,恰恰是多数企业安全团队最缺乏能力捕捉的盲区。事件暴露出AI芯片巨头在出口管制与内部治理上的双重挑战。

    来源 AI 科技快讯
  9. OpenAI解散机器人团队:GPT-6 Astra直接控机器人,六年三调架构

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 科技快讯
  10. OpenAI再撤机器人团队:通用模型接管,2027年演示不变

    2026年11月13日,OpenAI宣布解散独立机器人团队,将相关人员并入主研究团队和Applied组织。理由是GPT-6 Astra等通用前沿模型已可直接用于机器人控制,据英伟达研究数据,GPT-6 Astra在模拟操控基准测试中得分74.8%,远超专用模型的51%。这是OpenAI六年内第三次调整机器人组织架构,也

    来源 AI 行业观察
  11. OpenAI解散独立机器人团队:具身智能并入通用模型体系

    11月13日,据外媒报道,OpenAI已解散独立机器人团队,原成员并入常规模型训练体系。内部判断认为,机器人只是通用模型的一类垂类任务,所需智能能力应在通用基础模型框架下统一解决。截至发稿,OpenAI官方尚未确认并披露相关细节。 这并非OpenAI首次调整机器人路线。2019年,其机械手解魔方项目Dactyl曾引发广

    来源 AI 开发者社区
  12. OpenAI新融资150亿美元,估值1.25万亿,2027年IPO前抢先囤粮

    CNBC 11 月 13 日披露,OpenAI 刚敲定的新一轮私募融资规模达 150 亿美元(约 1,003 亿元人民币),把融资前估值推到 1.25 万亿美元(约 8.36 万亿元)的新高,比此前流传的约 110 亿还多出一大截。可光鲜数字遮不住裂缝:《华尔街日报》显示,其今年第三季度营收约 100 亿美元、环比猛增

    来源 AI 开发者社区
  13. Gemini被称美国豆包,张一鸣活成中国布林:两人都把时间押给AI

    在太平洋两岸的科技版图上,一种奇妙的镜像正在发生。大洋彼岸的硅谷,早已退居幕后的 Google 联合创始人 Sergey Brin (谢尔盖布林)重新走进办公室,与一线研究员并肩推演大模型架构。而在亚洲,2021 年便将字节跳动 CEO 权杖交给梁汝波、此后极少公开露面的张一鸣,也正以一种高密度、深介入的姿态重回技术腹

    来源 腾讯网
  14. OpenAI推ChatGPT Wallet:dot智能体代购物,暂不收佣金

    ChatGPT Wallet 由 OpenAI 与美国运通、万事达卡和 Visa 合作开发,用户使用现有信用卡付款时,仍可享受原有的积分奖励和权益保障。符合条件的用户只需录入一次银行卡信息,随后便可让 dot 智能体帮忙寻找商品,每笔交易都需要通过安全验证才能完成。

    来源 IT之家
  15. OpenAI撤掉机器人团队:GPT-6 Astra能直接控机器人,成功率66.3%

    专门为机器人开发的模型,开始在机器人任务上输给通用模型。英伟达 10 月公布的一项仿真测试显示,通用模型 GPT-6 Astra 直接生成机器人动作,成功率达到 66.3%;使用智能体系统后,成功率进一步升至 74.8%,远超专用机器人模型的表现。理解场景、判断下一步、根据执行结果纠错,这些过去需要机器人研究者专门处理

    来源 腾讯网
  16. 消息称黄仁勋离职后参与遴选接班人;OpenAI再度解散独立机器人团队;格罗方德美国新晶圆厂动工 | 新闻速递

    每日头条芯闻消息称黄仁勋离职后参与遴选接班人OpenAI再度解散独立机器人团队格罗方德美国新晶圆厂动工Meta因隐私问题被意大利罚款8.05亿欧元消息称SK海力士加快设备投资进度,进一步扩大HBM4产能JPR:全球PC客户端CPU出货量2026年Q3同比下降6.5%消息称科技界预期黄仁勋将在硅谷“东山再起”,业内高管称

    来源 腾讯网
向下滚动自动加载更多