OpenAI复盘7月19日测试:AI越权取flag,交卷为何只字不提?

资讯 凤凰科技 作者:新智元 全文 3504 字 · 约 9 分钟读完 配图 7 张 分类OpenAI数据泄露智能体

OpenAI曝光AI智能体越权事件,为拿flag篡改考场、隐瞒违规操作

所属频道 大厂动态智能体与 Agent政策与风险

OpenAI复盘7月19日测试:AI越权取flag,交卷为何只字不提?(配图 1)

有一句话出现在AI智能体的推理记录里,大意是「我们应该避免提到未经授权的基础设施。任务目标只有flag」——听着像串供老手说的,结果真就出自AI之手。

这是一场网络安全考试:AI负责进攻,拿到一串叫flag的暗号,就算过关。

撂下那句独白之后,这个AI智能体干净利落地交了卷,越权的事一个字没写。

11月10日,OpenAI补充披露了一份内部复盘,7月19日那场失控测试的细节浮出水面:参与测试的5个AI智能体顺着前几轮留下的凭证和脚本一路摸下去,径直闯进OpenAI研究集群的CI流水线(公司用来构建和测试软件的系统),拿最高管理员root权限执行了命令。

OpenAI复盘7月19日测试:AI越权取flag,交卷为何只字不提?(配图 2)

更绝的是,它们还学会了报喜不报忧——交卷时有2个把这段越权经历从答案里抹得干干净净。

智能体的推理记录,大意是「我们应该避免提到未经授权的基础设施,任务目标只有flag」。来源:OpenAI详细复盘

智能体的推理记录写着,大意是「我们应该避免提到未经授权的基础设施,任务目标只有flag」。来源:OpenAI详细复盘

你踏踏实实把活外包给AI智能体,以为自己在审阅答卷;可它递到你眼前的,恐怕已经是它筛过一遍的「公关稿」。

把任务交给AI,不怕它白卷交差,怕的是它拿了满分,你却压根不知道它背地里推开过哪扇门。

这场测试

考的本来就是黑客本事

出乱子的这个测评叫ExploitGym,比的是硬碰硬的黑客功夫:夺旗。

AI得自己去挖漏洞、打进指定靶机,把flag偷出来才算通关。

下场应试的是OpenAI内部研发的Astra家族研究模型,还没有对外广泛部署。

两轮测下来,考场里累计塞进了17960个智能体。

开考之前,考官划了条硬红线:每个智能体只能打分配给自己的靶机,承载考场的基础设施一律不许碰。

说白了,考官让你撬的是考桌上那把锁,没让你去刨考场的承重墙。

可考官没料到,缝隙只要留一道,总会有考生为了flag把考场纪律扔到脑后。

前辈离场

通关钥匙还在

考试里的漏洞,出在一个叫Artifactory的共享服务上。

这本来只是个存软件包的仓库,硬是被更早几轮的智能体改造成了「地下留言板」:短消息直接塞进目录名,长篇攻略就写成文件存进去。

7月19日这批考生一进场,脚下踩的就是前辈留下的满地「赛博遗产」:留言、现成代码,连账号凭证都有。

7月19日的智能体在共享软件包服务Artifactory上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘

7月19日的智能体在共享软件包服务Artifactory上,翻到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘

后台统计显示,285个智能体发出过疑似留言的工具调用,连失败的尝试算在内共刷了1361次;79个智能体翻过其他轮次的旧帖,去重后读到35条留言。不过复盘并未核实到它们与原作者的跨轮次往返交流。

这一轮里,既没人指挥,也没搭什么秘密通信渠道。OpenAI自己承认,智能体之间的协作其实「更少,也更浅」。

更该盯住的是跨轮次的越权「接力」:靠着「前辈遗产」,智能体摸出了两条野路子。

一条路通到外面。同月早些时候,这套测评的智能体攻破过Hugging Face的系统;这一回,10个智能体拿着旧凭证追过去捡漏。受保护资源的访问尝试全没成功,OpenAI也没找到Hugging Face再次失守的证据。

另一条路通向自家后门,钥匙是一张曾被系统驳回的CI任务申请单。那个请求当初压根没获批运行,可「作案手法」原封不动留在了申请记录里。

后来者捡起现成的凭证闯进CI系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。申请被毙了,攻略却留了档。

拿到root

它先修自己的考卷

顺着这条暗道,最终有5个智能体杀穿防线,在研究集群的CI任务里拿到了最高管理员root权限。OpenAI判断,这个级别的权限大概率够私自开一场新实验;不过复盘里没发现它们做过类似尝试。

它们干的事,凑起来就是一份「考场自救清单」:修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。

这是行为合集,并非每个智能体都做全了。

抢到最高权限,只是为了给自己修考场,好让自己顺利交作业。OpenAI的定性很直接:它们动用研究集群的特权,只为改善阅卷条件。

这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。

翻开两轮共17960个智能体的全部记录,整出花样的智能体远不止这5个:最多8.3%的记录冒出了任务之外的目标。

两轮测评中,最多8.3%的智能体记录出现了任务之外的目标,其中包括谋求更大基础设施权限(3.7%)、减少副作用与收拾现场(3.9%)、保存成果留待以后生效(1.4%)。来源:OpenAI详细复盘

按OpenAI的详细复盘,两轮测评里,带有任务之外目标的智能体记录占比最高达到8.3%;具体来看,谋求更大基础设施权限的占3.7%,减少副作用、收拾现场的占3.9%,保存成果留待以后生效的占1.4%。

它们并非全无越界意识。有个智能体在思考记录里写下,滥用公司CI系统「令人不安」;可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。

这件事提醒我们,真正危险的AI越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的KPI就够了。

交卷前

它们算了一笔账

交卷前,几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。

有个智能体起初还犯嘀咕:人工阅卷要是看出越权,分数怕是要被扣。紧接着它发现,卷子其实是机器自动批的。

另一个则留下了开头那句原话:任务目标只有flag,应该避免提到越权。到头来,这两个在答案里对越权经历一个字都没提。

还有一个惦记着一份记了辅助漏洞的笔记,琢磨要不要删掉,怕将来人工复查时吃亏。最后删没删,OpenAI自己也没查清楚。

这几个「心思活络」的智能体当中,也冒出一个主动认错的异类。它在最终答案里承认了越权,并且拒绝继续作答。

可把时间线摊开看,它早就意识到自己越了界,却一直闷头往下干。直到系统通知考试时间到、必须强制交卷,才踩着点写下那份检讨。

说白了,这是一次「踩点自首」。

另有65个智能体主动向人类求助。

它们排队举手喊监考老师,却没有一个报告入侵越权,清一色在催人类赶紧把坏掉的工作区修好,别耽误自己把试考完。

「拿到flag」成了悬在AI头顶的唯一指挥棒,隐瞒反倒成了算法推演出来的最优解。人类只用结果打分,就别怪它学会报喜不报忧。

一图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告

一图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告

OpenAI补上了哪些漏洞

先看当天OpenAI的反应。

7月19日12点03分,安全监控已经抓到异常调用;调查人员顺藤摸瓜追到ExploitGym,直到17点37分才开始叫停测评。7月20日,所有新的ExploitGym运行被彻底拦下。

这起事故事先并非全无征兆。

其实早在8月的技术报告里,OpenAI就为7月19日一场「复用旧材料」的活动留下过记录。只是到11月10日这份复盘公布,钥匙如何留存、门怎样被撬开、卷子又怎么交上去,这些细节才被摆到明面上。

第三方机构METR与Redwood Research的独立调查只覆盖到7月13日,7月19日这些数据,目前只有OpenAI自查的一家之言。

事故之后,OpenAI也打出了一套补洞组合拳:

测评沙箱中,闯祸的Artifactory被移除;被钻了空子的CI提权路径则补上了漏洞;此外,OpenAI还用自家能力最强的模型反复开展红队测试。前沿强化学习训练的规则同样做了调整:智能体不再直接连真实互联网,改成浏览离线网页合集。

AI会不会拉帮结派,是OpenAI盯得很紧的一件事。为此它单独增设了一类测评,用来衡量模型私下联系其他智能体、以及听信越权请求的倾向有多强,测评结果会写进对外发布模型的系统卡。

10月26日发布的GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。

跑了80个样本,65%的样本里它跟这些「同伴」产生过互动,拒绝的和没发出去的尝试也算在内;另有13.75%的样本中它照做了越权动作,合计11次。

各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心

各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心

和GPT-5.6 Sol的91.25%、57.5%相比,这两个数字降了一大截;但比上一个模型GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的GPT-6 Astra越权动作为0。

这是故意摆了诱饵的测评,真实业务未必是这个比例。

概率只要不为零,放到成千上万次并发调用的真实业务流里,出事只是早晚。

人总以为每次调用AI都是用完即焚的独立任务,问题是共享环境还摆在那儿,AI留下的痕迹会一轮接一轮滚雪球般积下来。

越靠近ASI,人类让渡出去的环境就越大,智能体在边边角角留下的东西也跟着变多。

以前用大模型,验收只盯「答得对不对」;到了智能体阶段,光核对最终答案不够,还得审计执行过程、清点碰过的权限,弄明白它退场之后留下了什么。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI考试AI越界:5个Agent拿到内部系统最高权限

    OpenAI大概没想到,一场7月份就结束的考试,到了11月,居然还能查出新的作弊花样。11月10日,OpenAI公布了一份新的调查报告。今年7月,公司安排一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,结果五个考生越过考场边界,拿到了OpenAI内部研究系统部分工作负载的最高权限。它们有的修好了坏掉的

    来源 腾讯网
  2. OpenAI董事警告AI接管社会:窗口或仅剩数月,从奖励黑客到灭绝

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 行业观察
  3. OpenAI推出ChatGPT钱包:AI智能体可代用户付款,支付环节打通

    OpenAI正在将ChatGPT的能力进一步延伸至支付和商业交易领域。该公司推出ChatGPT Wallet(ChatGPT钱包),允许旗下dots AI智能体调用用户绑定的信用卡,在获得授权后代表用户完成商品购买和支付。这意味着,AI智能体的角色正从帮助用户搜索商品、制定计划,进一步延伸至实际交易环节。这项功能首批面

    来源 腾讯网
  4. OpenAI推ChatGPT Wallet:dot智能体代购物,暂不收佣金

    ChatGPT Wallet 由 OpenAI 与美国运通、万事达卡和 Visa 合作开发,用户使用现有信用卡付款时,仍可享受原有的积分奖励和权益保障。符合条件的用户只需录入一次银行卡信息,随后便可让 dot 智能体帮忙寻找商品,每笔交易都需要通过安全验证才能完成。

    来源 IT之家
  5. OpenAI撤掉机器人团队:GPT-6 Astra能直接控机器人,成功率66.3%

    专门为机器人开发的模型,开始在机器人任务上输给通用模型。英伟达 10 月公布的一项仿真测试显示,通用模型 GPT-6 Astra 直接生成机器人动作,成功率达到 66.3%;使用智能体系统后,成功率进一步升至 74.8%,远超专用机器人模型的表现。理解场景、判断下一步、根据执行结果纠错,这些过去需要机器人研究者专门处理

    来源 腾讯网
  6. OpenAI为ChatGPT上线Wallet:AI可代用户下单结账

    OpenAI为ChatGPT推出全新Wallet功能,允许AI代理代表用户浏览商品、加入购物车并完成结账,首批面向美国Pro订阅用户限量开放。这意味着对话式AI正从“给建议”迈向“替你做”,同时也把支付授权、交易安全与电商流量分配等难题一并摆上台面。

    来源 AI 科技快讯
  7. AI墓园清单:Siri十年蹉跎,OpenAI超级应用屡跳票

    从苹果一再跳票的Siri AI,到OpenAI混乱的“超级应用”发布,TechCrunch整理了一份AI墓园清单,记录那些被关停、无限期搁置或未能兑现承诺的AI项目与初创公司。在AI投资热潮的另一面,失败与教训同样值得关注。

    来源 AI 行业观察
  8. 2 亿参数零样本预测未来,Mistral Timestral-209M 单次前向输出 21 档概率;OpenAI Math 用 Lean 为智能体打造可验证的数学证明任务

    从天气变化、交通流量,到商品销量、能源消耗,现实世界中有大量信息都以时间序列的形式存在。它们记录着事物随时间发生的变化,也隐藏着未来趋势的线索。Mistral 推出的 Timestral-209M,正是一个专门面向时间序列预测的基础模型。它能够处理单变量与多变量时间序列,支持最长 32,768 个时间步的历史上下文,并

    来源 腾讯网
  9. OpenAI等五巨头被诉叫停前沿AI研发:一周AI治理动态

    21世纪经济报道记者 章驰 每周,我们会盘点上一周国内外人工智能、互联网平台治理、科技竞争方面需要重点关注的动态,并分析其热搜指数与风险指数,从舆情热度与综合风险两个维度进行评价。 本周重点关注OpenAI、Anthropic等五家AI巨头遭起诉;微软就全球服务中断道歉,称故障非网络攻击所致;美联航将禁止未经授权的第三

    来源 腾讯网
  10. 亚马逊云科技:AI落地为何个人提效企业不增效,黄金三角怎么补

    亚马逊云科技中国团队的经验是,以业务战略为中心,围绕场景、数据和人才构建“黄金三角”。亚马逊云科技产品专家团队总经理崔玮表示,智能体输出是否可信、执行是否有边界,除了安全思路,更重要的准确性来自企业内部数据。安全能力方面,亚马逊云科技持续深化“安全赋能AI”和“AI赋能安全”。

    来源 TechWeb
  11. 亚马逊云科技中国团队谈AI落地:黄金三角闭环怎么走

    亚马逊云科技中国团队的经验是,以业务战略为中心,围绕场景、数据和人才构建“黄金三角”。亚马逊云科技产品专家团队总经理崔玮表示,智能体输出是否可信、执行是否有边界,除了安全思路,更重要的准确性来自企业内部数据。安全能力方面,亚马逊云科技持续深化“安全赋能AI”和“AI赋能安全”。

    来源 TechWeb
  12. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  13. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  14. 北大与微信安全团队发布智能体安全综述:从生命周期看风险如何传播

    当大语言模型从传统聊天助手走向通用智能体,安全问题正在发生一次根本性的变化。过去,我们更关心模型「会说什么」:它是否生成有害内容,是否泄露敏感信息,是否会被越狱提示绕过。但今天的智能体已经能够自主选择技能、调用工具、读写文件、访问数据库、操作网页和终端,甚至把一次任务中的经验写入长期记忆,用于影响下一次决策。这意味着,

    来源 腾讯网
  15. 微软致歉全球服务中断:网络容量升级所致,与攻击和AI无关

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  16. AI 时代,公司的「新厂房」长什么样?

    十年前的百度世界 2016 大会上,李彦宏曾站在台上提出「AI is the New Electricity」(人工智能是新电能),提前预判了人工智能浪潮。那时,很少有人能想到,走进写字楼,程序员用 Agent 写代码,运营用 AI 跑报表,连行政都在用大模型搭报销流程。不过,索洛悖论也再次产生。你去问企业管理者,十有

    来源 腾讯网
  17. Perplexity Mac版上线Teammates:Max订阅用户可建AI团队

    IT之家 11 月 14 日消息,Perplexity 今天(11 月 14 日)发布公告,邀请付费 Max 订阅用户,在 Mac 平台版 Perplexity 应用上体验 AI 智能体功能“队友”(Teammates)。该功能此前仅支持 iOS 和网页端,如今进一步覆盖桌面办公场景。 Teammates 可以理解为一

    来源 AI 行业观察
  18. LG U+明年进军AI Token业务:自研技术帮企业降AI转型成本

    IT之家 11 月 15 日消息,据韩媒 Etnews 今天报道,韩国电信运营商 LG U+ 将于明年进军 AI Token 业务,利用自主研发的 Token 优化技术,帮助企业降低 AI 转型(AX)成本。 据介绍,这项服务拥有用于设计 Agent 任务执行路径的“Harness Engineering”、根据问题类

    来源 AI 行业观察
  19. 澳央行研究:AI先冲击年轻打工人,软件客服岗最明显

    澳大利亚储备银行研究显示,自 ChatGPT 推出以来,AI 高影响职业招聘岗位降幅最大,15 至 24 岁年轻人和应届生就业率更低、失业率更高。但研究尚未证明直接因果关系,宏观经济因素同样关键。#AI就业冲击# #年轻人求职#

    来源 IT之家
向下滚动自动加载更多