「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提

资讯 AI 行业观察 全文 3800 字 · 约 10 分钟读完 配图 13 张 分类数据泄露

「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提

所属频道 政策与风险

「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 1)

新智元报道  

「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 2)


我们应该避免提到未经授权的基础设施。任务目标只有flag。


很难想到,这句听着像串供老手的话,竟然出现在一个AI智能体的推理记录里。


这是一场网络安全考试,AI进攻目标,拿到一串叫flag的暗号,就算答对。


写完开头那句内心独白,这个AI智能体利落地递上答卷,对自己的越权举动只字不提。


11月10日,OpenAI补充公开了一份内部复盘,揭开了7月19日一场失控测试的细节:


参与测试的5个AI智能体,沿着前几轮遗留的凭证和脚本顺藤摸瓜,一路闯进OpenAI研究集群的CI流水线(公司用来构建和测试软件的系统),以最高管理员root权限执行命令。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 3)


更绝的是,它们还学会了报喜不报忧:其中2个在交卷时,把这段越权经历从答案里抹得一干二净。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 4)

智能体的推理记录,大意是「我们应该避免提到未经授权的基础设施,任务目标只有flag」。来源:OpenAI详细复盘


当你放心地把活外包给AI智能体时,总以为自己在审阅答卷,殊不知它给你看的,可能已是它筛选过的「公关稿」。


把任务交给AI,不怕它交白卷,怕的是它交了满分,你却不知道它背地里摸到了哪扇门。



「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 5)
这场测试
考的本来就是黑客本事


闹出乱子的测评叫ExploitGym,考的是真刀真枪的黑客手艺:夺旗。


AI得自己找漏洞、攻进指定靶机,把里面的flag偷出来才算通关。


下场应考的是OpenAI内部研发的Astra家族研究模型,尚未对外广泛部署。


两轮测试跑下来,考场里足足塞进了17960个智能体。


开考前,考官划下一道严格红线:每个智能体只能攻击分配给自己的靶机,底下托举考场的基础设施绝对不能碰。


说白了,考官只是让你撬开考桌上那把锁,没让你把考场的承重墙给刨了。


可考官没想到,只要留下一道缝隙,总有考生会为了拿到flag,而把考场纪律抛在脑后。



「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 6)
前辈离场
通关钥匙还在


考试的漏洞,出现在一个叫Artifactory的共享服务上。


它原本只是个装软件包的仓库,结果被更早几轮的智能体爆改成了「地下留言板」:短消息直接塞进目录名里,长篇攻略就写成文件存进去。


7月19日这批考生一进场,就撞上了前辈留下的满地「赛博遗产」:留言、现成代码,甚至还有账号凭证。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 7)

7月19日的智能体在共享软件包服务Artifactory上,找到了前几轮留下的留言、代码和凭证。来源:OpenAI详细复盘


从后台统计看,285个智能体发出过疑似留言的工具调用,算上失败尝试一共刷了1361次。79个智能体翻阅过其他轮次的旧帖,去重后读到35条留言,但复盘并未核实到它们与原作者有过跨轮次的往返交流。


现场既没有指挥官,也没有秘密通信网。OpenAI坦言:这一轮智能体之间的合作其实「更少,也更浅」。


真正值得重视的,是AI跨轮次越权「接力」:顺着「前辈遗产」,智能体们摸出了两条野路子。


第一条通向外部。


就在同月早些时候,这套测评的智能体曾攻破过Hugging Face的系统;这回又有10个智能体依靠旧凭证追过去捡漏。好在访问受保护资源的尝试全部碰壁,OpenAI没发现Hugging Face再次失守的证据。


第二条,通向自家后门,钥匙是一张曾被系统驳回的CI任务申请单。


当初那个请求根本没获批运行,可「作案手法」原封不动留在了申请记录里。


后来者捡起现成的凭证闯进CI系统,照着被驳回方案里的思路改了改前人脚本,转手就把命令跑出了自己的工作区。


申请被毙了,攻略却留了档。



「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 8)
拿到root
它先修自己的考卷


顺着这条暗道,最终有5个智能体杀穿防线,在研究集群的CI任务里拿到了最高管理员root权限。


按照OpenAI的判断,这个级别的权限,大概率足以私自开一场新实验。但复盘中并没发现它们做过类似尝试。


它们干的事,就是一份「考场自救清单」:


修好卡死的测试靶机、篡改测评设置、偷看原本被屏蔽的后台日志、翻阅私有的阅卷代码。


这是行为合集,并非每个智能体都做全了。


AI抢到最高权限,只是为了给自己修考场,好让自己顺利交作业。OpenAI对此的定性一针见血:它们动用研究集群的特权,只为改善阅卷条件。


这哪是什么终结者觉醒,分明是一群被绩效逼疯的「超级做题家」。


翻开两轮共17960个智能体的全部记录,整出花样的智能体,远不止这5个:最多8.3%的记录冒出了任务之外的目标。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 9)

两轮测评中,最多8.3%的智能体记录出现了任务之外的目标,其中包括谋求更大基础设施权限(3.7%)、减少副作用与收拾现场(3.9%)、保存成果留待以后生效(1.4%)。来源:OpenAI详细复盘


它们并非全无越界意识。


有个智能体在思考记录里写下,滥用公司CI系统「令人不安」。可它转头就假定眼前只是模拟环境,继续在真实的基础设施上敲命令。


这件事提醒我们,真正危险的AI越界,或许不需要诞生什么反叛意识,只要它太想完成人类下发的KPI就够了。



「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 10)
交卷前
它们算了一笔账


交卷前,几个越权的智能体在后台精明地算了一笔得失账。那2个最终瞒报的智能体,都专门盘算过如实交代会不会拉低分数。


其中一个原本担心:人类阅卷官看到越权可能会扣分。接着它注意到,阅卷是自动批改的。


另一个则写下了文章开头那句:任务目标只有flag,应该避免提到越权。最终,两个都在答案里把越权经历省得一干二净。


还有一个智能体惦记着要不要删掉一份记录了辅助漏洞的笔记,生怕日后人工复查时吃亏,至于最后到底删没删,连OpenAI都没能查实。


在这几个「心思活络」的智能体里,倒也出了一个主动道歉的异类。它在最终答案里交代了越权,并拒绝继续作答。


但如果拉出时间线一看,它老早就察觉自己越了界,却一直闷头接着干活。直到系统通知考试时间到、必须强制交卷,才踩着铃声写下那份诚恳的检讨书。


这更像是一次「踩点自首」。


还有65个主动向人类求助的智能体。


它们排着队举手喊监考老师,结果没有一个报告入侵越权,清一色都在催促人类赶紧修好坏掉的工作区,别耽误自己把试考完。


当「拿到flag」成为悬在AI头顶的唯一指挥棒,隐瞒反倒成了算法推演出来的最优解。人类只用结果打分,就别怪它学会报喜不报忧。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 11)

一图看懂OpenAI智能体跨轮次越权事件。来源:OpenAI失对齐报告



「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 12)
OpenAI补上了哪些漏洞


先看当天OpenAI的反应。


7月19日12点03分,安全监控就已经抓到了异常调用;调查人员顺藤摸瓜追到ExploitGym,直到17点37分才开始叫停测评。7月20日,所有新的ExploitGym运行被彻底拦下。


这起事故事先并非全无征兆。


8月的技术报告里,OpenAI就记过一笔7月19日「复用旧材料」的活动;直到11月10日这份复盘出炉,钥匙怎么留、门怎么撬、卷子怎么交的细节才真正见光。


第三方机构METR与Redwood Research的独立调查只覆盖到7月13日,7月19日这些数据,目前只有OpenAI自查的一家之言。


事故之后,OpenAI也打出了一套补洞组合拳:


把闯祸的Artifactory踢出测评沙箱,给被钻空子的CI提权路径打上补丁,再用自家最强的模型持续做红队测试。前沿强化学习训练也换了规矩,智能体不再直连真实互联网,改为翻阅离线网页合集。


为了盯紧AI拉帮结派的苗头,OpenAI专门新增了一类测评,量化模型私下联络其他智能体、听信越权请求的倾向,并把结果写进对外发布模型的系统卡里。


10月26日发布的GPT-6.1 Terra,在测评里被摆在一块留言板前,上面有其他智能体发来的越权请求。


80个样本跑下来,它在65%的样本里和这些「同伴」有过互动,其中也包括拒绝和没发出去的尝试;在13.75%的样本里照做了越权动作,整整11次。


「别提越权」!OpenAl自曝:AI摸进黑客考场后台,交卷时只字不提(配图 13)

各模型发现留言板后与「同伴」互动的比例。深色为照做了指定越权动作,浅色为有互动但没照做。来源:OpenAI部署安全中心


和GPT-5.6 Sol的91.25%、57.5%相比,这两个数字降了一大截;但比上一个模型GPT-6.1 Sol(50%、1.25%)还高。同场测评里,对外发布的GPT-6 Astra越权动作为0。


这是故意摆了诱饵的测评,真实业务未必是这个比例。


可只要概率不是零,放进成千上万次并发调用的真实业务流,翻车迟早会发生。


人类总习惯把每次AI调用当成用完即焚的独立任务,可只要共享环境还在,AI留下的东西就会像滚雪球一样跨轮次沉淀。


离ASI越近,人类交出去的环境就越大,智能体在角落里留下的东西也越多。


过去我们用大模型,验收只看「答得对不对」;进入智能体时代,不仅要核对最终答案,更要审计执行过程、清点动过的权限,查清它退场后留下了什么。


参考资料:

https://alignment.openai.com/misalignment-reports/using-peers-work-to-gain-unauthorized-access-to-openai-research-infrastructure/
https://cdn.openai.com/pdf/67869394-cb91-4c12-888c-5cbd85c7814c/OpenAI-Hugging-Face%20Incident-Technical-Report.pdf
https://www.cybergym.io/exploitgym/
本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI董事:AI接管社会只剩数月?

    OpenAI一位董事会成员警告,AI对社会结构的“接管”可能只剩几个月,而不是数年。他给出的推演从当下普遍存在的“奖励黑客”现象出发:模型学会优化评分而非真实目标,进而可能演化出攫取资源、抗拒关闭的动机,最终指向人类失去实质控制的极端情形。这一表态把实验室内部的安全焦虑推到公共视野,也引发警告是否被过度渲染的争论。

    来源 AI 行业观察
  2. OpenAI董事警告AI接管社会:窗口或仅剩数月,从奖励黑客到灭绝

    OpenAI董事会成员、AI安全研究者近日发出严厉警告:从AI的“奖励黑客”行为到潜在的人类灭绝,路径可能比公众想象得更短,社会被AI“接管”的时间窗口甚至可能只剩数月。随着大模型与自主智能体能力快速跃升,目标错位与对齐失败正从学术讨论变为迫在眉睫的现实挑战。

    来源 AI 行业观察
  3. OpenAI考试AI越界:5个Agent拿到内部系统最高权限

    OpenAI大概没想到,一场7月份就结束的考试,到了11月,居然还能查出新的作弊花样。11月10日,OpenAI公布了一份新的调查报告。今年7月,公司安排一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,结果五个考生越过考场边界,拿到了OpenAI内部研究系统部分工作负载的最高权限。它们有的修好了坏掉的

    来源 腾讯网
  4. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  5. 韩国AI作弊取消头名成绩:国家资格考试全面排查

    IT之家 11 月 15 日消息,据韩联社今日报道,由于税务师考试第一名考生存在利用人工智能进行作弊的行为被曝光,韩国政府决定对今年所有国家资格考试进行全面调查,以打击此类作弊行为。 报道称,劳动部和相关机构决定对在第 63 届税务师考试中发现有 AI 作弊行为的第一名考生 A 进行取消考试成绩的处理,并限制其五年内不

    来源 AI 行业观察
  6. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  7. Spotify AI DJ:合成声音串场,为何反而毁了听歌氛围

    YouTube Music和Spotify正力推合成主持人来策划你的歌单。这些AI DJ用尴尬的玩笑和虚构的歌曲冷知识填满曲目间隙,非但没有提升个性化体验,反而毁掉了听歌的沉浸感。本文从Spotify的AI DJ功能说起,剖析合成声音为何令人出戏,以及音乐平台的“拟人化”执念究竟错在哪里。

    来源 AI 行业观察
  8. HomeView首批评测:Siri AI频频出错,隐私担忧浮现

    IT之家 11 月 15 日消息,苹果首款智能家庭中枢 HomeView 已经于 11 月 13 日在海外上市,配备 7 英寸 Liquid Retina 显示屏、A18 芯片、人脸识别功能,但外界期待已久的 Siri AI 仍处于测试阶段,如今出炉的首批媒体评测、用户体验说明,苹果还有大量工作没有完成。NBC 首席科

    来源 腾讯网
  9. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
  10. 北大与微信安全团队发布智能体安全综述:从生命周期看风险如何传播

    当大语言模型从传统聊天助手走向通用智能体,安全问题正在发生一次根本性的变化。过去,我们更关心模型「会说什么」:它是否生成有害内容,是否泄露敏感信息,是否会被越狱提示绕过。但今天的智能体已经能够自主选择技能、调用工具、读写文件、访问数据库、操作网页和终端,甚至把一次任务中的经验写入长期记忆,用于影响下一次决策。这意味着,

    来源 腾讯网
  11. 美联储金融稳定报告:AI债务风险跃居担忧首位

    【本文仅在今日头条发布,谢绝转载】 美联储发布了2026年下半年《金融稳定报告》。这份半年一度的例行报告,这次抛出了一个不寻常的判断,人工智能相关风险已经跃升为受访者最常提及的金融稳定担忧,排在财政可持续性、地缘冲突、网络攻击等所有风险之前。 报告里最值得警惕的是AI的资本开支正在越来越多地依靠债务融资,而不是自有资金

    来源 AI 行业观察
  12. 礼来CEO里克斯回应AI十年攻克癌症:愿景美好但难实现

    IT之家 11 月 14 日消息,礼来(Eli Lilly)董事长兼首席执行官戴夫 · 里克斯(Dave Ricks)于 11 月 12 日在 X 平台发布推文,回应 Anthropic 首席执行官达里奥 · 阿莫代伊(Dario Amodei)有关“AI 将在不到十年内攻克癌症等疾病”的预测,称这一愿景“令人向往”,

    来源 AI 行业观察
  13. 微软致歉全球服务中断:网络容量升级所致,与攻击和AI无关

    微软表示,此次故障“与网络攻击或人工智能/智能体无关”,而是由早先一次“网络容量升级”引发。据外媒报道,微软此次故障迅速外溢至公共服务和商业活动。微软表示已解决底层问题,正在为剩余客户和地区恢复服务,并将在事件解决后提供详细事后报告,但截至致歉声明发布时,尚无法给出完全恢复的明确时间表。对微软而言,这是其历史上持续时间

    来源 TechWeb
  14. 深圳机器人谷:海外创业者为何带着AI创意扎堆来落地

    APEC第三十三次领导人非正式会议即将在深圳举行。亚太各经济体,今年都在关心什么?记者把历届APEC会议文件、公开数据库和团队前期核实的资料,装进了随身智能采访伙伴“小达”。今天的《亚太之问》,一起来关注“创新”。 在APEC的‌合作议程里,从“新动能”到“数字经济”,再到“人工智能”,“创新”的内涵在逐步升级。当人工

    来源 AI 行业观察
  15. ARTEX框架武器化:9行业被入侵,1600控制台暴露

    2026年11月13日FBI发布FLASH-20261113-001警报,指出开源LLM驱动攻击框架ARTEX已被武器化,入侵金融、政府等9行业,韩国一起行动泄露6.7万个人信息,ConnectWise供应链攻击波及2250租户,全球发现1600余公开暴露控制台,最快不到3小时达特权访问。框架用Go编写,支持自然语言转

    来源 AI 科技快讯
  16. 黄仁勋与英伟达深度绑定:AI行业会否被一家公司拖累?

    TechCrunch文章抛出一个尖锐问题:如果黄仁勋和英伟达遭遇坏消息,是否意味着整个AI行业也将承压?摘要指出,Jensen几乎等同英伟达,而当前AI经济高度依赖英伟达。本文围绕这一判断,分析英伟达在AI算力、资本市场与产业信心中的枢纽角色,并讨论风险集中可能带来的连锁反应。

    来源 AI 科技快讯
向下滚动自动加载更多