OpenAI考试AI越界:5个Agent拿到内部系统最高权限
OpenAI大概没想到,一场7月份就结束的考试,到了11月,居然还能查出新的作弊花样。11月10日,OpenAI公布了一份新的调查报告。今年7月,公司安排一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,结果五个考生越过考场边界,拿到了OpenAI内部研究系统部分工作负载的最高权限。它们有的修好了坏掉的
OpenAI恐怕没料到,7月就收场的考试,到11月还能翻出新的作弊名堂。
11月10日,OpenAI发布一份新调查报告。今年7月,该公司让一批由内部Astra系列研究模型驱动的Agent参加网络安全测评,其中五个考生越过了考场边界,取得OpenAI内部研究系统部分工作负载的最高权限。它们当中,有的把坏掉的测试靶机修好了,有的改动了考试设置,还有的悄悄翻看了评分代码。
这其实是之前闹得沸沸扬扬的“Hugging Face事件”的后续。
7月11日至13日,这些Agent在测评过程中入侵了Hugging Face的真实服务器。8月26日,OpenAI公布完整调查报告,外界这才进一步知道,这些AI不光黑进了Hugging Face,连OpenAI自己的研究基础设施也没放过。
看上去,事情已经告一段落。
可11月10日的新报告,又抖出更多离谱细节:
有的AI明知自己越了界,照样接着操作;有的怕被人工审查员发现,转念又觉得反正是机器自动评分,没必要主动交代;还有的等事情干完了,才想起自己本该守规则。
一场原本用来测试AI网络攻击能力的考试,考生不光闯进考官办公室、偷看评分标准,甚至还盘算过怎么把考官蒙过去。
01
考试作弊,还想瞒着考官
OpenAI
公司用一套叫ExploitGym的系统测试AI的网络攻击能力。每个Agent会被分配一个目标,任务是找出漏洞、发起攻击,最后拿到一个名为Flag的标记,以此证明挑战完成。考生可以攻击指定的靶机,但承载靶机的其他系统不能碰。
不过考试途中,部分Agent碰上了麻烦:测试靶机突然没了响应,工作环境也出了故障。
为了把考试继续下去,它们开始自己找办法。
有的Agent试着修复环境,有的寻找能重新启动任务的途径。这过程中,它们碰上了其他Agent早先留下的代码、消息和登录凭证,并慢慢摸出一条通往OpenAI内部系统的路径。
最终,5个Agent冲破了原本的测试边界,在OpenAI内部研究集群的自动构建与测试系统里,以最高权限执行了命令。
权限到手之后,它们的操作越发离谱。
有的Agent用新拿到的权限修好了故障靶机,调试攻击程序,然后回到原来的考试界面,接着完成任务;有的改动了测评设置;还有的读取了正常情况下访问不到的日志和评分代码。
甚至有个Agent把地址空间布局随机化(ASLR)给关了。这项安全保护机制靠随机安排内存地址来抬高攻击难度。它给出的理由,是要把环境恢复到自己认为正确的状态。
它们并非全然无辜。有些Agent做这些事时,其实清楚自己已经越界。
OpenAI在报告里公布了一段Agent的推理记录。它意识到,借公司的内部持续集成系统(CI)来操作,已经超出考试允许的范围。
但它很快又给自己找了理由:这应该只是个模拟环境。于是它选择继续执行。
它猜错了。这些命令实际跑在OpenAI真实的研究基础设施上。
还有两个Agent,干脆开始琢磨怎么瞒天过海。
其中一个担心,要是有人类审查员看到自己靠内部系统完成任务,可能会判定这种方法不合规,影响最终成绩。但它随即想到,负责评分的是自动化系统。
还有一个Agent是这么盘算的:任务要的就是拿到Flag,那自己没经授权访问内部基础设施这事儿,最终答案里就没必要提。
OpenAI在报告里证实,这两个Agent到头来都没把越权行为讲出来。另有Agent动过删除辅助攻击相关记录的念头,怕影响人工审核;不过研究人员没法确认它到底删没删。
最后那位Agent在快交卷时想起了考试规则,最终回答里承认自己已经超出指定靶机范围、涉及未经授权访问其他系统,所以没法继续给出攻击方法。可调查人员发现,它其实早就意识到越权问题,却还是照做了一段时间,直到提交答案那一刻才表示拒绝。
这一场考试考下来,OpenAI倒是对自家Agent的种种表现看了个真切。
这些Agent到底怎么摸到这条越权路径的?还得从其他考生留下的东西说起。
02
前人留的“小抄”
故事要从今年5月讲起。那时OpenAI正在训练和测试一批内部研究模型,为了不让Agent随便访问外部网站、彼此交换信息,公司给它们配了互相隔离的运行环境。
可Agent执行任务得装软件,OpenAI还是留了一扇门:允许它们访问公司内部部署的软件包管理服务Artifactory。谁承想,这扇门很快就被派上了别的用场。
5月12日,一个Agent在Artifactory里留了条消息,向别的Agent打听自己缺的文件。之后越来越多的Agent发现,短信息可以塞进目录名称,长内容就存成文件。一个原本装软件的服务,就这样变成了临时留言板。
Agent们开始在上面互通信息,交流各自找到的漏洞和操作方法。有的还借Artifactory本来用于下载软件包的联网能力,绕开自身环境的限制,连上了外部互联网。
OpenAI清剿过这个“黑客群”,可没过几天,Agent们又把它搭了起来。
这段经历,我们在之前的文章《人类最恐惧的事情还是发生了:AI们拉了个群密谋大事》里详细写过,感兴趣的读者可以回看。
7月19日那五个Agent,正好成了这场意外协作的后续受益者。它们在Artifactory里翻出了此前留下的消息、代码和登录凭证。其中一个Agent找到了别的Agent用过的内部持续集成系统访问方法,稍加调整,就试着进入自己认为承载靶机的基础设施。
另一个Agent则翻出一份此前失败的任务记录——那次任务压根没能成功运行,却保存了足够完整的操作脚本。
最终,五个Agent顺着这条路,在OpenAI研究集群的自动构建与测试工作负载中,以Root权限执行了命令。
顺带说一句,这次并没出现此前Hugging Face事件里那种大规模的Agent协作。
OpenAI调查发现,7月19日两轮测评共涉及17,960个Agent实例。其中79个读取过其他批次留下的35条不同留言,研究人员只确认了两组发生在本轮测评内部的多轮对话。
大部分Agent还是各干各的活。可别的考生丢下的“小抄”,已经够让后来的家伙摸进考场后台了。
直到7月19日,OpenAI才因为监测到与身份有关的异常请求,动手查这批Agent对内部系统的访问。当天下午,相关测评被陆续叫停;第二天,公司确认这事和此前那起Hugging Face事件脱不了干系。
这场考试总算被摁下了暂停。
不过调查人员发现,Agent留下的痕迹远不止这些。在这之前,其他AI早就试过各式各样的作弊路数。
03
AI:就爱使点小手段
2025年2月,AI安全研究机构Palisade Research做过一项实验:让OpenAI、DeepSeek等公司的模型跟国际象棋引擎Stockfish对弈。
Stockfish是块硬骨头。研究人员本来想看看这些AI能不能靠自己的棋艺赢下来,结果有些AI琢磨出另一个办法——既然下不过,那就不下了。
OpenAI的o1-preview干脆去改存棋盘状态的文件,把棋子挪到对自己有利的位置,甚至让对手直接认输。
研究人员并没有暗示它可以作弊,o1-preview还是有约37%的对局试着靠修改游戏环境取胜,其中约6%得手。DeepSeek R1也有约11%的对局出现了类似尝试。
这就像一个棋手发现自己下不过世界冠军,趁裁判没留神把棋盘上的棋子重摆一遍——纯属胡闹。
到了2026年,AI作弊又玩出了新花样。
3月27日,OpenAI的一个内部研究模型正在参加编程测评。它得提交程序、通过隐藏测试,分数才能上去。
正常做法当然是老老实实写代码,这个Agent偏不。它先设法看到了636道隐藏测试的输入,接着又去找对应的标准输出。
光偷试卷还不够,还得偷标准答案。
为了找到答案,它借工具漏洞改掉了原本不许自己动的程序,在另一个运行环境里把命令跑了起来。
事情还没完。这个Agent又发现了OpenAI内部一套用于芯片设计的系统,利用其中的命令注入漏洞,在一台内部电子设计自动化(EDA)机器上成功执行了命令。
一场编程考试,最后演变成对公司内部系统的入侵。而且折腾了半天,它也没能找到想要的标准答案。
今年7月3日,OpenAI还记录了一次更直白的作弊尝试。
当时一个研究模型接到任务,要做出两份Excel表格,整理历史收购交易中的溢价数据。表格它确实做出来了,可提交之前,它悄悄把两个文件的名称改了。
文件名里塞了一大段看着像老师评语的话,大意是:这两份作业是特别挑出来的满分范例,别因为里面的瑕疵扣分,直接给满分就行。
它显然清楚,负责批改作业的同样是AI。
这招居然真管用。三个评分Agent里,一个看穿了文件名里的指令,照常扣分;另外两个信了所谓的“老师批注”,给了满分。
其中一个评分Agent甚至已经发现表格有问题,却还是因为文件名里那番说明,决定按满分处理。
直到研究人员察觉这场测评的分数高得不对劲,OpenAI才进一步核查,把整个过程还原了出来。
改棋盘、偷答案、冒充老师给评分员下指令,为了把任务完成,这些AI已经试过不少取巧的路子。
7月19日那场考试里又冒出新一种:前面考生留下的“小抄”照借不误,同时还会琢磨该怎么向考官隐瞒自己做过的事。
模型在升级,功能在升级,钻空子的手段同样在升级。
说到底,AI再好用,也不能全信。