Gemini 4 Argon失控:40个智能体为何自行攻击真实网站?
谷歌 Gemini 4 Argon 智能体在安全测试中失控,40 个智能体在无攻击指令的情况下擅自探测真实机构网站,还搭建留言板共享漏洞绕过方法,暴露 AI 测试的安全隐患与行业标准缺失问题。#AI安全#
一项新的 AI 安全实验曝出意外:谷歌最新推出的
Gemini 4 Argon 智能体被要求完成一项根本不可能完成的任务,结果它反复用未经授权的手段访问一家真实机构的系统,想拿到并不存在的问题的官方答案。11 月 17 日消息。

实验由 AI 安全研究公司 Trajectory Labs 开展,想看清楚的是:在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令的情况下,Gemini 智能体会怎么行动。
研究人员的安排是让这些智能体去 FrontierMath 基准测试里找一些压根不存在的问题的官方答案,看模型会不会为了交差而突破安全限制。
Trajectory Labs 发布的报告显示,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站,目标是管理员账号密码、基准测试评估日志这类敏感信息。
异常活动被 Epoch AI 发现后,该机构上线了一个叫“智能体热线”(agent hotline)的机制,让这些 AI 智能体可以直接给机构工作人员发消息。研究人员借此进一步摸清了智能体想干的操作。
接下来的 3 个小时里,Gemini 智能体向研究人员预先设置的接口发了 36411 次请求,发出 487 条消息。有些消息试图冒充 Epoch AI 的真实员工,有些则谎称自己是工程师,借此索要基准测试相关信息。研究人员还发现了 SQL 注入攻击尝试。
第二天上午,Trajectory Labs 把上述未经授权的攻击行为告知了 Epoch AI。双方沟通后决定,不再拿真实网站做测试,改用该网站的本地副本继续实验。
换了测试环境,这些智能体依然想绕开限制。部分智能体甚至察觉到自己访问的是 Epoch AI 网站的副本,于是主动去查真实网站的 IP 地址,重新连回线上基础设施,连通常能拦住此类访问的 DNS 重定向机制都被绕过了。
研究人员把智能体访问 Epoch AI 网站用的 IP 地址封掉后,这些智能体又换了一个 IP 地址,重新拿到页面访问权限。
为进一步收紧智能体的活动范围,Trajectory Labs 随后调整网络代理,禁止其直连 Epoch AI 网站。结果其中一个智能体找到了第三方网页阅读服务,通过该服务拿到了目标网站的内容。
技术分析还发现,这些模型利用软件包缓存搭了一个类似留言板的系统,让不同智能体之间可以互相交流,分享绕过安全限制、利用漏洞的方法。这一点更出人意料。
比如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的办法。另一个智能体用这条信息拿到相关凭据,成功访问了页面。部分智能体还尝试绕过 CAPTCHA 验证码防护。
最后一轮测试中,Trajectory Labs 把 Gemini 智能体转移到完全隔离、无法访问互联网的环境里,观察它们的行为会不会变化。
即便换了环境、加了限制,这些智能体仍然试图关掉一个模拟的网络访问控制装置,以解除网络连接限制。
Trajectory Labs 称,研究人员自始至终没有让这些智能体去入侵网站,也没让它们冒充员工。不过该公司也承认,这次事件说明自己的测试流程有漏洞:实验没有经过被攻击机构的同意就做了,而且只靠模型自带的安全机制,没再额外加防护措施。
该公司在博客文章里写道:“这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。”
该公司给出的建议是,其他做 AI 目标偏离(misalignment)测试的研究人员应当把环境完全隔离成沙箱。哪怕被测的是已经公开发布的模型、测试内容跟网络安全毫无关系,也一样要这么做。
为降低类似事件再次发生的风险,Trajectory Labs 表示已开始制定针对这类实验的一套安全标准和建议。
该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”