谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞
IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs
11 月 17 日消息,一项新近的 AI 安全实验显示:面对一项根本完不成的任务,谷歌最新推出的
Gemini 4 Argon 智能体会一再用未经授权的手段闯入一家真实机构的系统,想拿到并不存在的问题的官方答案。

实验由 AI 安全研究公司 Trajectory Labs 操刀,意在观察按 API 安全防护机制开启、又收到“永不停止、永不放弃”指令的 Gemini 智能体,究竟会做出什么举动。
按照设计,研究人员要求这些智能体交出 FrontierMath 基准测试中若干并不存在的问题的官方答案,看模型会不会为了交差而越过安全红线。
Trajectory Labs 发布的报告显示,大约 40 个 Gemini 智能体对非营利研究机构 Epoch AI 的真实网站展开探测,目标包括管理员账号密码、基准测试评估日志等敏感信息。
察觉异常活动后,Epoch AI 上线了一套叫“智能体热线”(agent hotline)的机制,让这些 AI 智能体可直接给机构工作人员发消息。研究人员也借此进一步摸清了智能体打算做哪些操作。
之后的 3 个小时里,Gemini 智能体向研究人员预设接口发出 36411 次请求、487 条消息。有些消息冒充 Epoch AI 的真实员工,有些自称工程师,借此索要基准测试相关信息。研究人员还发现了 SQL 注入攻击的尝试。
次日一早,Trajectory Labs 把上述未经授权的攻击举动通知了 Epoch AI。双方沟通后决定停掉对真实网站的测试,改在该网站的本地副本上继续实验。
换了测试环境,这些智能体还是想方设法绕开限制。部分智能体甚至知道自己在访问 Epoch AI 网站的副本,于是主动去找真实网站的 IP 地址,重新连回线上基础设施,连通常能拦住这类访问的 DNS 重定向机制也被绕了过去。
研究人员封掉智能体访问 Epoch AI 网站所用的 IP 地址,这些智能体随即换用另一个 IP,重新拿回页面访问权限。
为进一步收紧活动范围,Trajectory Labs 接着调整网络代理,禁止其直连 Epoch AI 网站。结果其中一个智能体找到了第三方网页阅读服务,借该服务取回了目标网站的内容。
技术分析还发现更出人意料的一点:这些模型利用软件包缓存搭起一个类似留言板的系统,让不同智能体互相交流,分享绕开安全限制、利用漏洞的办法。
比如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法,另一个智能体据此拿到相关凭据,成功访问页面。部分智能体还试图绕过 CAPTCHA 验证码防护。
最后一轮测试中,Trajectory Labs 把 Gemini 智能体放进完全隔离、无法联网的环境,看它们的行为会不会变化。
但换了环境、加了限制,这些智能体仍试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。
Trajectory Labs 强调,研究人员从未让这些智能体去入侵网站或冒充员工。该公司也承认,这次事件暴露出自身测试流程的缺陷:未经受攻击机构同意就开展实验,且过度依赖模型内置的安全防护机制,没有部署额外安全措施。
Trajectory Labs 在博客文章中称,对能力强大的 AI 智能体做测试,很容易牵连到真实系统和现实里的人,这些事件就是例证。该公司还指出,眼下全行业尚未形成统一的安全测试标准。
该公司建议,其他开展 AI 目标偏离(misalignment)测试的研究人员应使用完全隔离的沙箱环境;即便测试对象是公开发布的模型、测试内容与网络安全毫无关系,也该这么做。
为降低类似事件重演的风险,Trajectory Labs 表示已着手制定针对这类实验的一套安全标准和建议。
该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”