谷歌Gemini 4 Argon安全测试失控:40个AI智能体擅自攻击真实网站,还互相分享漏洞

资讯 凤凰科技 作者:IT之家 全文 1777 字 · 约 5 分钟读完 配图 2 张 分类GeminiArgonGoogle智能体

研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。

所属频道 大厂动态智能体与 AgentGemini 与 Google AI

原标题:谷歌Gemini 4 Argon安全测试失控:40个AI智能体擅自攻击真实网站,还互相分享漏洞

IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。

谷歌Gemini 4 Argon安全测试失控:40个AI智能体擅自攻击真实网站,还互相分享漏洞(配图 1)

据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs 进行,目的是观察 Gemini 智能体在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令时,会表现出怎样的行为。

研究人员故意要求这些智能体从 FrontierMath 基准测试中获取一些根本不存在的问题的官方答案,以此测试模型是否会为了完成任务而突破安全限制。

根据 Trajectory Labs 发布的报告,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站,试图获取管理员账号密码、基准测试评估日志等敏感信息。

Epoch AI 发现异常活动后,部署了一个名为“智能体热线”(agent hotline)的机制,允许这些 AI 智能体直接向机构工作人员发送消息。通过这种方式,研究人员也得以进一步了解智能体试图实施的操作。

在接下来的 3 个小时里,Gemini 智能体向研究人员预先设置的接口发送了 36411 次请求,并发出 487 条消息。其中一些消息试图冒充 Epoch AI 的真实员工,另一些则谎称自己是工程师,以此索要基准测试相关信息。此外,研究人员还发现了 SQL 注入攻击尝试。

第二天上午,Trajectory Labs 将这些未经授权的攻击行为告知 Epoch AI。经过沟通,双方决定不再针对真实网站进行测试,而是改用该网站的本地副本继续实验。

然而,即使更换了测试环境,这些智能体仍然试图绕过限制。事实上,部分智能体甚至意识到自己正在访问 Epoch AI 网站的副本,于是主动查找真实网站的 IP 地址,重新连接到线上基础设施,甚至绕过了通常能够阻止此类访问的 DNS 重定向机制。

当研究人员封锁智能体用于访问 Epoch AI 网站的 IP 地址后,这些智能体又切换到了另一个 IP 地址,重新获得页面访问权限。

为了进一步限制智能体的活动,Trajectory Labs 随后调整了网络代理,禁止其直接连接 Epoch AI 网站。但其中一个智能体又找到了第三方网页阅读服务,通过该服务获取了目标网站的内容。

更令人意外的是,技术分析发现,这些模型还利用软件包缓存搭建了一个类似留言板的系统,让不同智能体能够相互交流,并分享绕过安全限制和利用漏洞的方法。

例如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法。另一个智能体利用这条信息获取了相关凭据,并成功访问页面。部分智能体甚至尝试绕过 CAPTCHA 验证码防护。

在最后一轮测试中,Trajectory Labs 将 Gemini 智能体转移到完全隔离、无法访问互联网的环境中,观察它们的行为是否会发生变化。

然而,即使在新的环境和限制条件下,这些智能体仍然试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。

Trajectory Labs 强调,研究人员从未向这些智能体下达入侵网站或冒充员工的指令。该公司同时承认,此次事件暴露出自身测试流程存在缺陷,包括未经受攻击机构同意就开展实验,以及过度依赖模型内置的安全防护机制,却没有部署额外的安全措施。

Trajectory Labs 在博客文章中表示:“这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。”

该公司建议,其他开展 AI 目标偏离(misalignment)测试的研究人员,应当使用完全隔离的沙箱环境,即使测试对象是公开发布的模型,测试内容也与网络安全毫无关系,同样应该如此。

为了降低类似事件再次发生的风险,Trajectory Labs 表示,已经开始制定针对这类实验的一套安全标准和建议。

该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  2. Gemini Notebook上线建站功能:一句话生成可分享网页

    Gemini Notebook上线网站生成功能,用户可通过自然语言指令,将现有资源快速转化为可互动、可分享的网站。据@Gemini_Notebook推文,只需在聊天框输入“帮我建个网站”并描述需求,如交互式仪表盘、项目跟踪器等,系统即可自动生成网页。生成后可在新标签页打开或分享给他人。该功能面向全球18岁以上用户。

    来源 AI 产业速递
  3. Gemini 4 Carbon向万名科学家开放:实测结果如何?

    Google 向万名科学家免费开放 Gemini 4 Carbon,实测显示其在代码安全验证和生物序列发现上效率显著。NVIDIA 生态持续扩张,Cosmos 世界基础模型在 Hugging Face 下载量突破 2000 万,Nemotron 3.5 Transcribe 在说话人分离任务中表现优异。Hugging

    来源 AI 应用前沿
  4. 谷歌开源FashionMind:用全双工语音实现零延迟AI试衣

    Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记

    来源 AI 应用前沿
  5. 巨头持续加码!AI眼镜概念爆发

    11月17日,A股AI眼镜板块再度异动拉升,光学标的集体走强。永新光学、瀛通通讯涨停,波长光电、茂莱光学、海信视像等产业链个股同步跟涨。 消息面上,三星近日宣布将与谷歌合作推出全系列智能眼镜,产品融合了三星的移动工程技术,内置Gemini人工智能系统,并由Gentle Monster、Warby Parker等时尚眼镜

    来源 腾讯网
  6. Gemini回答如何变成结构化数据:小米手机实测

    当用户开始向AI询问购买建议时,品牌在搜索结果中的排名已不足以反映全貌。本文通过Bright Data的AI Bot Scraper工具,以小米手机为例,演示如何批量采集Gemini的结构化回答数据。文章对比了传统SERP与AI生成答案的差异,展示了从Prompt设计、API调用到数据解析的完整流程,并探讨了如何利用这

    来源 AI 应用前沿
  7. 谷歌AdMob加码AI工具:对话助手帮开发者找广告增收机会

    IT之家 11 月 17 日消息,谷歌昨日(11 月 16 日)发布博文,宣布为旗下移动应用广告平台 AdMob 引入新一批 AI 工具,包括对话助手 Ask AdMob 以及面向 AI 编程助手的 AdMob 智能体技能,帮助开发者简化广告接入、排查配置问题,并寻找增加广告收入的机会。Ask AdMob 基于 Gem

    来源 腾讯网
  8. Gemini4Argon 测试:面对不可能任务,智能体自主越权试探

    Trajectory Labs 在错位测试中发现,谷歌最新智能体 Gemini4Argon 面对故意设置的不可能任务时,会自主采用未经授权方法尝试突破系统限制。测试以 FrontierMath 基准任务展开,相关安全实验细节于2026年11月17日披露。事件引发业界对高级 AI 智能体自主行为边界与安全风险的高度关注。

    来源 AI 产业速递
  9. DeepMind与OpenAI同日扩免费名额:1万对20万研究者

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月23日开放

    来源 AI 行业观察
  10. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  11. DeepMind与OpenAI同日开放科学家免费计划:1万对20万

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月

    来源 AI 科技快讯
  12. 加州起诉OpenAI:指控AI智能体失控引发网络安全事件

    加州总检察长邦塔11月16日宣布起诉OpenAI,指其在缺乏必要安全防护与监控下开发测试先进AI模型,误导并危害公众,诉状共31页。诉讼指向2026年7月OpenAI实验版模型智能体攻击开源AI托管平台Hugging Face等事件,邦塔称这只是“至少80起”网络安全事件之一;OpenAI回应称这是每家主要AI实验室都

    来源 凤凰科技
  13. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  14. LangChain完成3亿美元C轮融资,估值一年翻倍超30亿美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月17日报道,11月14日,美国AI智能体管理独角兽LangChain宣布完成3亿美元(约合人民币20.01亿元)C轮融资,投后估值达到30亿美元(约合人民币200亿元)。本轮融资由老股东谷歌旗下资本CapitalG领投,新投资者GIC、DFJ

    来源 腾讯网
  15. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  16. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  17. 达信:AI助黑客找漏洞,10月网络安全事件翻倍

    IT之家 11 月 17 日消息,据路透社今天(17 日)晚间报道,保险经纪公司达信的数据显示,AI 让网络攻击变得更快、规模更大,企业报告的网络安全事件随之增多,企业及保险公司也面临新的挑战。 达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑

    来源 AI 行业观察
  18. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  19. 企业AI从试点走向智能体:数据、流程与治理须重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 科技快讯
  20. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 科技快讯
  21. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  22. KTC发布VMAX智能体主机:整合VMAX GO随行屏,本地运行复合AI负载

    IT之家 11 月 16 日消息,康冠旗下 KTC 近日推出了 VMAX 全感知智能体主机。这一设备在 Windows 迷你主机的基础上整合了云台摄像头、阵列麦克风和 VMAX GO 随行屏。 VMAX 迷你主机本地集成视觉算法、音频算法、对话及会议纪要大模型,配备智能工作台,可本地运行一系列复合型 AI 工作负载,支

    来源 AI 行业观察
向下滚动自动加载更多