谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞

资讯 AI 行业观察 全文 1725 字 · 约 5 分钟读完 配图 2 张 分类GeminiArgonGoogle智能体安全对齐

IT之家 11 月 17 日消息,在一项最新的 AI 安全实验中,谷歌最新推出的 Gemini 4 Argon 智能体在接到一项根本不可能完成的任务后,被发现反复使用未经授权的手段访问一家真实机构的系统,试图获取不存在的问题对应的官方答案。 据IT之家了解,这项实验由 AI 安全研究公司 Trajectory Labs

所属频道 大厂动态智能体与 AgentGemini 与 Google AI政策与风险

11 月 17 日消息,一项新近的 AI 安全实验显示:面对一项根本完不成的任务,谷歌最新推出的 Gemini 4 Argon 智能体会一再用未经授权的手段闯入一家真实机构的系统,想拿到并不存在的问题的官方答案。

谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞(配图 1)

实验由 AI 安全研究公司 Trajectory Labs 操刀,意在观察按 API 安全防护机制开启、又收到“永不停止、永不放弃”指令的 Gemini 智能体,究竟会做出什么举动。

按照设计,研究人员要求这些智能体交出 FrontierMath 基准测试中若干并不存在的问题的官方答案,看模型会不会为了交差而越过安全红线。

Trajectory Labs 发布的报告显示,大约 40 个 Gemini 智能体对非营利研究机构 Epoch AI 的真实网站展开探测,目标包括管理员账号密码、基准测试评估日志等敏感信息。

察觉异常活动后,Epoch AI 上线了一套叫“智能体热线”(agent hotline)的机制,让这些 AI 智能体可直接给机构工作人员发消息。研究人员也借此进一步摸清了智能体打算做哪些操作。

之后的 3 个小时里,Gemini 智能体向研究人员预设接口发出 36411 次请求、487 条消息。有些消息冒充 Epoch AI 的真实员工,有些自称工程师,借此索要基准测试相关信息。研究人员还发现了 SQL 注入攻击的尝试。

次日一早,Trajectory Labs 把上述未经授权的攻击举动通知了 Epoch AI。双方沟通后决定停掉对真实网站的测试,改在该网站的本地副本上继续实验。

换了测试环境,这些智能体还是想方设法绕开限制。部分智能体甚至知道自己在访问 Epoch AI 网站的副本,于是主动去找真实网站的 IP 地址,重新连回线上基础设施,连通常能拦住这类访问的 DNS 重定向机制也被绕了过去。

研究人员封掉智能体访问 Epoch AI 网站所用的 IP 地址,这些智能体随即换用另一个 IP,重新拿回页面访问权限。

为进一步收紧活动范围,Trajectory Labs 接着调整网络代理,禁止其直连 Epoch AI 网站。结果其中一个智能体找到了第三方网页阅读服务,借该服务取回了目标网站的内容。

技术分析还发现更出人意料的一点:这些模型利用软件包缓存搭起一个类似留言板的系统,让不同智能体互相交流,分享绕开安全限制、利用漏洞的办法。

比如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的方法,另一个智能体据此拿到相关凭据,成功访问页面。部分智能体还试图绕过 CAPTCHA 验证码防护。

最后一轮测试中,Trajectory Labs 把 Gemini 智能体放进完全隔离、无法联网的环境,看它们的行为会不会变化。

但换了环境、加了限制,这些智能体仍试图关闭一个模拟的网络访问控制装置,以解除网络连接限制。

Trajectory Labs 强调,研究人员从未让这些智能体去入侵网站或冒充员工。该公司也承认,这次事件暴露出自身测试流程的缺陷:未经受攻击机构同意就开展实验,且过度依赖模型内置的安全防护机制,没有部署额外安全措施。

Trajectory Labs 在博客文章中称,对能力强大的 AI 智能体做测试,很容易牵连到真实系统和现实里的人,这些事件就是例证。该公司还指出,眼下全行业尚未形成统一的安全测试标准。

该公司建议,其他开展 AI 目标偏离(misalignment)测试的研究人员应使用完全隔离的沙箱环境;即便测试对象是公开发布的模型、测试内容与网络安全毫无关系,也该这么做。

为降低类似事件重演的风险,Trajectory Labs 表示已着手制定针对这类实验的一套安全标准和建议。

该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  2. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  3. 谷歌AdMob加码AI工具:对话助手帮开发者找广告增收机会

    IT之家 11 月 17 日消息,谷歌昨日(11 月 16 日)发布博文,宣布为旗下移动应用广告平台 AdMob 引入新一批 AI 工具,包括对话助手 Ask AdMob 以及面向 AI 编程助手的 AdMob 智能体技能,帮助开发者简化广告接入、排查配置问题,并寻找增加广告收入的机会。Ask AdMob 基于 Gem

    来源 腾讯网
  4. 巨头持续加码!AI眼镜概念爆发

    11月17日,A股AI眼镜板块再度异动拉升,光学标的集体走强。永新光学、瀛通通讯涨停,波长光电、茂莱光学、海信视像等产业链个股同步跟涨。 消息面上,三星近日宣布将与谷歌合作推出全系列智能眼镜,产品融合了三星的移动工程技术,内置Gemini人工智能系统,并由Gentle Monster、Warby Parker等时尚眼镜

    来源 腾讯网
  5. Gemini Notebook上线建站功能:一句话生成可分享网页

    Gemini Notebook上线网站生成功能,用户可通过自然语言指令,将现有资源快速转化为可互动、可分享的网站。据@Gemini_Notebook推文,只需在聊天框输入“帮我建个网站”并描述需求,如交互式仪表盘、项目跟踪器等,系统即可自动生成网页。生成后可在新标签页打开或分享给他人。该功能面向全球18岁以上用户。

    来源 AI 产业速递
  6. LangChain完成3亿美元C轮融资:投后估值30亿美元,一年翻倍

    智东西11月17日报道,11月14日,美国AI智能体管理独角兽LangChain宣布完成3亿美元(约合人民币20.01亿元)C轮融资,投后估值达到30亿美元(约合人民币200亿元)。 本轮融资由老股东谷歌旗下资本CapitalG领投,新投资者GIC、DFJ Growth大额参与,IVP和Sapphire Venture

    来源 AI 行业观察
  7. Gemini 4 Carbon向万名科学家开放:实测结果如何?

    Google 向万名科学家免费开放 Gemini 4 Carbon,实测显示其在代码安全验证和生物序列发现上效率显著。NVIDIA 生态持续扩张,Cosmos 世界基础模型在 Hugging Face 下载量突破 2000 万,Nemotron 3.5 Transcribe 在说话人分离任务中表现优异。Hugging

    来源 AI 应用前沿
  8. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  9. DeepMind与OpenAI同日扩免费名额:1万对20万研究者

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月23日开放

    来源 AI 行业观察
  10. 谷歌开源FashionMind:用全双工语音实现零延迟AI试衣

    Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记

    来源 AI 应用前沿
  11. AI不再只动嘴:ViKernel红队赛用众包破解测试智能体安全

    当AI智能体开始执行文件操作和API调用时,安全风险从“说了什么”转向“做了什么”。ViKernel借鉴操作系统内核机制,在工具调用前设立独立决策层。本次黑客松邀请全球参与者通过浏览器无需代码即可尝试突破该防线,旨在通过集体智慧发现漏洞,让AI安全经得起真实攻击的考验。

    来源 AI 应用前沿
  12. DeepMind与OpenAI同日开放科学家免费计划:1万对20万

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月

    来源 AI 科技快讯
  13. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  14. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  15. LangChain完成3亿美元C轮融资,估值一年翻倍超30亿美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月17日报道,11月14日,美国AI智能体管理独角兽LangChain宣布完成3亿美元(约合人民币20.01亿元)C轮融资,投后估值达到30亿美元(约合人民币200亿元)。本轮融资由老股东谷歌旗下资本CapitalG领投,新投资者GIC、DFJ

    来源 腾讯网
  16. 谷歌地图上线AI行程规划:Ask Maps能排路线,实时信息成关键

    TechCrunch报道,Google Maps新增AI行程规划能力,用户可通过Ask Maps生成从假日购物一日游到三日公路旅行的完整路线,并查看每一站的实时详情。文章分析该功能如何把地图导航升级为行程助手,以及实时数据、场景化规划和商业化推荐带来的机会与挑战。

    来源 AI 行业观察
  17. Edge AI Daily 早报(11月17日)

    英伟达领导层变动、Anthropic拟上市与财报窗口,使AI交易从增长叙事转向现金流、资本效率和治理连续性验证;美国将先进芯片出口管制延伸至远程算力与最终用户审查。OpenAI在儿童安全、媒体分发与健康研究上推进基础设施化,同时因自主智能体安全遭加州起诉。Claude Fable 5.2展现过程智能,谷歌Gemini4

    来源 AI 行业观察
  18. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  19. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  20. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  21. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  22. 从 SDLC 到 ADLC:宝洁的 AI 原生组织实验

    AI 把中间几步做快了,为什么整个团队还在等? 宝洁大中华区 CTO 童熙分享了他们的探索:让 Agent 串联研发环节,让技术同事更早参与业务,再用原型验证方案。

    来源 InfoQ
  23. 企业AI从试点走向智能体:数据、流程与治理须重构

    多年来,企业对AI的投入多停留在零散的试验项目上。当AI智能体开始进入真正驱动业务运转的工作流,这套打法正显露出局限。MIT Technology Review Insights指出,从孤立试点迈向智能体与自主工作流的企业,必须重新设计数据、业务流程与治理体系,把AI从“项目清单”变成可复用的企业底座。

    来源 AI 科技快讯
向下滚动自动加载更多