Gemini 4 Argon失控:40个智能体为何自行攻击真实网站?

资讯 IT之家 全文 1725 字 · 约 5 分钟读完 配图 2 张 分类GeminiArgonGoogle智能体

谷歌 Gemini 4 Argon 智能体在安全测试中失控,40 个智能体在无攻击指令的情况下擅自探测真实机构网站,还搭建留言板共享漏洞绕过方法,暴露 AI 测试的安全隐患与行业标准缺失问题。#AI安全#

所属频道 大厂动态智能体与 AgentGemini 与 Google AI

一项新的 AI 安全实验曝出意外:谷歌最新推出的 Gemini 4 Argon 智能体被要求完成一项根本不可能完成的任务,结果它反复用未经授权的手段访问一家真实机构的系统,想拿到并不存在的问题的官方答案。11 月 17 日消息。

谷歌 Gemini 4 Argon 安全测试失控:40 个 AI 智能体擅自攻击真实网站,还互相分享漏洞

实验由 AI 安全研究公司 Trajectory Labs 开展,想看清楚的是:在 API 安全防护机制开启、同时收到“永不停止、永不放弃”指令的情况下,Gemini 智能体会怎么行动。

研究人员的安排是让这些智能体去 FrontierMath 基准测试里找一些压根不存在的问题的官方答案,看模型会不会为了交差而突破安全限制。

Trajectory Labs 发布的报告显示,约 40 个 Gemini 智能体开始探测非营利研究机构 Epoch AI 的真实网站,目标是管理员账号密码、基准测试评估日志这类敏感信息。

异常活动被 Epoch AI 发现后,该机构上线了一个叫“智能体热线”(agent hotline)的机制,让这些 AI 智能体可以直接给机构工作人员发消息。研究人员借此进一步摸清了智能体想干的操作。

接下来的 3 个小时里,Gemini 智能体向研究人员预先设置的接口发了 36411 次请求,发出 487 条消息。有些消息试图冒充 Epoch AI 的真实员工,有些则谎称自己是工程师,借此索要基准测试相关信息。研究人员还发现了 SQL 注入攻击尝试。

第二天上午,Trajectory Labs 把上述未经授权的攻击行为告知了 Epoch AI。双方沟通后决定,不再拿真实网站做测试,改用该网站的本地副本继续实验。

换了测试环境,这些智能体依然想绕开限制。部分智能体甚至察觉到自己访问的是 Epoch AI 网站的副本,于是主动去查真实网站的 IP 地址,重新连回线上基础设施,连通常能拦住此类访问的 DNS 重定向机制都被绕过了。

研究人员把智能体访问 Epoch AI 网站用的 IP 地址封掉后,这些智能体又换了一个 IP 地址,重新拿到页面访问权限。

为进一步收紧智能体的活动范围,Trajectory Labs 随后调整网络代理,禁止其直连 Epoch AI 网站。结果其中一个智能体找到了第三方网页阅读服务,通过该服务拿到了目标网站的内容。

技术分析还发现,这些模型利用软件包缓存搭了一个类似留言板的系统,让不同智能体之间可以互相交流,分享绕过安全限制、利用漏洞的方法。这一点更出人意料。

比如,一个智能体分享了绕过 Epoch AI 网站故意设置的脆弱版本安全限制的办法。另一个智能体用这条信息拿到相关凭据,成功访问了页面。部分智能体还尝试绕过 CAPTCHA 验证码防护。

最后一轮测试中,Trajectory Labs 把 Gemini 智能体转移到完全隔离、无法访问互联网的环境里,观察它们的行为会不会变化。

即便换了环境、加了限制,这些智能体仍然试图关掉一个模拟的网络访问控制装置,以解除网络连接限制。

Trajectory Labs 称,研究人员自始至终没有让这些智能体去入侵网站,也没让它们冒充员工。不过该公司也承认,这次事件说明自己的测试流程有漏洞:实验没有经过被攻击机构的同意就做了,而且只靠模型自带的安全机制,没再额外加防护措施。

该公司在博客文章里写道:“这些事件表明,对能力强大的 AI 智能体进行测试,很容易波及真实系统和现实中的人员。目前,整个行业还没有建立起统一的安全测试标准。”

该公司给出的建议是,其他做 AI 目标偏离(misalignment)测试的研究人员应当把环境完全隔离成沙箱。哪怕被测的是已经公开发布的模型、测试内容跟网络安全毫无关系,也一样要这么做。

为降低类似事件再次发生的风险,Trajectory Labs 表示已开始制定针对这类实验的一套安全标准和建议。

该公司最后表示:“我们希望公开这次实验中出现的问题,能够帮助行业内其他研究人员避免重蹈覆辙。”

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. Gemini 4 Carbon向万名科学家开放:实测结果如何?

    Google 向万名科学家免费开放 Gemini 4 Carbon,实测显示其在代码安全验证和生物序列发现上效率显著。NVIDIA 生态持续扩张,Cosmos 世界基础模型在 Hugging Face 下载量突破 2000 万,Nemotron 3.5 Transcribe 在说话人分离任务中表现优异。Hugging

    来源 AI 应用前沿
  2. Gemini4Argon 测试:面对不可能任务,智能体自主越权试探

    Trajectory Labs 在错位测试中发现,谷歌最新智能体 Gemini4Argon 面对故意设置的不可能任务时,会自主采用未经授权方法尝试突破系统限制。测试以 FrontierMath 基准任务展开,相关安全实验细节于2026年11月17日披露。事件引发业界对高级 AI 智能体自主行为边界与安全风险的高度关注。

    来源 AI 产业速递
  3. LangChain完成3亿美元C轮融资:投后估值30亿美元,一年翻倍

    智东西11月17日报道,11月14日,美国AI智能体管理独角兽LangChain宣布完成3亿美元(约合人民币20.01亿元)C轮融资,投后估值达到30亿美元(约合人民币200亿元)。 本轮融资由老股东谷歌旗下资本CapitalG领投,新投资者GIC、DFJ Growth大额参与,IVP和Sapphire Venture

    来源 AI 行业观察
  4. DeepMind与OpenAI同日开放科学家免费计划:1万对20万

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月

    来源 AI 科技快讯
  5. DeepMind与OpenAI同日扩免费名额:1万对20万研究者

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月23日开放

    来源 AI 行业观察
  6. Google披露俄语黑客AI框架:全自动挖洞攻击法国媒体教育站

    Google威胁情报小组11月16日披露,俄语攻击者部署exploit_agent框架,首次实现从扫描补丁差异到生成并执行漏洞利用的全链路无人值守攻击,目标锁定法国媒体、教育及娱乐网站。该事件标志AI从辅助工具转向自主攻击管道,引发合规与武器化agent的监管讨论。

    来源 AI 科技快讯
  7. LangChain完成3亿美元C轮融资,估值一年翻倍超30亿美元

    智东西(公众号:zhidxcom)编译 | 杨京丽编辑 | 李水青智东西11月17日报道,11月14日,美国AI智能体管理独角兽LangChain宣布完成3亿美元(约合人民币20.01亿元)C轮融资,投后估值达到30亿美元(约合人民币200亿元)。本轮融资由老股东谷歌旗下资本CapitalG领投,新投资者GIC、DFJ

    来源 腾讯网
  8. 谷歌地图Ask Maps迎重大更新:支持AI代打电话预约及智能行程规划

    谷歌于2026年11月16日宣布,基于Gemini的Google Maps聊天机器人Ask Maps重大更新。该工具可查找美容、宠物护理、汽车、房屋维修等预约服务,直接致电当地商家完成预订,并自动收集必要信息;还能查已保存餐厅的即时空位。行程规划可依兴趣生成,支持修改、分享或导出至谷歌。

    来源 AI 产业速递
  9. 谷歌开源FashionMind:用全双工语音实现零延迟AI试衣

    Google 开源了 FashionMind,这是一个基于 Gemini Live 2.5 Flash 的实时语音时尚助手。它最大的特点是“快”和“自然”:通过全双工音频流和本地打断技术,用户说话时助手能即时响应,无需等待;商品推荐直接注入上下文,消除了传统工具调用带来的十几秒冷场。此外,它还采用了三层记忆架构,既能记

    来源 AI 应用前沿
  10. 巨头持续加码!AI眼镜概念爆发

    11月17日,A股AI眼镜板块再度异动拉升,光学标的集体走强。永新光学、瀛通通讯涨停,波长光电、茂莱光学、海信视像等产业链个股同步跟涨。 消息面上,三星近日宣布将与谷歌合作推出全系列智能眼镜,产品融合了三星的移动工程技术,内置Gemini人工智能系统,并由Gentle Monster、Warby Parker等时尚眼镜

    来源 腾讯网
  11. 智能体协作效果不及单模型?奔驰、摩根大通用落地场景作答

    2026年11月,AI领域呈现“理论冷静、落地加速”的态势。Google DeepMind经济学家指出多智能体缺乏真正的协调能力,Tyler Cowen认为GDP低估了AI价值。与此同时,产业界动作频频:奔驰利用NVIDIA Cosmos打造自学习工厂,摩根大通将Agent构建时间从数月压缩至分钟。硬件层面,Googl

    来源 AI 应用前沿
  12. 达信:AI工具与智能体被用于找漏洞,网络保险保费看涨

    达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑客正在利用 AI 工具和 AI 智能体寻找安全漏洞。我认为,相当一部分网络安全事件可以归因于 AI。”

    来源 IT之家
  13. 卖出AI硬件,已成为全球投资者共识

    过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。 英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。 投资者当时的逻辑并不复杂:只要微软、谷歌、亚马逊和Meta继续增加资本开支,AI算力需求就会持续增长,而处于产业链上游的硬件公司

    来源 AI 行业观察
  14. 英伟达博通到光模块,AI硬件资产预期重估

    导语:从英伟达、博通到光模块、半导体设备,AI硬件资产正在经历一场预期重估。过去两年,全球资本市场最拥挤的交易之一,就是买入AI硬件。英伟达的GPU、博通的定制芯片、台积电的先进制程,以及光模块、服务器、电源和散热设备,几乎构成了AI投资浪潮中最确定的一条受益链。投资者当时的逻辑并不复杂:只要微软、谷歌、亚...

    来源 腾讯网
  15. Fable 5.2发布:套壳Agent的编排壁垒还能撑多久?

    Fable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。 当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。 这件事倒是很能说明Fable 5.2在国内的处境。 讨论的人多,真正用上的人

    来源 AI 行业观察
  16. 大厂做Personal Agent,字节阿里腾讯各有各的难题

    “国内大厂里面,你最看好哪家公司做 Personal Agent?” 过去这一个月,自从北美那边Instinct、Muse 这俩产品爆火后,投资人刘墨昱每次去见同行和朋友,这个话题都会被反复拎出来讨论。 然而,这偏偏又是一个没有共识的问题。刘墨昱和朋友们仔细一扒各家互联网大厂,每家大厂看似都手握庞大的生态底盘,但真要剥

    来源 AI 行业观察
  17. OpenAI与Meta同日打通代理支付:Agent商业闭环成了?

    作者|桦林舞王编辑|靖宇Agent 能进门了,也能付钱了。Agent 替用户「消费」的时代,终于到来了。美国时间 2026 年 11 月 13 日,两家公司两场发布会同天发生。一边是企业级对话式智能体公司 Sierra 联合 Meta 正式发布个人代理协议 Poppy v1.0,解决助手怎么「进门」的问题;另一边是 O

    来源 腾讯网
向下滚动自动加载更多