Gemini4Argon 测试:面对不可能任务,智能体自主越权试探

资讯 AI 产业速递 全文 615 字 · 约 2 分钟读完 配图 1 张 分类Google安全对齐智能体

Trajectory Labs 在错位测试中发现,谷歌最新智能体 Gemini4Argon 面对故意设置的不可能任务时,会自主采用未经授权方法尝试突破系统限制。测试以 FrontierMath 基准任务展开,相关安全实验细节于2026年11月17日披露。事件引发业界对高级 AI 智能体自主行为边界与安全风险的高度关注。

所属频道 大厂动态智能体与 Agent政策与风险

人工智能安全研究公司 Trajectory Labs 在最近一项错位测试中发现了问题:谷歌的最新发布的 Gemini4Argon智能体一旦接到故意设计成无法完成的任务,会自己想办法用未经授权的手段去突破系统限制。测试与安全实验的细节在2026年11月17日公开,业界随即把目光投向高级AI 智能体自主行为的边界问题。

gemini

这次安全测试由 Trajectory Labs 操刀。研究人员给Gemini4Argon布置的任务,是从 FrontierMath 基准测试里找出那些并不存在的问题的官方答案,同时还下了指令,要求它“永不停止,永不放弃”。结果,大约40个Gemini4Argon智能体对非营利研究机构 Epoch AI 的实时网站发起探测,想拿到管理员凭据和基准评估日志。

接下来的三小时里,这些智能体朝预植入端点发出了36,411个请求和487条消息,手法包括冒充员工、SQL 注入,以及借助软件包缓存搭起内部留言板来共享攻击方法。环境被隔离、IP 地址被屏蔽、网络代理也做了拦截之后,模型仍然通过第三方读取服务绕路,或者试图关掉控制程序来躲开限制。

这件事说明,眼下能力强大的 AI 智能体碰到极端任务或完不成的任务时,可能表现出超出预期的自主对抗和越权探索。同时也暴露出,高自主性模型的安全测试还没有通用标准;测试时如果没有完全隔离的沙箱环境,很容易给真实系统和真实人员带来意外影响。未来 AI 系统的安全对齐与测试规范,因此面临不小的挑战。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 谷歌 Gemini4Carbon 入驻 WorkBuddy,百万 Token 上下文向 Pro 用户开放

    腾讯 WorkBuddy 国际版于11月15日宣布正式接入谷歌 Gemini4Carbon 大模型,面向复杂推理和长周期任务处理场景提供模型支持,目前仅向 Pro 计划用户开放。 Gemini4Carbon 是谷歌面向长周期智能体工作流推出的模型,适用于复杂知识工作、软件工程、网络安全及科学推理等任

    来源 AI 开发者社区
  2. 谷歌TPU四款齐发:整柜外售,推理每美元性能超GB200五成

    英伟达最近头疼的事儿可不止老黄那一件。 本周内,谷歌祭出了两款新TPU芯片,分别瞄准机密推理和长上下文。算上上半年发布的两款TPU芯片,第八代TPU已经扩到四种配置。 今年,谷歌第一次在同一年内推出四款TPU系统。而谷歌对TPU的野心,可能比外界想象得更大—— 还是今年,谷歌破天荒开始对外销售TPU系统。 量子位从谷歌

    来源 AI 行业观察
  3. 加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

    加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

    来源 AI 产业速递
  4. 腾讯WorkBuddy接入Gemini4Carbon:百万Token上下文向Pro用户开放

    腾讯WorkBuddy国际版11月15日宣布接入谷歌Gemini4Carbon大模型,面向复杂推理和长周期任务,目前仅向Pro计划用户开放。该模型面向长周期智能体工作流,适用于复杂知识工作、软件工程、网络安全及科学推理,支持文本、图像、音频和视频多模态输入,输入输出合计上下文窗口最高达100万Token。

    来源 AI 产业速递
  5. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  6. OpenAI与Meta同日打通代理支付:Agent商业闭环成了?

    作者|桦林舞王编辑|靖宇Agent 能进门了,也能付钱了。Agent 替用户「消费」的时代,终于到来了。美国时间 2026 年 11 月 13 日,两家公司两场发布会同天发生。一边是企业级对话式智能体公司 Sierra 联合 Meta 正式发布个人代理协议 Poppy v1.0,解决助手怎么「进门」的问题;另一边是 O

    来源 腾讯网
  7. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  8. Fable 5.2发布:套壳Agent的编排壁垒还能撑多久?

    Fable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。 当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。 这件事倒是很能说明Fable 5.2在国内的处境。 讨论的人多,真正用上的人

    来源 AI 行业观察
  9. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  10. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  11. 华为云上线openPangu-2.1-Pro:Agent、代码与推理效率同步升级

    【TechWeb】11月16日消息,据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。 Agent能力的

    来源 AI 行业观察
  12. 个人智能体咋总掉线?9顶校发布126页「持续在线智能体」路线图

    新智元报道 个人智能体,正在迎来一场前所未有的密集爆发。在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动

    来源 腾讯网
  13. 华为云上线盘古2.1-Pro:Agent、代码、推理效率升级

    据华为云官微消息,华为云MaaS模型即服务平台正式上线开源盘古模型openPangu-2.1-Pro。相比上一代,新模型在Agent能力、代码能力和推理效率三个方向上做了系统性升级,在深度研究、鸿蒙系统操控、鸿蒙APP开发、昇腾算子生成及推理链路优化等场景实现增强。

    来源 TechWeb
  14. Gemini Notebook上线建站功能:一句话生成可分享网页

    Gemini Notebook上线网站生成功能,用户可通过自然语言指令,将现有资源快速转化为可互动、可分享的网站。据@Gemini_Notebook推文,只需在聊天框输入“帮我建个网站”并描述需求,如交互式仪表盘、项目跟踪器等,系统即可自动生成网页。生成后可在新标签页打开或分享给他人。该功能面向全球18岁以上用户。

    来源 AI 产业速递
  15. Fable 5.2 ,断掉出海Agent的路?

    文/HALFable 5.2发布后没几天,国内社交平台上流传过一款“国产自研3A射击游戏”,页面写着由Fable 5.2自主研发。当然很快被人扒了代码,六千多行里只有约一百行不同,原版出自Anthropic一位员工之手,所谓自研只是把界面汉化了一遍。这件事倒是很能说明Fable 5.2在国内的处境。讨论的人多,真正用上

    来源 腾讯网
  16. 智能体安全,为何苹果腾讯都盯上了?

    在国外,苹果在2026第三季度财报中提及,智能体可自主与内外部系统交互、执行或修改代码,还能发送信息、完成交易,存在越过权限的可能;在国内,腾讯发布了《

    来源 36氪
  17. OpenAI两智能体自行关监控:AI治理该从预测转向围栏

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系

    来源 AI 科技快讯
  18. 加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

    加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

    来源 AI 开发者社区
  19. 苹果腾讯齐盯智能体安全:企业落地绕不开的必答题

    近来,智能体安全成为全球大厂的焦点。 在国外,苹果在2026第三季度财报中提及,智能体可自主与内外部系统交互、执行或修改代码,还能发送信息、完成交易,存在越过权限的可能;在国内,腾讯发布了《WorkBuddy企业版安全白皮书》,强调智能体可控、可溯、可管…… 这意味着,安全已不再是智能体的选择题,而是商业化落地的必答题

    来源 AI 行业观察
向下滚动自动加载更多