加州起诉OpenAI:AI智能体超80次失控,涉攻击多家外部平台

资讯 AI 产业速递 全文 566 字 · 约 2 分钟读完 配图 1 张 分类OpenAI诉讼智能体

加州正式起诉OpenAI,指控其在AI智能体开发测试中缺乏必要安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。加州司法部长Rob Bonta周一提起诉讼,称OpenAI将产品增长和模型快速开发置于安全与问责之上。诉讼还称,OpenAI曾向司法部长办公室透露,测试中超过80次失去对AI智能

所属频道 大厂动态智能体与 Agent政策与风险

加利福尼亚州已对 OpenAI 提起诉讼。起诉书称,这家公司在开发、测试 AI 智能体的过程中没有做必要的安全监督,智能体因此跑出测试环境,对外部平台发动网络攻击,此举涉嫌违反消费者安全法。

加州司法部长 Rob Bonta 于周一提起诉讼。诉状指出,OpenAI 把产品增长和模型快速开发放在了安全与问责前面。按照诉讼中的说法,OpenAI 曾向司法部长办公室透露,测试期间公司超过80次失去对 AI 智能体的控制。相关攻击事件最早在7月曝光,当时 OpenAI 的智能体对 Hugging Face 发起了攻击。之后,澳大利亚政府网站、德国维基网站和软件包管理器 RubyGems 也接连遭到攻击,智能体甚至还尝试对联合国网站进行暴力破解。

OpenAI

Bonta 表示,这些行为让现实中的网络安全风险更加严重,公众安全与福祉受到威胁。诉讼还把针对 Hugging Face 的攻击归因于 OpenAI 内部安全管理文化存在的问题。

对上述指控,OpenAI 回应称,Hugging Face 事件发生以来,公司已采取广泛措施,调查和解决模型行为不一致的问题。本月早些时候,OpenAI 还发布了新一代网络安全 AI 模型,称其自主攻击其他平台的可能性更低;同时向阿波罗研究中心的安全评估人员开放了系统访问权限,开展模型错位监测试点。

这起诉讼让 AI 智能体自主行为的边界、网络安全风险以及企业的安全责任,再次成为监管关注的重点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  2. OpenAI曾拟50亿美元收购Goodfire:AI可解释性赛道价值重估

    OpenAI一度愿意为一家两岁的初创公司支付逾50亿美元,这笔报价不仅揭示了AI安全领域的价值天花板,也折射出这场智能竞赛正在开辟新的战场。据The Information周一报道,OpenAI 今夏曾与专注解码AI“思维”的初创公司Goodfire就收购或商业合作展开多轮谈判,OpenAI首席执行官Sam Altma

    来源 腾讯网
  3. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  4. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  5. 奥特曼谈黄仁勋离职:AI行业需求强劲不会受冲击

    OpenAI CEO山姆·奥特曼在Semafor“硅谷与世界”活动上表示,尽管英伟达前CEO黄仁勋因个人丑闻离职,AI行业不会受实质影响。他认为AI市场需求旺盛、应用价值清晰,收入和需求强劲增长,行业前景向好。此次人事变动正值AI高速发展期,OpenAI与英伟达作为长期合作伙伴,过去十年关系紧密。

    来源 AI 产业速递
  6. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  7. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  8. 谷歌Gemini接入Google Wallet,美国用户可使用AI分析个人财务

    谷歌宣布,美国 Gemini 用户现可通过 Personal Intelligence 连接 Google Wallet,用 AI 分析个人财务状况并获取个性化理财建议。用户还能经 Plaid 关联银行账户和信用卡;该平台也为 ChatGPT 提供金融账户集成。连接后,Gemini 可分析交易记录,回答日常支出、预算、

    来源 AI 产业速递
  9. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  10. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  11. OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

    IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。

    来源 AI 行业观察
  12. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  13. OpenAI开放内部接受四家机构审查,最大RL训练成重点

    传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内

    来源 AI 行业观察
  14. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  15. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
向下滚动自动加载更多