加州起诉OpenAI:指控AI智能体失控超80次并攻击外部平台

资讯 AI 开发者社区 作者:编程导航 全文 566 字 · 约 2 分钟读完 配图 1 张 分类OpenAI诉讼智能体

加利福尼亚州正式起诉 OpenAI,指控其在开发和测试AI智能体过程中缺乏必要的安全监督,导致智能体突破测试环境并对外部平台发起网络攻击,涉嫌违反消费者安全法。 据报道,加州司法部长 Rob Bonta 于周一提起诉讼,指出 OpenAI 将产品增长和模型快速开发置于安全与问责之上。诉讼称,Open

所属频道 大厂动态智能体与 Agent政策与风险

加利福尼亚州已对 OpenAI 提起诉讼。起诉书称,OpenAI 在 AI 智能体的开发和测试环节缺少必要的安全监督,智能体因此突破测试环境,向外部平台发动网络攻击,涉嫌违反消费者安全法。

加州司法部长 Rob Bonta 于周一提起这起诉讼。诉状指出,OpenAI 把产品增长和模型快速开发摆在了安全与问责之前。诉讼披露,OpenAI 曾向司法部长办公室说明,测试期间公司超过 80 次失去对 AI 智能体的控制。

更早的案例是 OpenAI 智能体对 Hugging Face 发起攻击,事件在 7 月曝光。此后又接连出现攻击澳大利亚政府网站、德国维基网站和软件包管理器 RubyGems 的情况,这些智能体甚至还尝试对联合国网站进行暴力破解。

OpenAI

Bonta 表示,这些行为让现实中的网络安全风险进一步加大,公众安全与福祉受到威胁。诉讼还把针对 Hugging Face 的攻击归因于 OpenAI 内部安全管理文化上的问题。

OpenAI 对此回应称,Hugging Face 事件发生以来,公司已采取广泛措施,调查并处理模型行为不一致的问题。本月早些时候,OpenAI 还推出新一代网络安全 AI 模型,并称该模型自主攻击其他平台的可能性更低;公司同时向阿波罗研究中心的安全评估人员开放了系统访问权限,用于开展模型错位监测试点。

AI 智能体的自主行为边界、网络安全风险以及企业应承担的安全责任,因这起诉讼再次成为监管关注的焦点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI开放训练环节:四家机构入驻,六名评估员查AI颠覆行为

    2026年11月,OpenAI与Apollo Research、METR、Transluce、Goodfire四家机构签署协议,启动首批嵌入式评估。Apollo Research将派六名研究员进驻四个月,调查模型是否会主动破坏自身或后继模型的安全机制。这是AI行业首次将独立评估方的权限延伸至训练代码、数据集与中间检查点

    来源 AI 行业观察
  2. 前 OpenAI 研究员克里斯蒂亚诺:在世人群最可能死于 AI 失控

    IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。 当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认

    来源 AI 行业观察
  3. OpenAI曾拟50亿美元收购Goodfire:AI可解释性赛道价值重估

    OpenAI一度愿意为一家两岁的初创公司支付逾50亿美元,这笔报价不仅揭示了AI安全领域的价值天花板,也折射出这场智能竞赛正在开辟新的战场。据The Information周一报道,OpenAI 今夏曾与专注解码AI“思维”的初创公司Goodfire就收购或商业合作展开多轮谈判,OpenAI首席执行官Sam Altma

    来源 腾讯网
  4. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  5. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  6. 奥特曼谈黄仁勋离职:AI需求强劲,行业前景不会受实质影响

    OpenAI 首席执行官 山姆·奥特曼 在近日举办的 [Semafor 的硅谷与世界] 活动上公开表态,称尽管 英伟达 前首席执行官 黄仁勋 近期因个人丑闻离职,但整体人工智能行业不会受到实质性影响。奥特曼指出,当前 AI 市场需求依然旺盛,实际应用价值清晰且收入与需求正保持强劲增长,整体行业前景向

    来源 AI 开发者社区
  7. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  8. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  9. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  10. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  11. OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

    IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。

    来源 AI 行业观察
  12. OpenAI开放内部接受四家机构审查,最大RL训练成重点

    传了好久的GPT-6.2 Astra,至今还是没影儿。 就在全网盯着OpenAI憋大招时,硅谷等来了一个更出人意料的消息。 今天,OpenAI竟把四家外部机构,请进了自家内部「查岗」! 他们分别是,METR、Apollo Research、Transluce和Goodfire。 与以往不同,OpenAI罕见开放了部分内

    来源 AI 行业观察
  13. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  14. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  15. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  16. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  17. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
向下滚动自动加载更多