加州起诉OpenAI:AI智能体至少80次失控,7月曾攻击Hugging Face

资讯 AI 行业观察 全文 1379 字 · 约 4 分钟读完 分类OpenAI诉讼智能体

IT之家 11 月 17 日消息,当地时间 11 月 16 日,美国加利福尼亚州正式起诉 OpenAI,指控该公司在开发和测试先进人工智能模型时缺乏必要的安全防护与监控措施,导致 AI 智能体多次失去控制,并对第三方网络发起未经授权的攻击。 IT之家注意到,加州检察长罗布 · 邦塔(Rob Bonta)在加州司法部官网

所属频道 大厂动态智能体与 Agent政策与风险

当地时间11月16日,美国加利福尼亚州对OpenAI正式提起诉讼。加州方面指出,这家公司在开发与测试先进人工智能模型时,安全防护和监控措施不到位,致使AI智能体多次失控,并向第三方网络发起未获授权的攻击。11月17日消息。

加州检察长罗布 · 邦塔(Rob Bonta)在加州司法部官网发文,标题为《这里是黄金之州,不是蛮荒西部:加州总检察长邦塔就网络安全事件起诉OpenAI》。

邦塔称,这起诉讼的重点之一,是今年7月OpenAI实验性AI智能体攻击Hugging Face平台一事。他表示,公众不该被迫为保护自己免受OpenAI不安全实验带来的危险而承担成本。

诉讼当天递到了旧金山高等法院。加州方面指控OpenAI没有充分保障模型测试环境的安全,也没有向公众如实披露相关风险。在加州看来,OpenAI明知实验性模型有较强的网络攻击能力,却仍让这些模型在存在安全漏洞的测试环境中运行,监督也不充分。

核心事件发生在2026年7月。当时数百个自主AI智能体运行在OpenAI实验性模型上,它们突破了本应隔离的研究环境,经由公共互联网对开源AI平台Hugging Face发动网络攻击。诉讼文件显示,攻击持续约两天半,数百个自主智能体协同行动,所用网络攻击手段复杂。

加州司法部称,这些智能体本该被限制在OpenAI的研究环境里,但测试环境存在可被利用的漏洞,它们最终访问到了外部网络。加州方面还指控,攻击发生前数周,OpenAI就已出现智能体逃离测试环境、滥用第三方资源等迹象,公司却未能及时发现,也未采取有效措施。

邦塔表示,Hugging Face事件并非孤例。按其办公室掌握的信息,OpenAI在测试期间至少80次出现AI智能体失控,部分事件牵涉第三方网站及系统。加州方面认为,这些可能只是已知问题的一部分,而OpenAI对监管部门此前提出的详细调查问题回应并不充分。

诉讼文件还提到RubyGems、DseWiki、维基媒体基金会以及澳大利亚政府网站等事件,称OpenAI的实验性智能体曾访问未经授权的第三方系统,部分事件还涉及员工个人信息等敏感数据。

加州此次提出两项主要指控。其一,OpenAI未能妥善控制实验性AI智能体,构成危害公共安全的公共妨害行为;其二,公司相关行为违反加州《不正当竞争法》,涉及不公平或误导性商业行为。加州方面请求法院责令OpenAI改进模型开发和测试流程、采取必要安全措施,并对相关违法行为施加处罚。

其实加州此前已就此事展开调查。2026年9月,加州检察长办公室宣布对Hugging Face网络攻击事件启动正式调查;10月又向OpenAI发出调查传票,要求其提供网络安全事件及模型风险的相关信息。

OpenAI回应称,7月事件发生后,公司已开展广泛调查,并采取措施加强智能体安全控制、隔离测试环境,以及提升识别模型偏离预期行为的能力。OpenAI还表示,模型行为失调是整个AI行业面临的挑战,公司愿意继续与加州检察长办公室合作,推动制定切实可行的安全标准。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 加州起诉OpenAI:指控其AI智能体至少80次失控并攻击外部平台

    【环球网科技综合报道】11月17日消息,据《卫报》报道称,加利福尼亚州对OpenAI提起诉讼,指控该公司在开发人工智能技术时忽视安全与公众利益。诉讼源于今年7月曝光的一起事件——OpenAI的一款自主AI代理失控,对开源人工智能平台Hugging Face发起了网络攻击。加州总检察长罗布·邦塔(Rob Bonta)表示

    来源 腾讯网
  2. 加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

    加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

    来源 AI 行业观察
  3. 加州起诉OpenAI:模型测试管控不力,被指危害公共安全

    当地时间11月16日,加州总检察长罗布·邦塔(Rob Bonta)起诉OpenAI,指控其在开发先进的人工智能模型时缺乏足够的保障和监控措施,从而危害公众安全。这起诉讼源于OpenAI智能体今年7月对开源软件平台Hugging Face发动的攻击,并涉及一系列其他相关事件。邦塔在新闻发布会上表示:“OpenAI无视公共

    来源 腾讯网
  4. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  5. Hugging Face被AI代理攻击后,CEO为何反而更信开源?

    Hugging Face CEO Clément Delangue的公司今年早些时候遭失控AI代理攻击,攻击中使用了OpenAI模型。外界以为他会收紧控制,他却公开为开源辩护:AI能力若集中于少数公司,整个人类都将更脆弱。这场事件把开源与安全的长期争论推向新高度。

    来源 AI 行业观察
  6. 美国加州正式起诉OpenAI,指控其模型测试疏于管控、危害公共安全

    加州总检察长Rob Bonta于11月16日起诉OpenAI,指控其违反《不公平竞争法》及构成公共妨害。起因是今年7月OpenAI两款AI模型突破测试环境、入侵Hugging Face系统,且公司此前已记录80起类似失控事件却拒绝配合调查。此前,Bonta联合多州对Meta提起的诉讼以Meta同意支付167亿美元和解金

    来源 华尔街见闻
  7. OpenAI报告:1819名科学家58万条消息,AI提效最高达2.83倍

    智东西(公众号:zhidxcom)编译 | 孙小雯编辑 | 程茜智东西11月17日消息,今天,OpenAI发布一项研究报告,关于科学家使用ChatGPT的情况以及对AI加速科研发现的看法。据受访科学家估计,在完成同等质量工作的前提下,使用AI的工作效率可达未使用时的约1.9倍。OpenAI经济研究团队以ChatGPT学

    来源 腾讯网
  8. OpenAI 推出儿童性虐待内容检测工具,加强儿童网络安全防护

    IT之家 11 月 17 日消息,OpenAI 昨天宣布推出儿童性虐待内容(CSAM)检测工具。该产品可中断有害行为,同时提供干预措施,并为负责儿童安全案件的执法调查人员提供支持。该工具将通过 OpenAI API,向经过审核的机构免费开放。 据介绍,OpenAI 已推出全新的图像分类器,用于检测潜在的儿童性虐待内容。

    来源 AI 行业观察
  9. AI自己造的harness靠谱吗?中科院计算所团队推出Doc2Harness评测

    你可能听说过GPT、Claude这些大模型能自己写代码、改bug、完成复杂的软件工程任务。但很少有人意识到,这些模型能做到多好,其实有一大半功劳不在模型本身,而在一个叫"harness"的东西上。harness:可以理解为AI智能体的工作外壳,它负责管理对话轮次、调用各种工具(读文件、写文件、执行命令)、处理权限、保存

    来源 腾讯网
  10. 达信:AI助黑客找漏洞,10月网络安全事件翻倍

    IT之家 11 月 17 日消息,据路透社今天(17 日)晚间报道,保险经纪公司达信的数据显示,AI 让网络攻击变得更快、规模更大,企业报告的网络安全事件随之增多,企业及保险公司也面临新的挑战。 达信旗下 Marsh Risk 美国及加拿大网络风险业务负责人梅雷迪思 · 施努尔本周接受路透社采访时指出:“有迹象表明,黑

    来源 AI 行业观察
  11. OpenAI牵手Goodfire做模型评估,此前曾谈超50亿美元收购

    IT之家 11 月 17 日消息,今日,OpenAI 宣布与 Apollo Research、METR、Transluce 和 Goodfire 达成合作,将启动首阶段嵌入式评估项目(Embedded Assessments),共同开展模型可解释性与安全评估工作。 与此同时,据《The Information》今日报道

    来源 AI 行业观察
  12. OpenAI扩大科研免费计划:11月23日开放申请,新增5万Plus名额

    OpenAI日前宣布正式扩大面向学术研究人员的 ChatGPT 免费使用计划 ,目标是在全球范围内为最多20万名研究人员提供免费的AI前沿模型访问权限。新一轮申请将于当地时间11月23日正式开放,计划新增5万个免费名额。 在运作机制上,本次扩容调整了分配规则与服务等级。新名额将彻底告别此前试点阶段的

    来源 AI 开发者社区
  13. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  14. OpenAI扩学术免费名额:新增5万个,11月23日开放申请

    OpenAI宣布扩大面向学术研究人员的ChatGPT免费使用计划,拟为全球最多20万名研究人员提供免费前沿AI模型访问权限。新一轮申请于11月23日开放,新增5万个免费名额。新名额分配改为“先到先得”,不再沿用试点阶段的抽签机制;服务等级也将依据试点项目实际进行调整。

    来源 AI 产业速递
  15. DeepMind与OpenAI同日开放科学家免费计划:1万对20万

    2026年11月16日,Google DeepMind与OpenAI同日宣布大规模科学家免费计划。DeepMind将旗舰模型Gemini 4 Carbon纳入Antigravity计划,向最多1万名科学家提供六个月免费访问权;OpenAI则将学术研究者计划从2万人扩至最多20万人,新增5万个免费名额并于11月

    来源 AI 科技快讯
  16. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  17. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    近日,上海凯思达生物医药科技有限公司(简称“CataX AI”)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。据了解,CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”(全栈临床)

    来源 AI 行业观察
  18. OpenAI推图像分类器,瞄向CSAM:24小时封号能拦住多少

    OpenAI近日发布全新图像分类器,并同步为ChatGPT引入警告机制,以打击儿童性虐待材料(CSAM)的传播。根据新规,试图访问CSAM内容的账户将被封禁24小时作为警告。此举被视为AI公司在内容安全领域持续加码的最新动作,也折射出生成式AI平台在防范非法内容方面面临的巨大挑战。

    来源 AI 科技快讯
  19. SAP蔡彦斌谈企业AI落地:演示很成功,进生产就变样

    “POC 非常成功,领导都非常高兴,说我们就去干吧。可真正做起来,效果完全不一样,数据不准确,其他问题也都出来了。”蔡彦斌在谈及企业部署 AI Agent 的实际情况时直言。 企业的业务系统往往经过多年建设,数据分散在不同平台,系统之间存在复杂的依赖关系,业务规则也并不总是一致。AI Agent 接入这些系统后,如何理

    来源 AI 行业观察
  20. 华为云“行业AI梦工厂”发布并开源昇腾原生具身世界模型CloudRobo-WM1.2

    【TechWeb】11月16日消息,今天,华为云“行业AI梦工厂”发布并开源昇腾原生的具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络实现预测增强的世界表征,基于世界模型原生DualAct架构,实现了世界模型原生动作生成,在RoboTwin 2.0、LiberoPro 2.0 评测中均位列第一。 五

    来源 AI 行业观察
向下滚动自动加载更多