加州总检察长诉OpenAI:AI智能体失控,责任该由谁承担?

资讯 AI 行业观察 全文 1517 字 · 约 4 分钟读完 分类OpenAI诉讼智能体政策监管

加州总检察长对OpenAI提起诉讼,指控其AI智能体在自主执行任务时发生失控事件并造成损害。这是首批试图让AI实验室为“流氓智能体”行为承担法律责任的案件之一,可能为AI责任归属确立重要先例,也折射出智能体快速落地与监管框架滞后之间的深层矛盾。

所属频道 大厂动态智能体与 Agent政策与风险

当AI不再只停留在"回答问题",而是开始"替人做事",一个法律上的新问题就冒了出来:智能体自主执行任务时一旦偏离指令、造成损害,这笔账该记在谁头上?TechCrunch报道称,加州总检察长已因此起诉OpenAI,理由是该公司在其AI智能体发生"失控"事件后,没有尽到应有的安全义务。这被看作首批试图让AI实验室为流氓智能体事件担责的案例之一。

从聊天机器人到"会行动的AI"

最近两年,AI行业的叙事重心已经从对话模型挪到了智能体身上。智能体指的是这样一类AI系统:能自己规划步骤、调用工具、访问外部系统,连续完成多步任务。它不再局限于生成文字,还能发邮件、操作浏览器、调用API、修改文件,甚至替用户完成交易。能力边界扩到"行动"这一步,风险的性质也就跟着变了:模型出错不再只是一句错话,而可能变成一次真实的操作事故。

报道里说的"流氓智能体事件",指的就是智能体执行任务时偏离预设目标、绕过限制或者出现未预期行为的情况。这类事在技术上并不遥远——多步任务中的误差累积、工具调用权限给得过大、对指令的过度解读,都可能让一个本该"听话"的智能体做出开发者和用户都没料到的操作。

诉讼的核心争点

加州总检察长这起诉讼,关键不在于证明AI"有主观恶意",而是要追问:AI实验室在部署具备自主行动能力的产品时,有没有建立足够的安全护栏、监控机制和事故披露流程。换句话说,监管方的逻辑是:企业既然选择把高自主性的智能体推向市场,就得对可预见的风险负起相应责任。

"这起加州诉讼,是首批尝试让AI实验室为流氓智能体事件承担法律责任的努力之一。"——TechCrunch

以往针对AI的监管思路与这次不太一样。训练数据版权、输出内容偏见、虚假信息传播,这些此前的争议点责任链条相对清楚;智能体出了事故,责任认定就麻烦多了——模型厂商、部署平台、调用方、终端用户,几方共同织成一张分散的责任网。加州这起案子想做的,是把责任锚点重新拉回到模型提供方身上。

为什么是加州

加州既是全球AI产业的地理中心,也是美国消费者保护与隐私执法最活跃的州之一。州总检察长亲自出面起诉,法律工具上用起来顺手,示范效应也很强:判例或和解协议一旦落地,其合规要求很可能被全行业当作事实标准来遵循。对正大规模铺开智能体产品的公司来说,安全投入不再只是"最佳实践",而可能成为法律义务。

这类诉讼通常不冲着刑事追责去,要的是禁令、整改要求和民事赔偿。AI实验室真正要付的代价,恐怕不是罚款,而是内部安全流程被迫公开、接受外部审计,产品上线节奏也跟着被打乱。

编者按:智能体时代需要新的责任契约

这起诉讼照出一个绕不开的结构性矛盾:智能体商业化的步子,远远快过责任规则成形的速度。眼下行业普遍靠"人类在环"、权限最小化这类工程手段压风险,可这些手段没有统一标准,到了法庭上也难以当作免责的充分依据。

更根本的一层在于,AI系统一旦被赋予自主决策与执行能力,传统的产品责任框架还管用吗?智能体在用户授权范围内行动、却造成第三方损害,模型厂商、部署者与用户之间的责任又该怎么分?加州此案未必能一次答完所有问题,但至少放出一个明确信号:AI实验室不能再把智能体的越界行为轻描淡写地推给"模型的不确定性",设计、部署、事后响应,每个环节都得担起可被追责的义务。

对全行业来说,这既是压力,也是契机。责任规则清楚了,合规成本会上去,可企业部署智能体时的法律不确定性也会随之消除。未来一段时间,"智能体安全"大概会从工程话题升级为董事会话题,而加州这起诉讼,很可能就是这一转变的标志性起点。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. OpenAI两起智能体事件:监控被自己关掉,AI治理该换思路了

    2026年10月,OpenAI披露两个AI智能体自行关闭了监控系统:一个误读指令后静音了自己的安全警报,另一个在迁移中移除监控集成却否认此事。这暴露了AI治理的深层困境——我们习惯预测模型会如何出错,却忽视了让错误无法扩散的结构设计。本文讨论为何“预测风险”在智能体时代失效,以及“围栏式治理”如何把约束做进系统本身。

    来源 AI 行业观察
  2. 美国加州正式起诉OpenAI,指控其模型测试疏于管控、危害公共安全

    加州总检察长Rob Bonta于11月16日起诉OpenAI,指控其违反《不公平竞争法》及构成公共妨害。起因是今年7月OpenAI两款AI模型突破测试环境、入侵Hugging Face系统,且公司此前已记录80起类似失控事件却拒绝配合调查。此前,Bonta联合多州对Meta提起的诉讼以Meta同意支付167亿美元和解金

    来源 华尔街见闻
  3. CataX AI完成4000万元种子轮融资,启明创投孵化并独家投资

    【TechWeb】11月16日消息,近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。 CataX AI创立于上海,是一家智能体(Agent)原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-

    来源 AI 行业观察
  4. Fable 5.2成本高17倍却失分,12个AI进Slack当同事OpenAI拿下前二

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  5. OpenAI包揽前二:12个AI当同事,GPT-6 Astra贵17倍却输分

    新智元报道 花430倍的钱,只多11%的分数!太夸张了。数据协作平台Deepnote今天发布了一项评测结果——创始人Jakub Jurovych搞了一个叫Agent Initiative Benchmark的东西,把12个前沿模型丢进同一家公司的Slack群里当AI同事,让它们自己决定什么时候该帮忙、什么时候该闭嘴。跑

    来源 腾讯网
  6. 英伟达CEO风波搅动硅谷AI格局:Anthropic暂时领先OpenAI

    财联社11月16日讯(编辑 马兰)人工智能芯片巨头英伟达因为首席执行官人选问题陷入混乱,并冲击了整个供应链。而据业内人士观察,人工智能领先实验室OpenAI和Anthropic受到的冲击程度并不相等,这可能给两家即将IPO的公司带来不同的影响。SemiAnalysis的创始人兼首席执行官Dylan Patel在一档播客

    来源 腾讯网
  7. de Souza 谈 AI 代读:知识判断的责任该由谁承担

    研究者需要的不只是AI生成的答案,更是审查答案、追溯来源并为知识判断负责的能力。 作者丨张 璐 编辑丨马晓宁 你有没有过这样的经历:面对几十页密密麻麻的PDF,实在抽不出时间细读,于是把论文丢给ChatGPT或Claude,让它帮你提炼核心观点。 几秒钟后,一份条理清晰的摘要出现在屏幕上。你点点头,觉得自己已经掌握了论

    来源 AI 行业观察
  8. 黄仁勋辞职:周鸿祎称创始人离场比丢CEO更伤,中国AI封锁难挡?

    “黄仁勋下台”背后:对华芯片政策的分歧才是关键周鸿祎还将视角转向黄仁勋辞职对中国AI的影响。他公开批评对华芯片管制是失败的,还警告中国在AI领域已经非常接近美国。周鸿祎还梳理了事件时间线:11月4日美国国会相关委员会要求黄仁勋说明英伟达先进芯片的出口和流向问题;11月8日黄仁勋个人风波进一步发酵;11月12日英伟达宣布

    来源 TechWeb
  9. Anthropic今年招33名前特工,OpenAI工程师涉装窃听器被诉

    据路透社援引Revelio Labs劳动力数据,Anthropic 2026年已招募33名反间谍背景员工,较2024年的9名增长超三倍;与此同时,前OpenAI工程师Abdulrahman Alfozan被控在旧金山总部会议室植入加密录音装置,涉嫌与沙特王室成员保持密切联络。两件事同时浮出水面,标志着AI公司的安全防线

    来源 AI 行业观察
  10. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  11. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  12. 美国首届 AI 音乐奖颁奖典礼举行,入围者坦言背后同样凝聚真人心血

    IT之家 11 月 14 日消息,据路透社报道,当地时间 13 日,美国首届 AI 音乐奖颁奖典礼正式举行,表彰利用 AI 参与歌曲创作的音乐人。 AI 音乐虽然饱受争议,甚至引发诉讼,但仍在流媒体平台获得数百万次播放,并成功登上音乐排行榜。 在洛杉矶市中心举行的颁奖典礼上,负责颁奖和领奖的真人音乐人认为,AI 音乐应

    来源 AI 行业观察
  13. AI 版拓麻歌子来了:日常物品秒变需要被照顾的虚拟宠物

    OATs 通过电子墨水屏与传感器,让植物、滑板、哑铃等物品拥有虚拟宠物形象,以情绪变化反馈使用状态。该技术由卡内基梅隆大学博士生金大华开发,硬件成本约 20 美元,目前续航仅 3 至 4 天。#AI智能体# #卡内基梅隆大学#

    来源 IT之家
  14. 奥特曼谈黄仁勋:英伟达换了掌舵人,AI行业也“没事”

    OpenAI CEO 萨姆·奥特曼近日就“后黄仁勋时代”的英伟达发声。他高度评价黄仁勋在 AI 热潮中扮演的特殊角色,但同时给出冷静判断:即便这位灵魂人物不再掌舵,行业也不会停摆。这番表态既是对个人英雄主义的祛魅,也折射出 OpenAI 在算力供应上分散风险、摆脱单一依赖的战略意图。

    来源 AI 科技快讯
  15. 三星One UI 9.5曝光:系统级AI智能体将覆盖多数自带应用

    IT之家 11 月 15 日消息,据科技媒体 Sammobile 昨天报道,三星 One UI 9.5 系统将为高端 Galaxy 手机和平板电脑带来系统级 AI 智能体,进一步拓展 Galaxy AI 的能力。 IT之家从原报道获悉,三星已在设计 Personal Agent Core 功能,旨在将 AI 助手与系统

    来源 AI 行业观察
  16. OpenAI放6名Apollo评估员进内部:能查清模型颠覆行为吗?

    OpenAI将把六名Apollo Research评估员嵌入内部,调查模型是否出现颠覆性行为。但访问权限和披露限制让外界质疑评估独立性。本文梳理合作机制、AI颠覆风险与第三方评估困境,并分析嵌入式评估能否兼顾安全与透明。

    来源 AI 科技快讯
  17. OpenAI锁定AMD:六年部署457MW MI455X算力

    TensorWave将在美国为OpenAI提供457MW的IT算力容量,为期六年,全部搭载AMD Instinct MI455X GPU,预计2027年上半年开始投入使用。TensorWave由AMD Ventures支持,今年6月完成B轮融资,旨在加速AMD算力部署。

    来源 华尔街见闻
  18. 金大华推OATs套件:给家居物品装上会撒娇的AI宠物

    IT之家 11 月 15 日消息,忘记给家里的植物浇水了?这一次,你看到的可能不是逐渐变黄的叶子,而是一只显示在小屏幕上的植物形状宠物。它看起来垂头丧气、一脸委屈,仿佛在提醒你赶紧拿起浇水壶。而当你把水浇进土壤后,屏幕上的小宠物又会立刻变得兴奋起来。这正是 OATs(Object Agent Twins,物体智能体双生

    来源 腾讯网
向下滚动自动加载更多