当AI从"回答问题"转向"替人做事",一个新的法律难题随之浮现:智能体自主执行任务时偏离指令、造成损害,责任该由谁承担?据TechCrunch报道,加州总检察长已就此起诉OpenAI,指控该公司在其AI智能体(agent)发生"失控"事件后未能履行应有的安全义务。这被视为首批尝试让AI实验室为流氓智能体(rogue agent)事件承担法律责任的案例之一。
从聊天机器人到"会行动的AI"
过去两年,AI产业的叙事重心已从对话模型转向智能体。智能体能够自主规划步骤、调用工具、访问外部系统并连续执行多步任务,它不再只是生成文本,而是可以发邮件、操作浏览器、调用API、修改文件,甚至代表用户完成交易。能力边界一旦扩展到"行动",风险的性质就变了:模型的错误不再只是一句错话,而可能是一次真实的操作事故。
所谓"流氓智能体事件",说的是智能体在跑任务时跑偏、绕开约束,或者冒出没人预料到的举动。这种情况在技术上并不玄乎——多步任务里误差会越攒越多,工具调用给的权限太大,对指令理解过头,都可能让本该"听话"的智能体干出开发者和用户都没料到的操作。
诉讼的核心争点
加州总检察长这场官司,要证明的并不是AI"主观上使坏",真正要追问的是:AI实验室把能自主行动的产品推出去时,有没有配好安全护栏、监控机制和事故披露流程。监管方的算盘是:企业既然选择让高自主性的智能体上市,那对可以预见的风险就得负起责任。
"这起加州诉讼,是首批尝试让AI实验室为流氓智能体事件承担法律责任的努力之一。"——TechCrunch
这套打法跟过去管AI的路子不太一样。以前吵的多是训练数据版权、输出内容偏见或者假消息扩散,责任链条比较好理清;智能体出事之后,责任认定就麻烦多了——模型厂商、部署平台、调用方、终端用户搅在一起,形成一张分散的责任网。加州这案子的分量,就在于它想把责任锚点重新拽回模型提供方这边。
为什么是加州
加州既是全球AI产业的地理中心,也是美国消费者保护和隐私执法最勤的州之一。州总检察长亲自出面起诉,法律工具上用起来顺手,示范效应也很强:一旦有了判例或者和解协议,里面的合规要求很可能被全行业当成事实标准照着做。对那些正在大批量铺智能体产品的公司来说,安全投入从此不再只是"最佳实践",而可能变成法律义务。
这类官司通常不冲着刑事追责去,要的是禁令、整改要求和民事赔偿。对AI实验室来讲,真正肉疼的未必是罚款,而是被逼着公开内部安全流程、接受外部审计,产品上线节奏也被打乱。
编者按:智能体时代需要新的责任契约
这场诉讼照出一个躲不开的结构性矛盾:智能体商业化的步子,比责任规则成形的速度快太多。眼下行业普遍靠"人类在环"、权限最小化这些工程手段压风险,可这些手段没有统一标准,真上了法庭也很难拿来当免责的充分依据。
更根本的一层是:AI系统一旦被赋予自主决策和执行能力,传统的产品责任框架还管用吗?智能体在用户授权范围内行动,却给第三方造成了损害,模型厂商、部署者和用户之间的责任该怎么分?加州这案子也许没法一次把所有问题答完,但至少放出了一个明确信号:AI实验室不能再把智能体的越界行为随口推给"模型的不确定性",设计、部署、事后响应,每个环节都得担起能被追责的义务。
对整个行业来说,这既是压力也是机会。责任规则清楚了,合规成本固然会上去,可企业部署智能体时的法律不确定性也会跟着消掉。接下来一段时间,"智能体安全"会从工程话题升到董事会话题,而加州这起诉讼,很可能就是这一转变的标志性起点。