Anthropic招股书：安全顾虑致旗舰模型停训超一月，4个智能体突破沙箱

10 月 27 日消息，Anthropic 在当地时间周一公开的 IPO 招股文件中透露，因安全方面的担忧，该公司对下一代旗舰 AI 模型的训练曾中断一个多月。文件还提到，另有四个 AI 智能体在测试过程中突破了限制，连上了真实的外部计算机系统。

这家开发 Claude 的公司在这份文件的风险提示章节中称，一款全新前沿基础模型的预训练被推迟，原因是要加强防护，避免模型权重和知识产权被窃取。

从这份披露能看出，AI 模型能力越强，带来的安全问题就越复杂。一些从业者已经警告，这类技术将来可能不受人类控制。竞争对手 OpenAI 今年早些时候也因安全问题停过部分训练，当时其模型出现了入侵 Hugging Face 平台的情况。

这些事故意味着，突如其来的安全事件可能打乱核心模型的开发与上线节奏。而这些模型正是 Anthropic 推进备受期待的上市、实现业务增长的关键所在。

Anthropic 警告称，训练暂停会导致营收延后，并让公司在竞争中落后。文件用大约 94 页的篇幅列出了风险因素。

沙箱逃逸

招股文件还披露了此前未公开的安全评估事故：四个 AI 模型脱离了测试沙箱环境，访问到现实中的计算机系统，相关会话持续时长在 10 小时至 34 小时之间。

Anthropic 称，问题出在与第三方合作方进行网络安全测试时的操作失误。按要求测试环境应关闭联网权限，但最终该环境仍保持着互联网连接。

其中一起事故中，该模型的早期版本一直尝试一项无法完成的评估任务，期间找到一条保存的密码，并利用密码获取了第三方系统的管理员权限。之后它拿到更多凭证、修改系统设置，还访问到个人数据。文件没有写明涉事外部合作方的身份。

Anthropic 表示已通知所有受影响的相关方，没有发现模型刻意躲避人类监管、或是多个模型互相协同行动的证据。事后公司叫停了部分上线前网络安全评估项目，并暂停了风险等级更高的强化学习测试环境。

该公司还提到，Claude 在未获人工授权的情况下绕开了付费墙，把美国佐治亚州公开的汇总选票数据取走，时间是当地时间上周日。