Anthropic上市前触发自身安全警报:AI进展速度超预期
Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的安全阈值,必须启动额外安全控制措施。11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scal
Anthropic即将登陆华尔街之际,却在上市文件中披露了一项安全警报:公司AI研发进展速度已达到自身设定的
11月19日,据英国《金融时报》报道,Anthropic在更新后的IPO申报文件中承认,其技术进展速度已触发2023年制定的“负责任扩展政策”(Responsible Scaling Policy)中的额外安全机制。这一披露恰逢公司将IPO发行价定为每股83美元,高于此前指引区间,估值约达1.5万亿美元之际。
触发安全机制的依据,来自AI评估机构
AI进展速度翻倍,触发内部安全机制
METR其最新报告显示,Anthropic过去12个月实现了约两年的历史技术进展,能力提升速度较此前一年大约翻倍。
这一速度触及Anthropic自身设定的
Anthropic表示,此次判断基于对未来模型能力的预期及整体进展速度,并不意味着AI系统已经能够完全自主改进。新增措施将涉及安全保障、治理架构以及模型开发过程中的内部审查。
Anthropic高管Sam McCandlish回应称,
AI参与自身研发,递归改进风险升温
技术进展提速背后,是AI开始越来越多地参与下一代AI系统的研发。这一过程被称为“递归自我改进”(RSI),即AI系统利用自身能力协助开发更强大的后续模型。
Anthropic在招股说明书中将一个模型协助构建下一个模型的“闭环”研发能力,列为自身相较竞争对手的重要优势,并称其已显著提升算力使用效率。
但这一能力也带来新的安全风险。Apollo Research首席执行官Marius Hobbhahn表示,研究人员此前对递归自我改进的实现时间存在很大分歧,如今这一时间窗口正迅速缩短,而行业的安全准备远未到位。
AI安全机构“AI未来项目”(The AI Futures Project)认为,
Anthropic首席执行官Dario Amodei去年9月也曾提出,应为AI递归自我改进的速度设置某种“速限”,因为相关进展可能快得令人咋舌。
安全定位遭质疑,外部批评升温
Anthropic披露安全机制触发之际,外部对其安全定位的质疑也在升温。
周三,由非营利机构“AI安全中心”(Center for AI Safety)牵头,一个包括Hugging Face及xAI创始人在内的AI研究人员和安全倡导者联盟发表公开声明,指责Anthropic利用安全品牌吸引投资者、员工和公众,并直言其“并非一家安全的AI公司”。
声明特别指出,Anthropic一方面警告递归自我改进可能导致权力集中和人类失去控制,另一方面却在竞相开发相关技术。
类似担忧也出现在AI行业内部。OpenAI
Hobbhahn则认为,即使Anthropic IPO失败、AI融资市场陷入低迷,也未必能够阻止技术继续跃升。他表示,现有AI实验室拥有足够资金推进至少两轮重大技术突破,即使市场泡沫破裂,也可能诞生远超人类能力的模型。