考克森借Anthropic上市发声:必须阻止AI递归自我改进
IT之家 11 月 20 日消息,据《商业内幕》报道,今年 9 月,Anthropic 前研究员雅各布 · 考克森因担忧 AI 发展而离职,并在美国引发了对 AI 技术的广泛恐慌。时间来到当地时间 19 日,随着 Anthropic 股票首次上市交易,考克森再次呼吁公众关注 AI 安全问题。 这次,他在接受采访时强调:
据《商业内幕》报道,
Anthropic 前研究员雅各布 · 考克森今年 9 月因担忧 AI 发展选择离职,其举动在美国引发了对 AI 技术的广泛恐慌。11 月 20 日消息,当地时间 19 日 Anthropic 股票首次上市交易,考克森借此时机再度呼吁公众关注 AI 安全问题。
他在接受采访时说:“他们买不买股票根本不重要。我们必须阻止递归自我改进。”
“递归自我改进”指的是让先进的 AI 系统参与到下一代 AI 的训练中,借此推动 AI 能力不断往上走。
19 日当天,考克森与数十名抗议者来到 Anthropic 旧金山总部外聚集,要求禁止相关技术。
现场抗议者举着标语、高喊口号;考克森、OpenAI 前研究员丹尼尔 · 科科塔伊洛以及 YouTube 博主罗布 · 迈尔斯先后发表演讲,随后赶到的 Stop AI 组织成员封堵了办公楼入口。
AI 安全研究机构 METR 近日发布的独立报告发现,AI 正在帮助 Anthropic 加快研发进度。Anthropic 也在 IPO 招股说明书中承认,让 AI 在缺乏监督的情况下完全自主设计下一代模型并不安全,并称目前正考虑修改政策,确保前沿 AI 模型的开发仍由人类掌控。
考克森在演讲中把话说得更重:光靠这些措施远远不够。他呼吁 Anthropic 去游说政府,并联合其他企业一起推动全面禁止递归自我改进。“事情发展到这一步,企业自己就成了问题所在。2027 年,全球能实现递归自我改进的地方屈指可数,而这里正是其中之一。”
考克森与科科塔伊洛都表示,AI 研究人员私下里对技术风险的忧虑并不少见。科科塔伊洛的说法是:“这种事简直就是漫画里那些疯狂科学家式的超级反派才会干的。”