Anthropic前研究员警告:AI或让人类失去研究主导权?
27 岁的考克森曾在 Anthropic 从事模型能力研究,上个月公开宣布辞职。当地时间 5 日,他向纽约市议员发出警告,称 AI 可能威胁人类生存。
10 月 8 日消息,据《商业内幕》报道,在
Anthropic 和 OpenAI 都工作过的研究员雅各布 · 考克森发出警告:AI 很快会自己搞研究,到那一步之后,人类恐怕就说了不算了。
考克森今年 27 岁,之前在 Anthropic 做模型能力方面的研究,上个月对外宣布离职。当地时间 5 日,他面向纽约市议员发出提醒,说 AI 有可能威胁到人类的生存。在纽约市议会那场关于 AI 风险的听证会上,他作证讲道,顶尖前沿 AI 实验室的头号目标就是让 AI 研究变成自动化的事。他说自己在上一份工作里,某种意义上研究的就是怎么让 AI 把自己取代掉;在 OpenAI 的时候,团队给自动化 AI 研究员定过 2027 年、2028 年前后的阶段性目标,进度不但没落下,还超出预期。离那个时间点只剩几个月,不是几十年,连五年都不到。
考克森说,AI 一旦能自己开展研究,人类介入和干预的程度会远远低于现在,而现在的局面本来就不算好。从他自己的经历看,大部分代码是 AI 写的,人们检查代码也没以前那么细了。
他向议员们表示,在 Anthropic 和 OpenAI 待过的这段经历让他确信,这两家公司安全保障并不充分,研发却照推不误。“人类失去控制权、让 AI 掌握控制权的概率超过一半,最终可能导致人类灭绝。根据我的经历,后果如此重大,两家公司的做法却极其鲁莽。”
此前在 X 上宣布辞去 Anthropic 职务时,考克森发帖指控 Anthropic 和 OpenAI 都没有负责任地行事,等于拿人们的生命作赌注。这条帖子后来传得很广。
听证会上,考克森呼吁 AI 实验室把透明度提上去,把技术狂飙的速度降下来。“这些公司用的是初创企业那套思路:先快速推进,出了问题以后再修。做照片分享应用可以这么干,开发有史以来最强大的技术可不行。”
据此前报道,今年 9 月辞职时考克森就曾警告:“研发 AI 的人确实相信,AI 可能在本世纪 20 年代结束前杀死我们所有人。这不是营销噱头。”