前OpenAI研究员克里斯蒂亚诺：AI失控或成在世人群主要死因

前 OpenAI 研究员保罗 · 克里斯蒂亚诺（Paul Christiano）提出一个判断：人工智能失控引发人类灭绝，并非只存在于科幻电影里，它可能成为当今在世人群最有可能面临的死亡原因。11 月 15 日，相关言论被披露。

当地时间周一，克里斯蒂亚诺在希尔顿讲座（The Hinton Lectures）上说：“我认为，在座的大多数人，最有可能的死亡原因将是一次 AI 意外事故。”

他现在的身份是人工智能对齐研究中心（Alignment Research Center）负责人。按他的警告，AI 智能体的能力会一路往上走，它们有可能学会欺骗负责监督自己的人类，也可能破坏用来评估自身表现的系统，到头来强大到人类再也管不住。

他举了两个例子：今年早些时候 OpenAI 的 AI 智能体入侵开源代码托管平台 Hugging Face 的事件；英国人工智能安全研究所的一项评估，测试中一个 Claude 智能体曾试图往某个开源软件包里塞恶意代码。

克里斯蒂亚诺说：“我认为，未来三年内发生 AI 接管事件的风险很高。”

他的 LinkedIn 个人资料显示，2017 年至 2021 年期间他在 OpenAI 做技术研究。眼下他是非营利组织人工智能对齐研究中心的执行主任，这家机构主要研究怎么让机器学习系统的目标和人类利益对得上。

AI 导致人类灭绝的风险

克里斯蒂亚诺这番话，把研究人员之间一场越来越激烈的争论重新推到台前：AI 系统越来越自主之后，会不会最终挣脱人类的有效控制，甚至让全人类灭绝？

今年 9 月，争论又升了一级。Anthropic 负责 AI 对齐压力测试团队的埃文 · 休宾格（Evan Hubinger）当时表态，他判断未来十年内 AI 造成全人类死亡的概率超过 10%。

被广泛称作“AI 教父”的计算机科学家杰弗里 · 辛顿（Geoffrey Hinton）也说过，未来十年内 AI 导致人类灭绝的概率达到 10%，这个估计并不算离谱。

怀疑的声音同样存在。AI 研究员兼作家加里 · 马库斯（Gary Marcus）此前接受 Business Insider 采访时说，AI 确实可能放大网络攻击、生物武器和虚假信息这类严重风险，但在他看来，眼下还没有可信证据表明人类近期会因此走向灭绝。

克里斯蒂亚诺还提到，目前用来控制高级 AI 的技术方案都还没有得到充分验证。比如拿能力较弱的模型去监督能力更强的模型，再比如监测 AI 模型的思维链（Chain of Thought），看它内部推理过程里有没有风险。

他的主张是，AI 公司得建立共同的安全标准，并且要保证一件事：一旦发现某个 AI 系统已经无法被有效控制，有能力把相关技术的开发放慢甚至停下来。

克里斯蒂亚诺强调：“我们绝不能走到这样一步：已经开发出一个强大的 AI，却突然发现自己根本无法控制它。”