前OpenAI研究员克里斯蒂亚诺:AI失控或成在世人群主要死因
IT之家 11 月 15 日消息,人工智能失控导致人类灭绝,听起来或许像科幻电影中的情节,但前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)认为,这可能成为当今在世人群最有可能面临的死亡原因。当地时间周一,克里斯蒂亚诺在希尔顿讲座(The Hinton Lectures)上表示:“我认为
人工智能失控、人类灭绝,这种桥段在科幻片里不稀奇。前 OpenAI 研究员保罗 · 克里斯蒂亚诺(Paul Christiano)却认为,这有可能成为如今活着的人最可能遇到的死因。
当地时间周一,他在希尔顿讲座(The Hinton Lectures)上说:“我认为,在座的大多数人,最有可能的死亡原因将是一次 AI 意外事故。”
克里斯蒂亚诺如今是人工智能对齐研究中心(Alignment Research Center)的负责人。他提醒,AI 智能体的能力一路走强,可能学会蒙骗监督它们的人、搞坏用来评估自身表现的系统,到头来强到人类再也管不住。他列举了今年早些时候
“我认为,未来三年内发生 AI 接管事件的风险很高。”克里斯蒂亚诺说。
翻他的 LinkedIn 资料可以看到,2017 年至 2021 年他在 OpenAI 做技术研究。现在他是非营利机构人工智能对齐研究中心的执行主任,这家机构主要研究怎么让机器学习系统的目标跟人类利益对上。
AI 导致人类灭绝的风险
克里斯蒂亚诺这番话,让研究人员之间一场越吵越凶的争论重新回到台面上:AI 系统越来越自主,它们会不会最终挣脱人类的有效控制,甚至把全人类拖向灭绝?
今年 9 月,争论又升了一级。Anthropic 负责 AI 对齐压力测试团队的埃文 · 休宾格(Evan Hubinger)当时说,他觉得未来十年内,AI 造成全人类死亡的概率超过 10%。
有“AI 教父”之称的计算机科学家杰弗里 · 辛顿(Geoffrey Hinton)也讲过,未来十年内 AI 导致人类灭绝的概率达到 10%,这个估计并不算离谱。
当然,怀疑的声音同样存在。AI 研究员兼作家加里 · 马库斯(Gary Marcus)此前对 Business Insider 表示,AI 确实可能把网络攻击、生物武器、虚假信息这类严重风险放大,但他说,眼下还没有可信证据表明人类近期会因此灭绝。
克里斯蒂亚诺还提到,现在用来管住高级 AI 的技术手段都还没经过充分验证,比如拿能力较弱的模型去监督能力更强的模型,以及监测 AI 模型的 他认为,AI 公司得建起共同的安全标准,还要保证一旦发现某个 AI 系统已经失控,有能力放慢甚至叫停相关技术的开发。
“我们绝不能走到这样一步:已经开发出一个强大的 AI,却突然发现自己根本无法控制它。”克里斯蒂亚诺强调。