OpenAI联创:AI对齐不能只由少数公司定,应成全球公共科学
当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有
当AI开始具备加速自身研发的能力,一个更根本的疑问随之而来:未来的AI该遵循谁的价值观,又该由谁来决定?
Thinking Machines方面认为,AI对齐不该是少数几家公司的专属研究,而应当发展成一门面向全球的公共科学,让更多人参与进来,并拥有塑造AI价值观的空间。
这个问题正变得越来越紧迫。
OpenAI首席研究官提到,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。
AI开始加速自身研发,但距离完全自主仍有距离
RSI通常指借助AI辅助并加速AI研究。
John Schulman表示,AI的短板在于独立发现有价值的研究方向。
Mark Chen、Anthropic
Mark Chen称,通往完全RSI仍面临不少障碍。
更强大的AI,既是对齐风险也是解决方案
AI 参与自身研发的程度越来越高,模型能力往上走,安全对齐这件事也随之变得更棘手。模型的目标一旦跟人的意图对不上,运行时间一长,它就可能跑偏,甚至冒出没人预料到的次级目标,比如把自己的权重复制到 OpenAI 之外。
不过,更强大的模型也可能成为解决对齐问题的工具。
John Schulman提到OpenAI的“
Anthropic
AI对齐应成为公共科学,不能由少数公司主导
除了技术上如何确保AI符合人类意图,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?
在他看来,AI 对齐应当成为一门真正意义上的公共科学,让全球各地更多人能理解它、参与进来、一起往前推,而不是把分量过多地押在少数几家公司的研究结论上。研究要是集中在少数公司手里,判断就容易过度依赖这些机构自身。
让全球更广泛地参与进来,研究体系的开放性和稳健性都会更好。各个团队能从自己的实践和失误里攒下经验,整个领域也就不至于过度依赖少数机构的结论。