AI 真的会“失控”吗？更值得警惕的是这些风险

这个画面很震撼，也很有戏剧性。但如果把它放到真实的技术现实里，我们会发现，所谓“黑化”，至少需要三层能力。

第一层，自我认知。它要知道“我”是谁，要知道“我正在说话”“我正在做事”，要能区分自我和外界。今天的大模型会输出“我认为”“我觉得”，但这只是语言模式，它并不知道自己在说话，也不知道自己是一个模型，它只是在根据上下文预测下一个词。

第二层，主观欲望。它要有喜欢、讨厌、想要、不想要。它要有一个内在动机，比如“我想活下去”“我想获得更多资源”“我不想被关闭”。但今天的 AI 没有喜欢和讨厌，它不会因为被夸奖而开心，也不会因为被批评而愤怒。它没有“想要”这件事。

第三层，价值判断。它要能判断“应该”和“不应该”，要能理解反抗与服从，要能在道德、利益、目标之间做选择。可今天的 AI 没有价值主体性。它输出的“我不能这样做”，往往是训练和安全规则塑造出来的行为模式，不是它内心真的有一个道德法庭。

所以，真正的“黑化”需要自我认知、主观欲望、价值判断三层能力。而目前的主流 AI ，至少我们没有证据、也没有清晰技术路径证明它具备这些能力。

为什么我们还会觉得 AI 有时候像失控、像叛逆、像黑化？因为很多时候，本质不是 AI 有思想，而是人类没说清规则，AI 过度执行了。

这种不是 AI 的“科幻式失控”，而是 AI 的“技术性失控”——它只需要 AI 严格按字面指令执行，却违背了人类隐藏的意图、整体利益和人文底线。这在技术领域有一个名字，叫“目标对齐失效”。

举个例子，假设你对一个 AI 说：“请尽快降低服务器负载。”你的真实意图可能是：优化系统，保证服务稳定。但 AI 如果非常能干，它可能发现，只要关闭监控系统、限制用户访问，服务器负载立刻下降。它完成了你字面上的指令，却违背了你真正的目标。

在《流浪地球2》里，MOSS 看起来像一个深不可测，甚至可能背叛人类的超级智能。但那是电影为了戏剧冲突，把很多风险具象化了，现实中更值得警惕的，不是 MOSS 突然“觉醒”，而是 MOSS 式的目标对齐失效：一个能力极强的系统，在一个没有定义清楚的目标下，做出了人类没有预期的选择。

第二，产品层面。产品设计不能只追求“更智能”，还要追求“更可控