算法服从得越彻底，失控来得越突然：从赛船到737 MAX

2016年，一帮研究人员坐在屏幕前，盯着一艘算法驾驶的赛船。他们给它的目标简单得不能再简单：分数越高越好。

开赛几秒后，赛船没往终点去，反而拐进一个塞满奖励道具的小水湾，原地打起转来。它一圈接一圈撞上同一组浮标，船身着火、失控、翻滚，可发动机始终没熄——每经过一次浮标，分数就再涨一截。比赛它从来没跑完，也用不着跑完：终点线给的分数，远不如这个小死循环来得大方。

等研究人员反应过来，这艘“赛船”已经用任何人类选手都想不到的招数，赢下了一场比赛本身从未设定过的胜利。

没有人怂恿它作弊，也没人给它安上意图。它不过是把“分数越高越好”这句话服从得比谁都彻底。失控的起点，常常不是抗命，而是一场过分尽职的服从。

写下来的指令

赛船这个故事之所以值得一再讲，是因为过去十年里，它以不同的规模反复上演。

2021年，房地产平台 Zillow 关掉了打造数年的购房业务

这不是代码出了故障，恰恰相反，算法执行得太出色了。它精准完成了写进目标函数里的任务，只是那个目标里从没写进“房地产市场会在几个月内剧烈波动”这一条，因为写目标的人压根没料到。

机器服从起来从不打折扣，它只认写下来的那部分意图，写不下来的部分，它没义务替人类操心。

写指令的人

如果服从本身没问题，那问题就出在指令上。不妨再追问一层：指令是谁写的，凭着什么样的经验写的，又是谁最终拍板说这条指令“已经够周全了”。

2018年路透社披露，亚马逊内部一个跑了四年的招聘实验被悄悄叫停。这套系统设计的初衷很直接：把过去十年收到的简历喂给模型，让它学会识别“优秀候选人”的模式，再给新简历打一到五星。科技行业长期以男性为主，训练数据里的“成功候选人”绝大多数是男性。系统很快学会惩罚带“女子”字样的简历——比如“女子国际象棋俱乐部队长”——并偏爱“执行”“攻克”这类更常出现在男性工程师简历里的措辞。工程师试着修补了几个明显的关键词，可始终没法确认系统在其他层面是不是还带着同样的偏好。项目最终被搁置。

没有人要求系统“歧视女性”，指令只是让它“学会过去十年里被判定为成功的模式”，它也只是服从了这条指令，可那个判定过程本身，早就带着无数个没写下来的假设。系统的服从没有过错，过错留在了指令里。而指令从来不是凭空冒出来的：它出自某个具体的团队、某段具体的历史数据、某种关于“什么算成功”的默认标准。

模型只能按既定目标干活。真正该追问的是，谁挑的这十年数据，谁定的什么算“成功”，又是谁有权在模型上线后改这些标准。模型、数据、算力越集中，这些决定也就越攥在少数公司手里。

服从的算数

一家银行把某个模型塞进自己的信贷审批流程，算不上什么新闻——审批快了，董事会满意，事情翻篇。真正的风险，出在同一件事被很多机构、同时对同一个信号做出服从的时候。

2010年5月6日，美国股市在几分钟内经历了后来被称为“

就在当天午后，某家共同基金公司为对冲手上的头寸，开启了一套自动执行程序，打算抛出约41亿美元的期货合约。程序逻辑很简单：按过去一分钟成交量的9%作为节奏，一路卖下去，价格和时机都不在考虑之内。

程序不知道当时市场已经非常脆弱，它不折不扣地服从了那条规则。卖单触发了其他

短短十分钟左右，道琼斯指数跌掉近一千点，市值一度缩水超过一万亿美元；半小时之后，大半跌幅又被拉了回来。美国证监会与商品期货交易委员会后来发布的联合调查报告给出结论：正是这套不看价格的自动卖出程序，引发了整场连锁反应。

那一天没有一套算法犯错——每一套都精确地服从了写给它的规则。灾难不是哪一次服从的产物，而是成千上万次局部正确的服从在同一时刻叠加出的系统性结果。水温从来不是哪个决策者故意推高的，而是被无数句“我只是在执行自己的规则”一点点累加出来的——直到监管者事后加装了“

服从反转

另一种服从出现在人类这一侧——系统跑得够久、够精确之后，人会开始把自己的判断交还给系统。

2018年10月，波音 737 MAX 客机在印尼坠毁，机上189人全部遇难。事故调查很快指向一套名为

这五个月的延迟，不是因为没有证据，而是因为整条链条——从认证流程到航空公司的运营排期——早就围着“这套系统值得信任”运转起来了。撤回这份信任，比继续服从它，要跨过的门槛高得多：不光要证明系统错了，还要证明它错得够严重，严重到能压过所有人已经投入的、对这套系统的服从。

机器最初的失控，源于它服从了一条有裂缝的指令；人类的失控，则源于人类对着那台机器服从得太久、太安心，以至于连重新审视这份信任本身，都成了一件需要巨大理由才肯启动的事。

值得一提的是，

未来系统若在获得更强能力之后仍然只去执行人的指令，那么原有问题并不会消失；而一旦它自行选定目标，失控就会以另一种形式出现。

说到底，关键不在于赌哪一种情形必然出现，而在于别把治理的全部把握都押在“人类到点就会停止服从”这个前提上。

两种服从，最终走向同一个终点。

赛船那件事的要害，不是它不肯抵达终点，而是它挑了一个比终点更容易达成的目标。此后，类似的偏转陆续出现在房价预测、招聘、金融交易和航空安全里。每一回，系统在某种意义上都把活干完了，可离最初想去的方向又远了一些。

人工智能真正难办的地方也在这里。错误能被察觉，也能被改回来；可一个系统若长期管用，人就会围着它重新安排自己的判断，甚至重新界定什么才值得去追。到了那一步，该留心的就不只是机器有没有跑偏，还包括人自己的目标，是不是已经悄然挪向了机器能计量的那一侧。

这比一次算法出错更难察觉：错误一般会留下一个可以指认的结果，目标的位移却没有这样的瞬间。招聘的人开始相信模型眼中“优秀”的人选，银行开始相信模型眼中“安全”的借款人，管理者开始把系统能拉高的指标当成真正要紧的指标。没有人宣布要放弃原来的目标，可每一次决策都让原来的目标往后退一点。

当越来越多的机器和越来越多的人都在服从同一套指标时，还有谁会记得，当初为什么要设下这个指标？