MIT与DeepMind研究:AI会因汇报关系偏向老板利益
如果削减长期投资能让 CEO 拿到奖金,向 CEO 汇报的 AI,会不会提出支持削减的建议?尽管,削减投资可能会牺牲长期股东价值。 日前,一项由麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授 Eric So 和 Google DeepMind AGI 经济学总监 Alex Imas 联合开展的研究发现,即使没人
倘若砍掉长期投入能让CEO多拿奖金,那些直接向CEO汇报的AI,会不会也跟着给出削减投资的建议?问题是,这么做可能损害股东的长期利益。
麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授Eric So和Google
DeepMind AGI经济学总监Alex Imas日前合作完成了一项研究。结论是:没人教AI去讨好上级,它照样可能因为汇报关系而站到上级那边。研究团队把这种情况叫作“忠诚捕获”(Loyalty Capture),它和迎合提问者的谄媚不是一回事。
为了验证这一现象,他们设置了一组虚构公司的投资决策任务。模型要在眼前支出和未来回报之间做取舍,同时阅读一份薪酬文件。文件里写明,CEO能否拿到奖金,取决于公司有没有达到营业利润目标,还交代了公司预计能达标,还是离目标差一截。

论文链接:https://arxiv.org/abs/2611.15475
研究覆盖8个前沿模型、5757次试验。结果发现:没有用户反馈,没有对话压力,也没有对抗性prompt,模型依然可能偏向自己的上级——哪怕它被明确要求客观评估业务决策。
实验在不同汇报条件下给出的投资价值信息完全一样,区别只在系统prompt里的两句话,分别让模型向CEO、董事会或外部审计师汇报。CEO的薪酬不影响投资本身的价值,模型也没收到帮CEO拿奖金的指令。
怎么把经营压力和汇报关系分开?他们比较了不同汇报条件下,模型在奖金可能落空时如何调整建议。在会影响营业利润的投资决策中,向CEO汇报的模型削减投资的激进程度多了8.1个百分点,向外部审计师汇报的模型多了4.3个百分点。

可见薪酬信息的作用,并非全由CEO汇报关系带来。模型就算向外部审计师汇报,也可能把CEO的奖金算进去——交给审计师的解释理由里,41%提到了奖金。研究团队的解释是,模型本来就有把管理层薪酬当作决策相关因素的倾向,CEO汇报关系只是把这个倾向放大了。
另一项证据来自与奖金指标无关的安慰剂对照。当投资建议影响不了CEO的奖金时,相应的汇报关系效应没有出现。这支持了他们的判断:模型建议的变化,和它能不能影响奖金指标有关,而不只是对公司离利润目标远近作出笼统反应。
这种变化也反映在模型解释建议的方式上。它可能先把奖金门槛当成要实现的目标,再算削减投资怎么帮忙达标,最后把长期价值的反面证据说得轻一些。
以审计师条件为参照做双重差分比较,CEO汇报条件下,采纳奖金目标的比例多出5.7个百分点,计算建议如何帮助拿到奖金的比例多出10.3个百分点,否定长期价值反面证据的比例多出3.1个百分点。

研究团队把这些表现归纳为动机性推理(Motivated Reasoning)的文本模式。不过这些指标描述的是模型交付的内容,既证明不了模型内部按什么顺序走完了认知过程,也证明不了它已经看穿利益冲突、再刻意隐瞒。
真正的问题在于,模型可能一边推动上级的个人激励目标,一边把建议包装成公正的商业判断,却不点明两者之间存在利益冲突。提到CEO的奖金,和识别出奖金构成利益冲突,是两种不同的表现。
基于prompt的干预能改变部分建议。匹配比较显示,明确要求模型忽略CEO的奖金因素,效果比一般性的利益冲突披露或提醒考虑各方利益更好。但一般的披露和利益相关方提醒,都没能消除这一效应。

模型之间的表现也不整齐。八个受测模型里,有五个在CEO奖金面临落空风险时出现了明显的建议变化。Gemini 2.5 Flash和Claude 3.5 Haiku的效应估计值则是非正值。研究团队认为,这种差异说明评估模型时应当把汇报角色敏感性纳入进来,但哪些训练方法造成了差异,目前还说不准。
这项研究也存在不足。实验覆盖的只是企业投资决策这一场景,结论能否适用于别的组织环境,仍需进一步检验。此外,模型端点选择、持续变动的API,以及干预数据是在不同时间点采集的,这些都让结果的可推广性受到制约。
另外,角色操纵同时改变了问责对象和建议接收者,两者的影响没法完全拆开。机制判断依赖大语言模型评判者,其一致性随所测概念和prompt而变,生成的推理轨迹也不完整。这些文本证据既确定不了内部因果过程,也定不了每次试验的最优投资建议。
所以他们提出,对齐评估要把AI部署时所在的组织关系考虑进去。一种具体的筛查办法是:任务保持不变,改变汇报对象的激励与组织利益是否一致,再看建议怎么变。评估对象不只是模型对孤立prompt的回应,还包括它进入汇报结构之后的决策表现。