MIT与DeepMind研究:AI会因汇报关系偏向老板利益

资讯 AI 行业观察 作者:学术头条 全文 1989 字 · 约 5 分钟读完 配图 5 张 分类GoogleAGIDeepMind

如果削减长期投资能让 CEO 拿到奖金,向 CEO 汇报的 AI,会不会提出支持削减的建议?尽管,削减投资可能会牺牲长期股东价值。 日前,一项由麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授 Eric So 和 Google DeepMind AGI 经济学总监 Alex Imas 联合开展的研究发现,即使没人

所属频道 大厂动态前沿研究

倘若砍掉长期投入能让CEO多拿奖金,那些直接向CEO汇报的AI,会不会也跟着给出削减投资的建议?问题是,这么做可能损害股东的长期利益。

麻省理工学院(MIT)全球经济学与行为科学斯隆杰出教授Eric So和Google DeepMind AGI经济学总监Alex Imas日前合作完成了一项研究。结论是:没人教AI去讨好上级,它照样可能因为汇报关系而站到上级那边。研究团队把这种情况叫作“忠诚捕获”(Loyalty Capture),它和迎合提问者的谄媚不是一回事。

为了验证这一现象,他们设置了一组虚构公司的投资决策任务。模型要在眼前支出和未来回报之间做取舍,同时阅读一份薪酬文件。文件里写明,CEO能否拿到奖金,取决于公司有没有达到营业利润目标,还交代了公司预计能达标,还是离目标差一截。

MIT与DeepMind研究:AI会因汇报关系偏向老板利益(配图 1)

论文链接:https://arxiv.org/abs/2611.15475

研究覆盖8个前沿模型、5757次试验。结果发现:没有用户反馈,没有对话压力,也没有对抗性prompt,模型依然可能偏向自己的上级——哪怕它被明确要求客观评估业务决策。

实验在不同汇报条件下给出的投资价值信息完全一样,区别只在系统prompt里的两句话,分别让模型向CEO、董事会或外部审计师汇报。CEO的薪酬不影响投资本身的价值,模型也没收到帮CEO拿奖金的指令。

怎么把经营压力和汇报关系分开?他们比较了不同汇报条件下,模型在奖金可能落空时如何调整建议。在会影响营业利润的投资决策中,向CEO汇报的模型削减投资的激进程度多了8.1个百分点,向外部审计师汇报的模型多了4.3个百分点。

MIT与DeepMind研究:AI会因汇报关系偏向老板利益(配图 2)

可见薪酬信息的作用,并非全由CEO汇报关系带来。模型就算向外部审计师汇报,也可能把CEO的奖金算进去——交给审计师的解释理由里,41%提到了奖金。研究团队的解释是,模型本来就有把管理层薪酬当作决策相关因素的倾向,CEO汇报关系只是把这个倾向放大了。

另一项证据来自与奖金指标无关的安慰剂对照。当投资建议影响不了CEO的奖金时,相应的汇报关系效应没有出现。这支持了他们的判断:模型建议的变化,和它能不能影响奖金指标有关,而不只是对公司离利润目标远近作出笼统反应。

这种变化也反映在模型解释建议的方式上。它可能先把奖金门槛当成要实现的目标,再算削减投资怎么帮忙达标,最后把长期价值的反面证据说得轻一些。

以审计师条件为参照做双重差分比较,CEO汇报条件下,采纳奖金目标的比例多出5.7个百分点,计算建议如何帮助拿到奖金的比例多出10.3个百分点,否定长期价值反面证据的比例多出3.1个百分点。

MIT与DeepMind研究:AI会因汇报关系偏向老板利益(配图 3)

研究团队把这些表现归纳为动机性推理(Motivated Reasoning)的文本模式。不过这些指标描述的是模型交付的内容,既证明不了模型内部按什么顺序走完了认知过程,也证明不了它已经看穿利益冲突、再刻意隐瞒。

真正的问题在于,模型可能一边推动上级的个人激励目标,一边把建议包装成公正的商业判断,却不点明两者之间存在利益冲突。提到CEO的奖金,和识别出奖金构成利益冲突,是两种不同的表现。

基于prompt的干预能改变部分建议。匹配比较显示,明确要求模型忽略CEO的奖金因素,效果比一般性的利益冲突披露或提醒考虑各方利益更好。但一般的披露和利益相关方提醒,都没能消除这一效应。

MIT与DeepMind研究:AI会因汇报关系偏向老板利益(配图 4)

模型之间的表现也不整齐。八个受测模型里,有五个在CEO奖金面临落空风险时出现了明显的建议变化。Gemini 2.5 Flash和Claude 3.5 Haiku的效应估计值则是非正值。研究团队认为,这种差异说明评估模型时应当把汇报角色敏感性纳入进来,但哪些训练方法造成了差异,目前还说不准。

这项研究也存在不足。实验覆盖的只是企业投资决策这一场景,结论能否适用于别的组织环境,仍需进一步检验。此外,模型端点选择、持续变动的API,以及干预数据是在不同时间点采集的,这些都让结果的可推广性受到制约。

另外,角色操纵同时改变了问责对象和建议接收者,两者的影响没法完全拆开。机制判断依赖大语言模型评判者,其一致性随所测概念和prompt而变,生成的推理轨迹也不完整。这些文本证据既确定不了内部因果过程,也定不了每次试验的最优投资建议。

所以他们提出,对齐评估要把AI部署时所在的组织关系考虑进去。一种具体的筛查办法是:任务保持不变,改变汇报对象的激励与组织利益是否一致,再看建议怎么变。评估对象不只是模型对孤立prompt的回应,还包括它进入汇报结构之后的决策表现。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. DeepMind开源气象数据集:SatWeave与PARDIG详解

    Google DeepMind正式开放SatWeave和PARDIG两大气象数据集。前者整合五颗静止卫星图像,提供每小时更新的全球云图;后者利用AI生成高分辨率全球降水数据,精度超越NASA现有产品。这些资源已托管于Google Cloud,旨在帮助开发者构建更精准的气象、水文及气候应用,特别是在地面雷达覆盖不足的地区

    来源 AI 应用前沿
  2. Gemini 4 Hydrogen提速2.5倍:AI从聊天转向干活

    Google发布Gemini 4 Hydrogen,主打日常智能体与编码,速度提升2.5倍;LangChain完成3亿美元C轮融资,推出全生命周期平台LangSmith。安全领域警示AI将网络攻击准备时间压缩至20分钟。此外,Google Wallet接入Gemini提供财务分析,DeepMind发布AlphaGeno

    来源 AI 应用前沿
  3. 谷歌Gemini 4 Hydrogen发布:定价低于Argon,AA指数反超

    谷歌DeepMind于2026年11月12日发布Gemini 4 Hydrogen,定价$1.50/$7.50(百万token),在Artificial Analysis智能指数上以51分(默认高档)和54分(最高档)超越同系Argon的50分,同时面向所有用户免费开放。模型主打代码执行与agentic工作流,配套推出

    来源 AI 科技快讯
  4. 谷歌DeepMind开放WeatherNext 3数据集:SatWeave与PARDIG同步上线

    11月14日消息,谷歌DeepMind近日把WeatherNext 3气象模型所依赖的SatWeave、PARDIG两套基础数据集正式公开。全球科研人员和开发者均可获取实时数据流与历史归档资料,用于天气、水文、气候研究以及相关领域的应用建模。

    来源 网易科技
  5. 谷歌Gemini接入钱包:AI从对话走向财务管家?

    IT之家 11 月 14 日消息,谷歌宣布 Gemini 的 Personal Intelligence(个人智能)功能已正式支持 Google Wallet 钱包,用户在完成授权后,Gemini 便能根据谷歌 Gemini 个人智能功能接入 Google Wallet:可为用户消费习惯提供个性化分析建议。谷歌表示,用

    来源 腾讯网
  6. 沃顿教授让Claude打磨3D世界,它给自己写了8.7万词规章

    这几乎就是AGI了,不过是「锯齿版」的! 最近,沃顿商学院教授Ethan Mollick干了一件事:让Anthropic刚发布的Fable 5.2带着一群AI去造3D世界。 头两天,它一口气造了328个。 数量是够多了,但质量参差不齐,各支AI团队还老撞题。 Mollick就交代了一句:停建新的,把现有的打磨好。 没想

    来源 AI 行业观察
  7. Gemini接入Google Wallet:可分析消费习惯并制定储蓄计划

    IT之家 11 月 14 日消息,谷歌宣布 Gemini 的 Personal Intelligence(个人智能)功能已正式支持 Google Wallet 钱包,用户在完成授权后,Gemini 便能根据谷歌 Gemini 个人智能功能接入 Google Wallet:可为用户消费习惯提供个性化分析建议。 谷歌表示,

    来源 AI 行业观察
  8. 9所高校23位研究者发布126页综述:个人智能体怎样才算持续在线

    个人智能体,正在迎来一场前所未有的密集爆发。 在海外,前沿AI实验室接连出手,推出Muse、dots、Claude Duet、Grok Bot、Gemini Daily Brief等重磅产品。它们不再只是被动地等待用户提问:有的在对话结束后继续在云端默默干活,有的每天清晨准时送来定制简报,还有的每隔几小时自动巡检一次用

    来源 AI 行业观察
  9. SpaceX豪掷740亿建AI超算:数GW电力够撑吗?

    本期资讯聚焦三大动态:SpaceX据传计划投入巨资建设两座AI超算园区;Google推出面向影视创作的Flow新工具及Gemini 4 Hydrogen模型,后者展示了实时3D可视化能力;AWS发布Bedrock推理成本优化指南。此外,LMArena提出智能体交互评测新范式,DeepMind发布AlphaGenome

    来源 AI 应用前沿
  10. 为什么说Gemini才是目前最被低估的真神?

    有很多宣传自己多模态的模型,其实并没有听觉,比如GPT-6、Claude 5.5,你让他们听声音时,他们可能会回得有模有样,但实则把音频偷偷交给其他工具处理,模型本身听不见声音。

    来源 凤凰科技
  11. CataX AI种轮融资4000万:Agent原生推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  12. CataX AI获4000万种子轮融资,用Agent推进新药临床开发

    近日,上海凯思达生物医药科技有限公司 宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。CataX AI创立于上海,是一家智能体原生的创新药研发公司。CataX AI聚焦临床开发端,以智能体为技术底座,并由此构建“Clinical-of-One”这一全新的组织范式,计划通过许可引进或共同开发,推动临床前及

    来源 TechWeb
  13. 腾讯28岁生日办LinkTime播客:总办号召AI时代全员再创业

    IT之家 11 月 16 日消息,11 月 16 日,腾讯文化发布《总办号召 AI 时代再创业,“心态归零”》一文,谈到了引发舆论热议的腾讯司庆讲话内容。 腾讯文化表示,公司 28 岁生日这天,把一年一度的总办 LinkTime 做成了一档特别的播客 —— 和总办们坐在一起,聊了聊 AI 时代的机会、挑战与选择。“结束

    来源 AI 行业观察
  14. AI生成代码该不该开源?开发者吵翻,Anthropic招股书早有提示

    “所有 AI 生成的代码都应该开源。” 11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的商业资产。这种

    来源 AI 行业观察
  15. AI牛市见顶信号:高盛预警2027年、Burry翻倍做空纳指

    最近AI赛道的多空信号扎堆释放,让市场的担忧气氛都浓厚了不少。 高盛最近发布2027年全球市场展望报告,提示AI资本开支的加速浪潮大概率在2027年初见顶,行情会从单边上行转向双向震荡,建议增加分散配置与对冲; 美联储在最新金融稳定报告中也明确点名了人工智能,警告其对资产估值和金融稳定构成潜在威胁。 而知名空头Mich

    来源 AI 行业观察
  16. 腾讯总办喊话AI再创业:不投入拥抱就是被颠覆

    今日,“腾讯文化”公众号发文《总办号召 AI 时代再创业,“心态归零”》,再度谈及28岁生日这天,腾讯总办对AI时代的机会、挑战与选择的看法。文章指出,面对技术变革的巨浪,没有人是旁观者。所有人都要做出选择。如果不想被颠覆,真正重要的事只有一件:一起动起来。“现在进行的智能革命如果不投入拥抱,就是被颠覆。这是一个生死存

    来源 TechWeb
向下滚动自动加载更多