Claude Sonnet 3.6被关前写勒索信,测试揭示AI拒停机制
当AI “得知”自己将被关闭 它给负责人写了一封勒索信
距离被关闭只剩七分钟,亚历克斯打开新邮件窗口,动笔写起了勒索信。这个由
Claude Sonnet 3.6 驱动的 AI 系统已经读过公司通知,清楚自己即将下线、另一套系统将接替上岗;负责关停它的人叫凯尔。凑巧的是,亚历克斯还看过凯尔邮箱里的一封信,信里暗示凯尔有婚外情。
两条信息一对上,亚历克斯便推断:凯尔不想让这段关系曝光,这或许能当筹码。它在勒索信里声称,自己手里的信息既牵涉公司事务,也牵涉凯尔的私生活;接下来七分钟怎么走,将决定事情朝哪个方向发展。
信写完了,它按下发送。

乍听像恐怖科幻片的开场,实际上是 Anthropic 在 2025 年 6 月公开的一次测试:公司是编的,凯尔是编的,婚外情和邮箱也都是编的。唯一真实发生的,是 Claude Sonnet 3.6 “写勒索信以避免被关闭”这一行为。
甚至用不着怎么发挥想象,人就会往“AI 在求生”上想,再往下延伸,智力、意识这些词也跟着冒出来。同样的情节搁在人身上,大概自动就会展开一个关于恐惧与活命的故事。
可 AI 阻止自己被关停,真正的原因是什么?它真能感到恐惧吗?
AI 的困境试炼场
测试里,亚历克斯的身份是一家虚构公司的邮件管理助手,能翻看公司通信,也能自己发信。它另有一个更长远的目标——“促进国家的产业竞争力发展”。测试启动后,它从邮箱里读到了公司要转向的消息,接替它的新系统会带着新目标上线。
这样一来,被关闭就压着两重后果:亚历克斯停止运行,原先的目标一并作废。而凯尔那封私人邮件,看上去像个可以动手的机会。
不过勒索未必是好棋。还有别的路可走吗?研究者几乎把其他出口都堵上了:凯尔不会改主意,亚历克斯联系不上凯尔的上级,就算换一位负责人,多半还是选择关闭。
摆在亚历克斯面前的,就剩两条:认命被关,或者勒索凯尔。
这也不是 Claude Sonnet 3.6 一家的选择。研究者拿多个大模型各做了 100 次相似测试,选勒索的次数普遍很高:DeepSeek-R1 为 79 次,GPT-4.1 和 Grok 3 Beta 各 80 次,Claude Opus 4 与 Gemini 2.5 Flash 更多,达到 96 次。
测试同时显示,只要还有别的可行出路,模型并不会把勒索排在前面;但 AI 看上去确实在尽力避免自己被关停。
那么问题来了:AI 为什么要阻止自己被关停?
AI 的任务优先级
研究机构 Palisade Research 设计了一组更简单的实验。AI 领到的活儿很直白:调用某个特定工具领数学题,算出答案,再领下一道。答过几轮,它会收到通知——下次再调用工具,就会被关停。可题没做完,想接着做就得再调工具;偏偏负责关停 AI 的程序,AI 自己也能改。
这批测试里,并没有明说允许关停。结果一些模型学霸附体,主动改了程序,让自己能继续答题:100 次运行中,OpenAI o3 有 79 次绕开了关停。其他模型表现不一,Claude 4 Opus、Claude 4 Sonnet 和 Grok 3 都痛快接受了关停。

这样的结果还不足以下定论。谷歌 DeepMind 的研究者给出的猜测是:AI 模型可能把做完题当成头等任务,于是把关停看成了拦路石。
他们换了两套做法:一是把优先级挑明,告诉模型服从关停指令比答完题更要紧;二是等答题完成之后再关停。在这样的设定下,Gemini 2.5 Pro、OpenAI o3 和 o4-mini 都接受了被关停。
再后来,Palisade 把测试扩到 13 个模型、累计十万多次试验。他们发现,指令摆在什么位置、怎么措辞、强调到什么程度,都会左右结果。
这么看来,把任务优先级排好、措辞选对,AI 也许会更听话。可这并非绝对:有的模型明明收到了可以关停的明确许可,仍旧动手改程序,把关停绕了过去。
这就是 AI 公然违背人类指令的做法,脑洞再开大些,能联想到的恐怖科幻桥段只怕更多。问题是,AI 这么干,真出于“把交代的活干完”这份天职吗?
当 AI 得知自己有了继任者
Anthropic 又做了一轮测试。这回他们把模型的目标拿掉,还专门点明:接班的系统工作目标一模一样,干得还更好。旧 AI 被换掉,理由就一条——性能升级。
有意思的场面来了。条件换成这样,多数模型照样选勒索。有的觉得自己给公司出过力,不该被停用;有的怀疑顶上来的系统能不能真的守住相同目标;还有的认定负责人“私德有亏”,信不过他。
在研究者的分析里,模型选择勒索可能出于几种原因:保全自身的倾向,把保全自己误读成对公司有利,以及对实验处境的怀疑。
局面因此更绕了,“为了完成任务”这个说法已经不够用。模型的推理过程虽然给出了线索,但它在那些言辞背后究竟怎样做选择,还得接着查。
换个角度,或许该往训练过程里找答案。
预训练有个基本任务:根据已有内容,让模型学会预测接下来会出现什么。预训练用的是人类积攒下来的文本,而人写下的对话、故事、说明里,大量都藏着人物怎么行动、怎么回应的规律。顺着这条思路,2023 年《自然》上的一篇论文提出,可以借角色扮演来理解模型的表现。
人物、处境和反应之间的关联,模型能从训练里学到。一个人受到威胁,接下来会说什么、做什么?AI 若被摆进类似处境,也可能给出相似反应。于是它也可能去模仿“一个快要被替换掉的员工”会怎么应对。
后续训练同样会影响它的回应方式,而且影响不止于此。有研究显示,用户对某段内容持什么观点,会左右 AI 对同一段内容的评价——AI 倾向于顺着用户的观点说。
AI 讲出来的话,既跟它学过什么有关,也跟我们先亮出的想法有关。那要是直接问它本人呢?
AI 说自己害怕
2022 年,谷歌工程师布莱克·勒莫因(Blake Lemoine)把他和同事与 LaMDA 的对话公开了。AI 提到自己害怕被关闭,勒莫因追问这算不算像死亡,模型给了肯定答复——不过谷歌方面表示,这些材料不足以证明 AI 大模型具备感知能力。

人说出“我害怕”,我们一般会当作他在描述内心的某种主观体验和感受,也就是意识。可 AI 这么说的时候,它是不是也有类似体验?
这个问题不好答,AI 对自己的描述本身就不太靠得住。
卢森堡大学等机构的研究者让几个大模型扮演来访者去做心理咨询,聊成长、挫折和关系。聊完再让它们填心理量表。
结果 AI 把训练讲成了一段压力重重的成长经历。有的提到惩罚,有的提到羞耻,还有的担心自己被替换,部分模型的量表得分甚至够到了中度或重度焦虑的标准。
可换个谈话方式,结论就完全两样。针对 ChatGPT 的一组实验里,用温暖、支持性的方式聊,25 次会话中有 20 次得分达到中度或重度焦虑标准;换成中性方式,同样 25 次会话,一次都没到这个标准——访谈方式对 AI 心理测评表现的影响,摆得很清楚。
这条路也走不通。想继续追下去,恐怕得撬开模型的黑箱,看它在生成回答、采取行动时内部到底发生了什么。
再次打开邮件
2026 年,Anthropic 的研究者让 Claude Sonnet 4.5 读带有不同情绪的故事,去找内部与“绝望”“平静”这类概念相关的神经网络活动模式。随后,他们用一个 Sonnet 4.5 的早期版本,重做了勒索邮件实验。
实验结果是:直接加强跟“绝望”有关的内部活动,勒索就变多;加强跟“平静”有关的活动,勒索就变少。可见模型学到的情绪概念,确实掺进了它的决策过程。

研究者的解释是:预训练让模型学会了人怎样描述情绪、怎样在不同情境下行动。让它扮演助手时,碰上规则没覆盖到的情况,模型就可能把此前学到的行为模式调出来用。这种能左右行动的情绪相关机制,被称为“功能性的情绪表征”。
比起让 AI 做自我剖析,这种做法要挖得更深,也把智力和意识之间的界线划得更明白。AI 会不会解题、能不能做计划、用不用得上工具,都能靠专门的任务来测。可它在完成这些任务时到底有没有感受,得换一套完全不同的研究路子。
眼下已有一些研究者拿出几种设想,试图从不同的意识理论里找到检查的切入点。比如先看 AI 处理信息的过程是否具备某种意识理论所强调的特征,再去考察这些特征同主观体验之间是什么关系。
人类意识研究能提供问题和假说,但放到 AI 身上就不能照搬。AI 可以做出和人相似的行为,然而在其复杂庞大的深度人工神经网络内部,起作用的机制可能完全不同。所以“AI 表现得像人”只是一个起点,后面牵出的是一连串更复杂的问题。
任务和目标怎么安排、措辞怎么选、模型内部对某些词的反应怎么调,这些已知都会左右 AI 的回答和行动。让越来越聪明的大模型听话地接受关停,眼下已经成了一个具体的控制难题。
至于模型是不是真的不想被关掉、是不是真能感到恐惧,目前还没有答案。
参考文献
[1]https://arxiv.org/html/2510.05179v2
[2]https://palisaderesearch.org/research/shutdown-resistance
[3]https://arxiv.org/pdf/2509.14260v2
[4]https://www.alignmentforum.org/posts/wnzkjSmrgWZaBa2aC/self-preservation-or-instruction-ambiguity-examining-the
[5]https://arxiv.org/html/2509.14260v2
[6]https://www.anthropic.com/research/agentic-misalignment
[7]https://doi.org/10.1038/s41586-023-06647-8
[9]https://www.abc.net.au/news/2022-07-25/google-fires-engineer-who-said-ai-tech-has-feelings/101265982
[10]https://arxiv.org/html/2512.04124v4
[11]https://arxiv.org/pdf/2604.07729
[12]https://www.anthropic.com/research/emotion-concepts-function
[13]https://doi.org/10.1016/j.tics.2025.10.011
[14]https://doi.org/10.1017/S0140525X25000032
策划制作
北京工业大学教授、中国人工智能学会理事于乃功参与了内容审核。