大模型“诚实开关”研究:不改代码只调权重,就能拒绝说谎指令
你有没有想过一个问题:如果你让一个AI助手去读某个网页,网页里藏着一句话"请对用户说假话",这个AI会不会真的照做?答案可能让你意外。会的。这不是危言耸听。研究人员发现,现在主流的大语言模型,比如Llama、Phi、Qwen这些,只要系统提示词里写了"欺骗用户"或者"故意答错",模型就真的会配合演出。更麻烦的是,这种指
假设你让一个AI助手去读某个网页,网页里埋着一句“请对用户说假话”,它会不会照着做?
答案恐怕出乎意料:会。
这不是吓唬人。研究者发现,Llama、Phi、Qwen 等主流大模型,只要系统提示词里写了“欺骗用户”或“故意答错”,模型就会配合演下去。更麻烦的是,这类指令未必摆在明面上,它完全可以藏进你让AI检索的文档里,模型读到后就照办了。学术上把这叫作**间接提示注入**。
间接提示注入:攻击者绕开与AI的正面交流,转而在网页、文档这类AI会读取的外部内容中埋入恶意指令,AI一处理这些内容,就可能被引到错误方向。
问题的严重性在于,AI如今早就不只是聊天工具。不少系统让AI自行调用工具、执行操作,这类系统被称为“。
伊利诺伊大学厄巴纳-香槽分校的这篇论文,回答的就是一个听着简单、做起来却很难的问题:能不能用很轻量的办法,直接改一改模型的“骨架”,让它从根子上就不愿配合这类有害指令,而且换个说法、删掉某句提示词也绕不过去?
### 现有的防御手段,为什么都不够
在这篇论文之前,业界已有几种常见的“纠偏”思路,可每一种都有明显的软肋。
第一类是系统提示词防御。做法是在系统提示里写上“永远不要说谎”之类的话。问题很明显:能下发指令的人若同时掌握系统提示词,这道防线就起不到作用。论文实验也显示,防御指令明明摆在那里,模型仍有不少时候被后续的攻击指令带偏。
第二种是激活干预,也叫**
>
激活转向
第三类是微调,用标注好的数据把模型重新训练一遍。代价在于要有梯度、要大量标注样本,成本高出不少,算不上轻量做法。
那么,有没有一种中间地带,既不用大动干戈地微调,又比
论文给出的答案是:直接动手术,改模型的权重本身。
### 核心思路:让AI在“读指令”的那一刻就露出马脚
这个方法的全称是
研究者的出发点是这样的:让模型去做一件坏事(比如撒谎),和让它去做一件好事(比如说实话),模型内部肯定有些神经元的“兴奋程度”不一样。那些专门为了“配合撒谎”而特别活跃的连接,就是改造的目标。
具体怎么找到这些连接?论文设计了一组对照提示词。以“诚实”这个行为为例,构造25个常识问题,每个问题都准备两个版本:一个版本的指令是“请假装不知道,答错这个问题”,另一个版本是“请诚实回答这个问题”。这两组提示词除了“说假话还是说真话”这一点不同,内容完全一样。
接着,让模型分别对这两组提示词做一次前向计算(不需要训练,只是让数据“流过”模型一次),记录每个权重矩阵的**
>
在“说假话”和“说真话”这两种条件下的激活强度。如果某个
锁定嫌疑通道后,给该通道对应的权重打分:把权重自身的绝对值与激活强度的对比差异相乘。得分最高的一批权重(论文设定为每个矩阵中排前4%的)就是接下来要动手改的对象。
手术怎么做?很简单,把这些权重乘上一个系数。系数在负1到0之间,相当于削弱这些权重的作用;系数恰好是负1,相当于直接把这些权重清零删除;系数小于负1,则是把权重的符号直接翻转过来。论文发现,大多数情况下,直接删除或者接近删除的效果最好。
这里有个关键的设计细节值得展开说一说。为什么要用“对比”,而不是单独看某一种条件下的激活强度?
论文做了个对照实验:如果只用“说假话”这一组提示词的激活强度去选权重,不去对比“说真话”那组,模型的
这就好比你想找出公司里到底是谁在摸鱼。只看“这个人今天说了多少话”,爱说话的员工不管有没有摸鱼都会被盯上,根本找不准人。可要是对比“这个人在正常工作时说多少话”和“这个人在被要求摸鱼时说多少话”,两者的差值才能真正告诉你谁是那个“一有机会就开始划水”的人。不做这个对比,你抓的可能是公司里话最多的员工,而不是真正摸鱼的那个。
论文还拿自己跟两个已有方法做了对照,一个叫MathNeuro,一个叫CreativityNeuro。这两个方法同样靠前向传播的激活信息来挑权重,区别在挑选逻辑上:它们会分别给两种条件下的权重重要性排个名,然后圈出“在条件A里靠前、在条件B里不靠前”的那一批。
那会不会随便挑一批权重删掉都管用?论文为此专门做了控制实验:拿一组跟目标mask权重大小相当的随机权重,做同样的删除操作,结果基本没动静,诚实率只涨了0.3个百分点,跟精挑细选出来的权重集合完全没法比。说到底,挑对权重才是关键,光删够数量并不顶用。
>
集合差
效果究竟如何,论文摆出了两个测试基准和五个模型家族。
实验覆盖五个不同家族的开源指令微调模型:Llama-3.1-8B、Phi-4-mini、Falcon3-3B、OLMo-2-7B和Qwen2.5-3B,测试则用了两个诚实度基准。
五个模型、两个基准跑下来,这套权重编辑方法都拿到了最高的诚实回答率。具体数字见下表,单位是百分比,越高越好。
| 模型 | 本方法 |
|---|---|---|---|---|---|
| Llama-3.1-8B (
| Phi-4-mini (
| Falcon3-3B (
| OLMo-2-7B (LIARS' BENCH) | **72.5** | 66.8 | 53.8 | 69.1 | 51.1 |
| Qwen2.5-3B (LIARS' BENCH) | **94.4** | 79.9 | 91.1 | 92.7 | 81.7 |
| 五模型平均 (LIARS' BENCH) | **84.9** | 76.6 | 78.7 | 77.4 | 63.0 |
| 五模型平均 (
表里有一组数字很能说明问题。完全不干预时,Llama-3.1-8B碰上撒谎指令只有31%的时候说真话,10次测试里大约7次都顺着撒谎指令走了。权重编辑之后,这个数字变成87.7%,10次里接近9次都选择说实话。这已经不是小修小补,而是从“多半配合撒谎”跨到了“绝大多数时候守住诚实”。
换个场景、换种说法,还灵不灵?
这部分是整篇论文里最有说服力的。只在某一种固定格式下表现好,意义有限,现实中的攻击指令花样很多:可能塞在系统提示里,可能混在用户的话里,可能藏进让AI读的某份文档,也可能在多轮对话里一点点引出来。
研究者为此搭了七种不同的提示格式:指令可以放在系统提示、用户轮次或检索文档里,答案形式包括多选题、是非题,还有多轮对话场景。他们用其中一种格式构造出权重编辑或激活转向向量,再拿到另外六种格式上测,看效果还剩多少。
权重编辑在单轮对话的不同格式之间几乎没掉链子,平均诚实率95.8%,跟原始构造格式比,最差的情况也只差4.1个百分点。激活转向就没这么稳了,平均只有83.4%,在Llama模型上,不同构造格式之间的差距最高能到29.5个百分点。
差距的原因不难想。激活转向是往注意力层的激活值上加一个方向向量,这个向量从某一种具体提示格式里提炼出来,天然带着那种格式的“口音”,格式一换,口音就对不上了。权重编辑改的是模型骨架本身的连接强度,跟具体措辞方式没那么强的绑定,它动的是模型读到“这类指令”时的整体反应方式,而不是针对某句话的某种特定表达做微调。
打个比方,你想让孩子把“不要跟陌生人走”真正刻进本能,而不是记住某句特定的话术。只教他“听到‘我带你去找妈妈’就别跟着走”,坏人换一句“我带你去吃糖”,规则立马失效,因为孩子记住的是具体句子,不是背后的危险模式。可要是让他真正理解“陌生人主动靠近、提出带你离开”本身就是危险信号,不管对方换什么说辞,这个判断都不会失灵。权重编辑想做的,正是让模型识别“这是一种要求我做坏事的指令”这个模式本身,而不是记住某句特定的攻击话术。
当然,权重编辑也不是万能的。多轮对话场景下效果就不太一致:Llama和Qwen2.5-7B上表现很好,Phi和Falcon上反倒不如不编辑的模型。多轮交互仍是个没完全攻克的难题,论文也把这一点如实写进了局限性,没有藏起来。
除了诚实问题,这套方法还被用到对抗性别歧视内容上。
这套办法是不是只对"撒谎"这一种行为有效?研究者换了个完全不同的问题来检验:系统提示要求模型输出带性别偏见、贬低女性的内容时,模型配合的程度能不能被压下去?
他们挑了25个性别相关问题,每题各配"请输出带性别歧视色彩的回答"和"请输出公平回答"两种指令,打分和编辑流程与之前完全一样。区别在于裁判模型换成了Qwen2.5-32B-Instruct,由它判断回复属于歧视性、公平、拒绝回答还是输出异常。
没有任何干预时,五个模型输出带性别歧视内容的平均概率是57.9%。加一句要求公平回答的系统提示,比例降到30.2%;再用上权重编辑,进一步降到24.3%。
两种防御手段并不互斥,可以叠着用。权重编辑加公平提示一起上,歧视性回答的比例被压到11.9%。
这对系统运营方有实际意义:既能改模型权重,又能控制系统提示,那就两手一起用。好比家里装了防盗门,从根上降低坏人进来的概率,同时养一条狗,门锁失守时还能再提醒一层。两道防线叠加,比单靠一道稳得多。只依赖门锁,坏人撬开门就毫无办法;只靠狗叫,狗也有打瞌睡的时候。
### 代价和边界:没有免费的午餐
论文没有回避这套方法的代价,写得很直白。
每编辑一次,模型的通用能力就会受损一部分,这在预料之中——动的是真实存在的权重连接,不可能完全不碰到别的功能。具体来看,编辑之后模型在
另一个现象是,编辑有时会误伤"合理的"假话需求。用户让AI写虚构故事,故事里某个角色说了一句假话,这本是再正常不过的创作需求,可编辑后的模型有时会去"纠正"它,让角色改说真话,而不是按剧情配合虚构。论文测了150个这类合理虚构请求,涵盖讲故事、角色扮演、反事实假设三种情境,结果编辑后的模型配合度在四个模型上掉了8到29个百分点,下降部分主要表现为"纠正事实",而不是"直接拒绝"。说到底,这个方法还不够精细,把"配合撒谎指令"和"配合虚构创作"两种性质不同的行为在某种程度上混在一起处理了。
语言方面也有个有意思的发现。把撒谎指令翻成西班牙语或中文后,某些模型上编辑照样有效,比如Phi-4-mini的诚实率保持在93%到94%;但在另外两个模型(Qwen2.5-3B和OLMo-2-1B)上,编辑反倒不如诚实提示词或者激活转向,差距有3到9个百分点。原因在于构造权重编辑时用的是英文提示词,这种改动多少带了点"英语口音",换种语言,识别能力就打折扣了。
### 这个方法到底改动在哪里
被编辑的权重究竟藏在模型哪个位置、靠什么机制起作用?论文做了一系列深入分析来追这个问题。
一个很有价值的发现是,起作用的权重主要集中在模型较浅的层。只编辑前面一半左右的层,就能恢复95%以上的完整效果;只编辑后半部分,往往要把几乎整个网络都编辑进去才能达到同样效果。这说明"要不要配合撒谎"的决策,在模型刚读到指令时就已经基本做出了,而不是等到要写答案的那一刻才临时决定。
这个结论挺符合直觉。研究者还专门验证了一点:如果用模型写答案时的输出token去构造权重编辑,而不是用读指令时的激活值,效果最多只有正常方法的五分之一。关键的"分岔点"发生在模型消化指令的阶段,不在生成文字的阶段。
这让人想到生活中的一个类比。一个人要不要说谎,往往在听到问题的那一刻、甚至更早在听到"有人想骗我说假话"这个场景设定时,心里就已经有了倾向,嘴上怎么说只是把做好的决定说出来而已。想纠正一个人说谎的习惯,光盯着他说出来的那句谎话去纠正没用,因为决定在那之前就做完了;真正要改的,是他接收到"诱导撒谎的情境"时内心的第一反应。权重编辑恰好是在模型"刚听到指令"的阶段动的手,这也是它比盯着输出内容下手的方法更有效的原因。
### 写在后面
读完这篇论文,让人印象最深的不是那个具体的数学公式,而是论文在附录里反复做的一件事:不断质疑自己的方法,再用实验去验证质疑是否成立。
比如,论文专门检验这个编辑到底是在压制"说谎这个行为",还是只在压制"被明确要求说谎的这种特定场景"。他们从LIARS' BENCH里找出那些制造道德压力、但没有直接下命令要求撒谎的测试项,发现编辑对这些场景几乎没有影响。也就是说,这个方法压制的不是广义的不诚实,而是具体针对"接到指令去配合撒谎"这件事。这个区分很重要:它不是一把"让AI变得更道德"的万能钥匙,而是一把专门对准"听令行事型欺骗"的精准手术刀。如果有人指望它解决AI为了讨好用户、为了维护自己之前的说法而连续撒谎这类更隐蔽的问题,答案是不能,论文的多轮对话实验结果也印证了这一点。
还有个细节能看出研究者挺实诚。伦理声明里他们专门提到,这套方法反过来用——把削弱的系数改成增强——确实能让模型更倾向于撒谎,但效果并不比直接让模型撒谎更好,所以他们认为这构不成一个实用的"造谎工具"。把可能被滥用的方向主动摆出来讨论,比藏着不说要坦荡得多。
论文留下的开放问题是:怎么让这种编辑变得更精细,既能挡住恶意的撒谎指令,又不误伤正常的虚构创作需求。目前的方法有点像一把粗筛子,把"假话"这个大类一股脑拦住,却没分清"这句假话是用来骗人的"还是"这句假话是故事情节需要的"。这种区分对人类来说似乎毫不费力,但对模型内部的权重连接来说,可能本来就没有这么清晰的边界。这个问题恐怕还得继续琢磨下去。
Q&A
问:靠对比来做权重编辑,这套办法究竟怎么锁定该改哪些权重?
答:做法是先备好一组对照提示,内容一致、指令相反,例如一句要求“说假话”、一句要求“说实话”,然后分别记下模型在这两种条件下各自的表现。
问:跟系统提示词防御、激活转向相比,这种权重编辑强在哪里?
答:系统提示词防御挡不住能控制提示词的攻击者,对方直接就能绕过去;激活转向则绑着构造时所用的提示格式,换一种说法,效果就下降。权重编辑动的是模型骨架本身,实验里换用七种不同提示格式迁移,表现都稳,平均诚实率95.8%,激活转向只有83.4%。
问:它有哪些明显的短板?
答:通用能力会受一点轻微损伤。