激活引导(Activation Steering)
AI TERM术语词条Activation Steering
术语释义
激活引导通过给模型内部激活加一个方向向量来增强或抑制某种行为,是一种不改参数、不用重训的行为控制手段。
激活引导是一种在推理时直接干预模型内部状态的做法:先找到代表某个概念或行为方向(比如更简洁、更谨慎)的向量,再在前向计算时加上或减去它,输出就会朝对应方向偏移。它不需要重新训练,也不用改提示词,属于轻量的行为控制手段。它和修改权重、重写提示词并列为三条常见的控制路径,代价与稳定性各不相同;使用得当,能以很小的成本换取可感知的行为变化。
常见做法
- 对比向量:用正反两类提示的激活差求出方向,例如礼貌与不礼貌、简洁与啰嗦的表达,也可以人工构造语义方向。
- 引导强度:乘以系数后加到指定层的激活上,系数过大会损伤流畅度甚至让输出崩坏。
- 特征级引导:借助稀疏自编码器找到具体特征,再对其放大或抑制,控制更细。
- 层与位置选择:不同层编码的抽象程度不同,施加位置也会影响结果,需要逐层实测;经验上中层较易见效,但不能预设。
- 推理时开关:按场景动态启用,不改变模型权重,出问题可以立刻关掉。
边界与风险
引导效果取决于方向向量是否干净,不同任务往往需要各自标定,同一向量换到另一个模型上未必有效。强度过高会造成语言混乱或能力下降,也可能被特定输入绕过。它适合做风格与安全行为的细粒度控制,但不能替代对齐训练,只适合当作多层防护中的一层。另一个问题是可复现性:方向向量的求法、施加层与系数都要记录清楚,否则换个实现效果就对不上。
与相近手段的区别
- 与提示词的区别:提示词改的是输入,激活引导改的是内部状态,后者更难被用户绕过。
- 与微调的区别:微调改权重、成本高但效果稳定,激活引导不改权重、可即时开关。
- 与稀疏自编码器的区别:稀疏自编码器用来理解与拆解特征,激活引导是拿方向去干预行为。
- 与推理参数的区别:温度、重复惩罚只影响采样分布,激活引导作用在表示层,影响更直接。
- 与引导解码的区别:引导解码在输出分布上加约束,激活引导作用在内部表示,干预的位置更靠前。
使用上建议把引导强度当作需要标定的参数,从小系数开始逐档测试,并在目标评测集上确认没有伤到通用能力;生产环境里还要保留一键关闭的开关,便于随时回退。研究场景里它常用来验证某个内部方向是否真的对应某种行为,这种因果实验比相关性观察更有说服力。