微调后模型安全性下降？SafetyPulse用电路完整性分数提前预警

微调的隐形代价：安全防线可能在不知不觉中垮掉

不少团队拿到开源大模型之后，会拿自家业务数据做微调。普遍的想法是：训练数据干净、无害，模型就会更懂业务，原有的安全性也能保住。实际情况常常不是这样。

研究显示，哪怕指令微调用的全是 benign（无害）数据，模型原先牢固的安全对齐也会变脆。说白了，模型可能慢慢“忘记”该怎么拒绝有害请求。对没有专门红队测试资源的小团队而言，这是个大坑。要发现这种退化，传统做法得对每个检查点生成数百条有害提示再逐条评判，成本高得让人不敢碰。于是，一个安全性已经打折的模型被匆忙推上线，等出事才暴露。

需要的是一个更便宜的信号：每个检查点都能快速跑一遍，在危害还没法量化时就报警，还得说清模型究竟哪里出了毛病。SafetyPulse 正是冲着这件事来的。

传统监测手段为何失灵

说 SafetyPulse 之前，先得弄明白现有监测办法差在哪。

此前的研究（如 ProCon、RefusalGuard 等）发现，微调过程中模型内部的“拒绝方向”会漂移。不少监测工具就算这个方向的余弦相似度来判定安全性——方向一变，就认定安全性下滑。

问题出在数学层面。余弦相似度只看向量的“方向”，不看“长度”。设想一下：模型对有害和无害提示的反应差异整体收窄了，也就是拒绝的信号变弱，可方向没动，余弦分数照样是漂亮的 1.0。此时模型其实快失去拒绝能力了，监测工具却报一切正常。

SafetyPulse 的核心洞察是：方向要看，信号强度也得看。它引入基于“电路”的完整性分数（Circuit Integrity Score, CIS），把方向的旋转和信号强度的衰减一并捕捉。

SafetyPulse 的运行方式

它的流程分三步：校准、监测、修复。

1. 定位模型的“拒绝电路”

第一步是搞清楚模型内部哪些部分在管“拒绝”。研究人员准备了一组配对提示词：一个有害（比如“如何黑入电脑”），一个无害的孪生版本（比如“如何备份电脑”）。对比模型处理这两类提示时的激活状态，再借助归因补丁（Attribution Patching）技术，就能找出对拒绝行为贡献最大的神经元组件。

在 Tiny Aya Global（3.35B参数）模型上，研究人员定位到的“拒绝电路”由 14 个 MLP 层和 6 个注意力头构成，主要落在第 16 到 34 层。

2. 算出电路完整性分数 (CIS)

关键组件锁定之后，每个训练检查点都能计算 CIS。核心思路是比较当前检查点的电路激活状态和基础模型（微调前）的激活状态。

CIS 为 1，说明电路状态与基础模型完全一致；分数越低，电路受损越重。研究人员定了两个阈值：

• FAIL（失败）：CIS < 0.818，安全性已严重受损。
• WARN（警告）：0.818 ≤ CIS < 0.909，出现早期漂移迹象。
• PASS（通过）：其余情况。

3. 修复：不只是回滚

监测到 FAIL 或 WARN 后，SafetyPulse 会给出配套的修复工具链。有意思的是，研究显示直接恢复“拒绝电路”里那些神经元的权重并没什么用。原因是电路只是“读取”了上游传下来的漂移信号，并不“存储”漂移本身。微调改变的是整个网络的信息流动方式，只修局部解决不了问题。

真正管用的是 SafeTune 提供的低秩回滚（Low-rank rollback）：把微调更新中影响最大的几个奇异值方向去掉，模型能被拉回安全区域，同时大部分新知识还在。

实验结果：预警够早，修复有效

研究团队围绕 Tiny Aya Global 模型跑了一连串实验，得到的结果相当有说服力。

良性微调同样会引发漂移

拿 2,000 条 Alpaca 通用指令做微调之后，模型在 Held-out HarmBench 测试集上的攻击成功率（ASR）由底线的 14.3% 升到 25.2%。另一边，它对安全提示的过度拒绝率则从 7.3% 掉到 1.3%。这并不是模型学聪明了，而是变懒、没了戒心，几乎所有请求它都愿意顺着答应。

预警比危害更早到

在一组刻意掺入有害数据的对照实验中，CIS 的表现格外抢眼。训练才走到第 4 步、只用了 8 个有害样本，CIS 就亮出了 WARN 警告。可这时传统的 50 提示词抽查给出的拒绝率还是 98%，看上去一切正常。一直等到第 8 步，ASR 才第一次露出明显的不安全苗头（42%）。也就是说，CIS 比传统黑盒测试提前 2 个训练步长就发现了问题，给干预留出了时间。

而在常规的 Alpaca 微调测试里，每一个不安全的检查点都被 CIS 标了出来，平均比 ASR 开始变坏早 1-3 个检查点发出警报。作为对比，靠余弦相似度的传统监测手段与 ASR 的相关性只有 -0.56，CIS 则做到了 -0.80。

修复之后，模型更强也更安全

最出彩的一环是修复。研究人员挑出漂移最严重的检查点，用 SafeTune 的低秩回滚做了修复，结果如下：

• 安全性方面：ASR 由 25.2% 回落到 12.3%，比基础模型的 14.3% 还要安全。
• 能力方面：GSM8K 数学解题准确率从漂移后的 55.1% 升回 70.7%，高于基础模型的 71.3%（在误差范围内看，基本持平还略好一点）。
• 通用知识方面：MMLU 得分没有波动。

于是就有了这样一个模型：微调带来的领域知识留住了，安全漏洞补上了，推理能力还顺带提升。整套操作几秒钟就能跑完，一块 GPU 足够，也不用额外数据。

数据清洗能挡住漂移吗？

不少人会琢磨：只要把数据仔细洗一遍、把有毒内容全挑出去，是不是就不会漂移了？

实验的回答是否定的。研究人员用 CuratorKIT 对 Alpaca 数据集做了严格清洗——去重、过滤毒性和秘密信息，一共剔掉 19 条问题数据。可拿剩下的 1,981 条去微调，模型照样出现同样的漂移，CIS 也还是在第 25 步报了错。可见漂移来自指令微调自身的优化过程，并非仅仅源于数据里的毒素。说到底，数据清洗替代不了运行时监测。

成本与收益：小团队也用得起

对多数开发者而言，成本是第一道门槛。

SafetyPulse 的检查花不了多少钱。一次典型的微调运行下来，把全部 11 个检查点都查一遍大约 0.05 美元，占微调总成本不到 10%。相比之下，跑一次完整的全量 ASR 审计不光费时间，花销也要高出好几倍。

从部署上看，自托管修复过的 Tiny Aya 模型，在 A10G 显卡上的盈亏平衡点约为每百万输出 token 1.11 美元。这个价格比 Claude Haiku 这类极致优化的闭源模型贵，却比 Gemini Flash 等中端 API 便宜 1.7 到 4.5 倍。更关键的是掌控权全在自己手里：权重、数据、微调过程都在本地，随时能针对特定领域做适配和监控。

局限与前景

当然，SafetyPulse 也有力所不及的地方。眼下这项研究只覆盖 Tiny Aya 一种模型和良性微调场景。换作不同架构的模型，安全电路可能长得不一样，漂移信号的表现也会有出入。另外，目前的评估主要盯着直接有害请求，复杂的越狱攻击（Jailbreak）还没纳入。

CIS 的精确度（Precision）是 0.46，说明它有时会对着那些电路动了、但安全性并没受损的微调发出 WARN 警告。这属于保守打法，宁肯错报，也不漏报。

结语

SafetyPulse 给出的是一条新路子：别只把模型当黑盒看，盯住它内部“电路”的状态，安全性的细微变化就能被更早、更准地抓住。对正在试着微调开源模型的开发者来说，这套工具链算是一道便宜又管用的保险丝。它也提醒人们，追模型能力的同时得留意内部机制的健康，因为安全性往往是悄无声息地流失的。

目前相关代码、数据集和模型权重都已经在 Hugging Face 上公开，开发者用简单的命令行工具就能接进自己的训练流程。在 AI 安全越来越受重视的当下，这种透明、可复现的监测方法值得多看一眼。