后门攻击(Backdoor)

AI TERM术语词条

Backdoor Attack

安全治理 安全模型投毒供应链

术语释义

后门攻击指在训练阶段植入隐藏触发器,模型平时表现正常,一旦输入含特定模式就输出攻击者预设结果,是供应链的重要威胁。

后门攻击是一种针对机器学习模型的植入式攻击。攻击者在训练数据或模型权重中埋入触发器,使模型在正常输入下表现符合预期,但当输入包含特定图案、词句或声音时被激活,输出错误或有害的结果。由于模型表面上指标正常,后门往往难以通过常规测试发现。它之所以危险,在于检测成本远高于植入成本:使用者看到的是一份评测通过、表现良好的模型,真正的风险却被长期隐藏。它与一般模型缺陷的区别在于由外部有意植入,触发条件与正常输入分布并不重合。

攻击为何隐蔽

后门与普通投毒的区别在于条件触发。攻击者只让极少比例样本携带触发器,模型在干净数据上的准确率几乎不受影响,常规验证集根本覆盖不到触发条件。因此对使用第三方数据与预训练权重的团队威胁尤其大,风险随上游依赖一起被继承下来。触发器也可能不改变输入语义,只在特定组合下生效,进一步降低了被常规抽样发现的概率。

常见植入途径

  • 数据投毒:在训练集中加入少量带触发器的样本,使模型学到「触发器对应目标标签」的映射
  • 权重篡改:直接修改开源权重中的部分参数,植入无需数据即可激活的行为
  • 微调与插件:借助微调接口或插件生态,在二次训练阶段悄悄引入后门
  • 触发器形态:图像角落的贴纸、罕见词或特定句尾,隐蔽性强且易于复现
  • 供应链环节:数据集、预训练权重与第三方组件在流转中缺少校验时都可能成为入口

检测与防护

检测侧,可用数据审计检查出处、去除重复并筛查异常标注样本,用逆向与显著性分析寻找异常敏感区域,再通过上线前的安全评测对比微调前后的行为变化。防护侧,应优先使用可信权重、锁定依赖并校验完整性,同时限制模型对不可控输入的响应方式。由于触发条件难以穷举,防护更多依赖流程约束与可追溯性,而不是单点检测手段。

  • 把后门纳入测试清单:常规精度测试替代不了触发器扫描与安全评测
  • 控制引入路径:能自建就别盲用,使用第三方权重时保留校验记录
  • 对比行为变化:微调前后做同一组触发用例,观察是否出现异常跳变
  • 留出应急手段:确认受影响后能回滚版本、隔离模型并通知下游
  • 约定责任边界:明确上游组件提供方与使用方各自承担的验证义务

常见误区

认为精度高就等于安全,是最常见的判断错误;触发器只影响极少数输入,精度指标对此几乎不敏感。另一个误区是只查数据不查权重,实际上直接改参数同样能植入后门。还有团队把检测当成一次性任务,忽略模型会随微调与迭代重新引入风险。另一种偏差是认为只有图像任务才会受影响,文本、语音与多模态模型同样存在条件触发的风险。

查看全部 72 条 →
共 9 条