对抗攻击（Adversarial Attack）

对抗攻击（Adversarial Attack）指攻击者施加难以察觉的微小扰动，诱使 AI 模型输出错误结果。例如在“熊猫”图片上叠加不可见噪声，模型误判为“长臂猿”，这类输入被称为对抗样本（Adversarial Example）。它重要，是因为模型越是被用于安防、金融与自动驾驶，一次误判就越可能带来现实损失。

为什么模型如此脆弱

深度学习模型的决策边界存在脆弱性。模型在训练中学到的特征与人类感知并不一致：人看图靠整体语义，模型可能靠若干高响应的像素模式。攻击者只要顺着梯度方向把输入往“错误类别”那边推一点点，就能越过决策边界。高维输入里每个像素只改极小的量，累加起来就足以翻转判断，而人眼几乎看不出差别。

更麻烦的是，同一个扰动往往能跨模型迁移，说明脆弱性不是某个模型实现的小毛病，而是这类训练范式的共性。

主要攻击类型

• 白盒攻击：攻击者知道模型结构与参数，可直接用梯度信息精确计算扰动方向。
• 黑盒攻击：参数不可见，只能反复查询模型的输出，靠反馈逐步逼近有效扰动。
• 数字域攻击：直接在像素层面修改输入，如图片贴纸攻击、局部补丁攻击。
• 物理域攻击：把扰动做成真实世界的物件，例如贴在路标上的对抗贴纸，欺骗自动驾驶的感知模块。
• 文本与多模态攻击：在同义改写、特殊字符或跨模态输入中植入扰动，诱导模型输出攻击者期望的答案。

常见防御手段

• 对抗训练：把对抗样本加入训练集，让模型见过“被下套”的输入，通常是最有效的路线，代价是训练成本上升。
• 输入预处理：压缩、去噪、量化或随机化，把细小扰动在进入模型前抹掉。
• 鲁棒性评估：用红队测试与基准攻击集定期检验模型，把攻击成功率当作上线指标之一。
• 集成与随机化：多模型投票、随机丢弃部分特征，增加攻击者预测难度。
• 输出侧防护：对高风险场景加人工复核或规则校验，避免单点误判直接触发动作。

实践要点

• 先定威胁模型：明确攻击者能否拿到参数、能否物理接触设备，再选择评估与防御方案。
• 把扰动预算讲清楚：扰动幅度限制越宽松，攻击越容易成功，评估结论必须带上这个前提。
• 防御要覆盖真实链路：预处理、模型、后处理任何一环都可能被绕过，端到端测试比单点加固更可靠。
• 持续回归：模型迭代或数据更新后重新跑一遍攻击基准，避免旧结论失效。

常见误区

• “准确率高就安全”：在干净数据上的高准确率，并不代表能抵抗精心构造的扰动。
• “加密或水印能防住”：加密保护的是传输与存储，攻击发生在模型推理的输入端。
• “只有图像会被攻击”：文本、语音、多模态同样存在对抗样本，只是扰动形式不同。
• “防御一次就永久有效”：新的攻击方法会针对已知防御做适配，这是一场持续的攻防博弈。