OpenAI反蒸馏防护见效:GPT-6.2 Astra思考链提取率降至0.2%
IT之家 11 月 21 日消息,当地时间 11 月 20 日,OpenAI 发布公告介绍了针对「对抗性蒸馏」(Adversarial Distillation)的防御措施。 OpenAI 称其已加强 GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护,以
11 月 20 日,OpenAI 发布公告,对外说明了针对「对抗性蒸馏」(Adversarial Distillation)的防御手段。消息于 11 月 21 日传出。
OpenAI 表示,
GPT-6.2 Astra 和 GPT-6.2 Sol 对内部推理思考链(Chain-of-Thought)的保护已经加强,目的是压低其他模型借提取推理过程来复制其能力的风险。

按照 OpenAI 的说法,对抗性蒸馏指的是未经授权拿前沿 AI 模型的输出训练别的模型,让后者得到相近能力,却缺少原模型配套的安全防护。这类做法可能把网络安全、生物学等领域的高风险能力搬到安全限制更松的模型上。

OpenAI 在内部自适应黑盒红队测试中,考察了攻击者分别提取模型此前请求与当前请求中受保护推理内容的成功率。
数据对比很直接:此前请求的推理内容提取成功率,GPT-6 Astra 在原有安全机制下为 54.0%,GPT-6.2 Astra 更新安全机制后降到 0.2%;当前请求的提取成功率则从 22.9% 降至 0.9%。这组结果汇总了 6 个攻击模型的测试数据。
防护靠的是多层措施叠加:用对抗性训练让模型学会识别并拒绝推理链提取请求;用输入和输出分类器发现相关攻击和推理内容泄露;再通过 API 限制推理内容在不同会话、模型和组织之间被复用。附图如下:

具体到 GPT-6.2 Astra 和 GPT-6.2 Sol,两者会把受保护的推理内容与产生它的对话历史绑定。此前的消息一旦被改动,API 就会丢弃基于该消息生成的后续推理内容。安全防护较弱的旧版模型同样读不到这两个新模型的受保护推理内容。
执法层面,OpenAI 称今年以来每周都会对涉及未经授权蒸馏活动的账号动手,规模从数千个到数万个不等,今年夏季以来力度明显加大。公司还会追查协调开展大规模提取的账号网络,并把攻击指标分享给其他模型提供商,帮助识别相关滥用行为。
OpenAI 同时介绍了对蒸馏安全风险的研究。内部测试显示,学生模型若用教师模型完整推理轨迹做监督微调,网络安全能力的迁移效果通常好于只用模型最终回答、推理摘要和工具交互记录训练的学生模型。