OpenAI反蒸馏防御见效:GPT-6.2 Astra思考链提取率降至0.2%
OpenAI 加强 GPT-6.2 Astra、GPT-6.2 Sol 推理思考链保护,经黑盒红队测试,旧请求推理提取成功率从 54% 降至 0.2%,新请求从 22.9% 降至 0.9%。#OpenAI# 还采取多层防护,每周封禁数千至数万涉未经授权蒸馏的账号。
OpenAI在11月20日(当地时间)发布公告,对外说明其针对「对抗性蒸馏」(Adversarial Distillation)的防御手段。此前一天,即11月21日,这一消息进入中文科技圈视野。
据OpenAI介绍,
GPT-6.2 Astra与GPT-6.2 Sol两款模型的内部推理思考链(Chain-of-Thought)保护已经加强,目的是压低其他模型通过提取推理过程来复制其能力的可能性。

所谓对抗性蒸馏,OpenAI给出的定义是:未经授权就拿前沿AI模型的输出喂给别的模型做训练,让后者学到相近本事,却没有原模型那套安全防护。这样一来,网络安全、生物学等方向上的高风险能力,就可能流到安全限制更弱的模型里。

内部自适应黑盒红队测试中,OpenAI衡量的是攻击者能否把受保护的推理内容掏出来,分两种情形:一是针对此前请求的推理内容,二是针对当前请求的推理内容。
数据能说明问题。此前请求的推理内容提取成功率,在GPT-6 Astra原有安全机制下是54.0%,换成GPT-6.2 Astra更新后的机制后掉到0.2%;当前请求的推理内容提取成功率,则从22.9%降到0.9%。这组结果汇总了6个攻击模型的数据。
防护靠的是一套多层措施。OpenAI通过对抗性训练让模型学会识别并拒绝推理链提取请求,同时用输入和输出分类器排查相关攻击与推理内容泄露,另外在API层面限制推理内容在不同会话、模型和组织之间被复用。附图如下:

具体到GPT-6.2 Astra和GPT-6.2 Sol,两者会把受保护的推理内容与产生它的对话历史绑定。一旦此前的消息被改动,API就会丢弃基于该消息生成的后续推理内容。安全防护较弱的旧版模型,也读不到这两个新模型的受保护推理内容。
执法层面,OpenAI称今年以来每周都会对涉及未经授权蒸馏活动的账号动手,规模从数千个到数万个不等,今年夏季以来力度明显加大。公司还会追查协调进行大规模提取的账号网络,并把攻击指标分享给其他模型提供商,帮助识别相关滥用行为。
OpenAI同时介绍了对蒸馏安全风险的研究。内部测试发现,学生模型若用教师模型的完整推理轨迹做监督微调,通常比只拿最终回答、推理摘要和工具交互记录训练的学生模型,在网络安全能力迁移上效果更好。