扩散语言模型采样步数越多,训练数据越容易被还原?
丹麦奥尔堡大学最新研究揭示,掩码扩散语言模型的隐私泄露风险与生成时的采样步数密切相关。相比自回归模型,扩散模型在相同参数量下整体泄露率更低,但将一步生成改为逐词恢复时,敏感信息(如邮箱)的提取成功率可能飙升近20倍。研究提出广义概率提取框架,证明生成过程本身即是隐私评估的关键变量,而非仅取决于模型参数。
当模型不再「接龙」,隐私泄露的路径变了吗?
大语言模型有个老毛病:有时候会把训练时见过的内容原样背出来。运气不好,或者被人故意诱导,它就可能吐出某个人的邮箱、电话甚至住址。这类问题在自回归模型上已经被反复讨论过——那种模型从左到右、一个词接一个词地生成。

不过现在另一种架构正在冒头:扩散语言模型。它不玩「文字接龙」,更像在做「填空题」。给一段被遮住一部分的文字,它通过多轮迭代把缺失部分补全。这种机制允许并行计算,生成速度理论上更快。问题也跟着来了:生成方式从单向预测变成双向填空之后,训练数据的泄露风险是降低了,还是换了一种更隐蔽的方式存在?

丹麦奥尔堡大学的研究团队在最新论文《Characterizing Memorization in Diffusion Language Models: Generalized Extraction and Sampling Effects》里把这个问题拆开看了。结论有点反直觉:同一个扩散模型,仅仅改变生成时的采样步数,隐私泄露的风险就能大幅变化。

从「接下半句」到「任意填空」

要理解这个发现,先得搞清楚两种模型各自是怎么「回忆」训练数据的。

自回归模型的逻辑很简单:给它前半句话,它预测后半句。如果它在测试时能一字不差地续写出训练集里的某段文本,我们就说它「记住」了这段数据。这套方法叫前缀续写评估,也是目前衡量模型记忆效应的标准动作。

扩散模型不吃这一套。它天生支持双向上下文——你可以遮住句子中间的词,让它根据前后文来猜;也可以随机遮住几个词,让它分几步填回去。传统的评估方法因此失效:遮哪里?先填哪个词?一次填多少?这些变量都会影响最终结果。只看一次生成是否命中,根本没法完整刻画扩散模型的记忆行为。

为此,研究团队提出了一个「广义概率提取框架」。说白了就是:给定部分可见的文本,允许模型尝试多次,然后算出它以多大概率能完全恢复被遮住的内容。这个框架够灵活,任意位置的遮盖都能处理,不同的恢复顺序也能容纳,连传统的前缀续写都能包进去。
这套框架是否可靠,需要实验数据说话。他们拿200个样本做了对比:1,024次随机掩码采样给出的概率估计,与跑10万次随机生成测出的实测值相差很小。换句话说,不用每次都做大规模生成测试,泄露风险照样能估得比较准。
为什么多生成几步,反而更容易泄露?
这里有个关键现象:采样步数越细,原文复现的概率往往越高。
想象你在填一首熟悉的诗。一次性把所有空缺都填上,可能只能靠模糊的印象猜个大概。但如果允许你先填对几个确定的字,再拿这些新填出来的字当线索去推剩下的部分,成功率自然就上去了。
扩散模型也是这个道理。论文从理论上证明了这一点:在「增加正确上下文不会降低剩余内容恢复概率」的假设下,把原来的批量生成拆成更细的步骤——比如从一步变成五步、十步,甚至逐词恢复——完整恢复原文的概率不会下降,反而通常会上升。
注意,这里有个前提:讨论的是正确上下文与步骤细化的关系。不能简单理解成任何情况下步数越多泄露越严重,但在实验观察到的趋势里,确实如此。
研究团队选了200组满足条件的掩码设置,分别在一 步、两步、五步、十步以及逐词恢复的情况下测试。结果很清晰:步骤越细,精确恢复原文的成功率整体呈上升趋势。
参数没动,训练数据也没动,真正改变的是已有记忆被提取出来的几率。采样步数不再只是影响生成快慢和质量的工程参数,它和训练数据能不能被提取直接挂钩。
扩散模型真的比自回归模型更安全吗?
既然步骤有影响,那扩散模型和自回归模型到底谁更「漏」?
为了公平比较,团队训练了两个同为11亿参数(1.1B)的模型:一个扩散架构,一个自回归架构。数据集、分词器、计算预算全部对齐,并且都用Enron邮件数据做了适配。
评估任务定得很明确:把模型目标邮箱或电话号码前面的100个token交给它,看它能不能补出目标。提示里如果夹着其他邮箱地址,这类样本会被过滤掉,目的是减少干扰。
在3,000个邮箱补全样本、最多10,000次查询的预算下,结果出现了两个值得关注的反差。
先说第一个。同为11亿参数的对比中,扩散模型即使采用最极端的「逐词恢复」策略,能达到50%提取概率门槛的邮箱样本也只有16个。自回归模型呢?有213个。同等规模下,扩散模型的整体泄露水平确实低于自回归模型。
第二个发现更值得警觉。以LLaDA-8B为例,从「一步恢复」改成「逐词恢复」后,达到相同成功率的样本数由9个涨到179个,接近20倍。同一个模型,仅仅调整采样设置,风险差异就拉得这么大。
需要说明的是,上述结论来自对齐后的前缀补全任务。扩散模型本身支持双向填空,换到这类场景里会怎样,还需更多实验来验证。据此认定扩散模型在任何场景下都绝对安全,并不成立。
是记忆,还是猜对了?
另有一个老问题摆在那里:模型补全出一段邮件,究竟是真的把这封邮件「记住」了,还是只靠对邮件格式的熟练、凭概率猜中了?
研究团队用对照实验来区分这两种可能。他们各取1万个文本窗口,样本分别来自训练过的Enron邮件,以及未参与训练的同领域TREC 2007 Spam邮件,再逐一评估其重建概率。
训练数据的重建概率分布整体更高。蓝色曲线对应Enron训练数据,明显偏向高概率区域;橙色曲线对应TREC未见数据,集中在低概率区。评估方法确实捕捉到了与训练暴露有关的差异,提取结果中含有真实的记忆效应,并非只是语言规律的巧合。
这里还引出一个重要观点:提取率低,不能说明模型没有记忆;也可能是当前提示和采样条件下,这些记忆更难被取出。
隐私评估的新视角
模型安全评估能从这项研究里得到三个实实在在的启示。
第一,评估模型,也要评估生成设置。过去大家盯着模型参数看,现在得明白,同一组参数在不同采样步数下,隐私风险可能完全不同。步数不只是性能指标,也是安全指标。
第二,一次没命中,不代表多次查询也提取不出来。报告模型安全性时,查询预算、成功概率阈值和遮盖方式都应列为标准披露项。单次测试的阴性结果,误导性很强。
第三,扩散模型泄露水平较低,这一点值得肯定,但边界仍需验证。经过指令微调、偏好优化,或者面对更复杂的双向填空场景,这种优势能否保持,还有待进一步观察。
说到底,这项工作把一个容易被忽略的变量带入了视野:训练决定模型接触了什么,生成过程则影响这些内容有多容易再次出现。对想要部署扩散语言模型的企业和开发者来说,调整采样策略或许不只是优化速度的手段,也是保护用户隐私的一道防线。
注:本工作由丹麦奥尔堡大学研究团队完成,Xiaoyu Luo与Wenrui Yu为共同第一作者,Qiongxiu Li为通讯作者。