GPT-2仅凭激活值还原94.20%词：分割学习隐私漏洞被揭开

数据留在本地、只把计算的中间结果发到云端，公司用“分割学习”训练AI模型时，这些来回传输的数字里究竟藏了多少秘密？

论文给出的结论让人吃惊：秘密几乎全在里面。

先交代背景。大模型训练成本高、资源消耗大，不少公司想了个折中方案，叫

分割学习：客户端（比如医院或企业）自己跑模型前几层，把算出的结果发给服务器，由服务器跑剩下的层。原始文本始终留在本地，按说不会外泄。

听上去很理想：数据不出门，隐私就稳了。可问题在于，客户端发出去的那份“计算结果”，术语叫

激活值：模型前几层处理每个词后得到的一串数字（向量），实质是文本经神经网络编码后的产物。

这串数字真能把原文完全遮住吗？研究者的回答是：遮不住，而且遮得很差。

被忽略的缺口：攻击者并不需要你训练好的模型

论文首先设定了一个相当“克制”的攻击者。

此人既不是内鬼，也不是能进入你服务器的黑客，只是静静待在网络中间、盯着数据往来的旁观者。术语叫

被动观察者：不改动数据、不参与计算，只监听客户端与服务器之间传输的数据包。

更要紧的是，这个攻击者手上只有

公开权重：互联网上谁都能下载、未经客户端训练的原始模型参数。它并非客户端训练后的“私有版本”，而是公版GPT-2的前几层。

拿着这么“弱”的武器，攻击者在GPT-2（12层、1.24亿参数，分割学习研究里常见的“麻雀模型”）上把分割点定在第6层之后，仅凭客户端发出的激活值，就还原出

94.20%的词（token）。这里说的“词”更准确讲是

token：大语言模型处理文本的最小单位，可能是一个完整单词，也可能是单词的一部分或一个标点。

这个数字说明什么？打个比方，一篇100个词的文章，攻击者只看传输流量、不碰原始文本，就能猜对94个词的位置。这已经接近“文本等于裸奔”，不只是“有点危险”。

梯度加进来之后，多拿了多少？

分割学习训练时，服务器算完损失，会把

梯度：告诉客户端模型层该朝哪个方向调整参数的数值，实质是“误差反传”过程中产生的中间量，用来指导模型学习。

传回客户端。这东西按理只是“修正信号”，不该带上文本内容。但研究者发现，把梯度也纳入攻击视野后，token还原率从94.20%升到97.38%，多了3.17个百分点。

3.17看着不算惊人。论文却做了一件很巧的事：同时用两种方式打分。第一种按token算，第二种是

整篇文档还原率：要求一篇文档（32个token组成的一段话）里每个词都对、一个错都不许有，才算这篇文档被完整还原。

按文档算，没有梯度时只能完整还原13.71%的文档，加上梯度后直接升到37.77%，翻了将近2.75倍。

为什么token还原率只涨3个点，文档还原率却能翻近三倍？说到底是个概率问题。一篇32个token的文档，错一个token就算整篇失败。假设单个token错误率5%，32个全对的概率大约只有19%；错误率压到2%，全对概率就升到52%。错误率降一点，"全对概率"是非线性地往上放大。

打个比方，一条产线有32道工序，每道良品率从95%提到98%，看着只多3个百分点，整条线最终合格率却可能直接翻倍。要是按单道工序验收、不按整条产品线验收，这个差距永远看不出来。只给单一工序打分，会严重低估整体良品率的真实损失。论文之所以强调"必须同时按token和按文档两种方式衡量泄露"，原因就在这里：单看token指标，会让人觉得梯度带来的风险增量很小。

**防御看着挺强，其实只挡住了"面子"**

论文随后测了两种防御。第一种叫

秘密混合*（Secret Mixup）：客户端把真实激活值和一个从历史训练数据里随机抽出的"诱饵"激活值按比例混在一起再发出去，为的是让攻击者分不清哪部分是真数据。

这招的效果乍看很猛：整篇文档被完整还原的比例最多1.48%，几乎归零。只盯这一个数字，很容易觉得这防御无懈可击。

可再看token还原率，落在83%到91%之间。换句话说，攻击者照样能抓住八九成的词，只不过拼不出一篇"滴水不漏"的完整文档。更扎心的是，论文专门标注了文本里的

实体片段*：人名、数字、身份标识符这些具体信息，恰恰是文档里最有辨识度、最可能构成隐私泄露的部分。

结果显示，秘密混合把人名的保护效果从67%到97%压到了48%到66%，可对数字几乎不起作用，攻击者仍能还原93%到96%的数字，身份标识符甚至还能还原90%到100%。

这就像给一份合同打上厚厚的马赛克，乍一看整份文件的"完整可读性"几乎为零，凑近一瞧，合同里的金额、日期、身份证号这些最要命的信息，其实一个字都没遮住。只拿"整体是否完全可读"这个粗粒度指标来看，会被这层马赛克唬住；一旦拆开看具体字段，防御的漏洞立刻现形。如果评估者只用"文档是否被完整还原"这一个标准打分，秘密混合几乎会被判成近乎完美的防御，而这恰恰是最危险的误判——真正敏感的数字和身份信息根本没被保护住。

另一种防御叫

副本中位数*（Replica-median）：服务器同时跑三份带微小随机扰动的模型副本，对它们的输出取中位数。它的目的是防止恶意服务器篡改训练过程，并非专门为保护隐私而设计。

这个防御对模型质量的伤害极小（

困惑度*：衡量语言模型预测文本好坏的指标，数值越低说明模型预测得越准。

几乎没涨），但整篇文档还原率仍能被拉低最多7.7个百分点，token还原率却几乎不受影响。

两种防御放在一起看，信号挺明确：按token衡量和按文档衡量泄露，得出的"防御强不强"的结论可能完全相反，光看一个指标会严重误判风险。

**分割点放在哪儿，本身就是个隐藏变量**

论文的第二部分换了个问题：不是把整个模型一分为二，而是只把中间连续的几层（比如4层）交给服务器训练，论文管这个连续区间叫

offload段*：服务器实际负责训练的那一小段连续层，用起始层编号b和长度s来描述，比如"从第2层开始，训练4层"。

直觉上，只要这一段的长度固定（比如都训练4层），从哪一层开始训练应该没那么要紧，毕竟训练的"工作量"是一样的。

实验结果打脸了这个直觉。研究者在GPT-2和Qwen3-0.6B（一个28层的更大模型）上做网格实验，固定段长、只改起始层，结果发现起始层的位置本身，在绝大多数测试组合里都显著影响了模型质量和泄露程度，哪怕段长完全一样。

换句话说，"从第0层开始训练4层"和"从第3层开始训练4层"，训练层数相同、计算量看着相近，泄露风险和模型表现却可能完全不是一回事。这有点像两个员工做同样的8小时工作量，一个从早上9点干到下午5点，一个从凌晨1点干到早上9点，表面上"工作时长"一样，可所处的"上下文环境"不同——是白天还是深夜，前后衔接的是什么任务——产出和暴露的风险完全不同。只按工作时长排班、不考虑起始时间点，排班表上看起来一样的安排，实际执行效果可能天差地别。系统设计者如果只按"offload了百分之多少的层"来做隐私和性能评估，完全忽略"从哪一层开始"这个变量，很可能在不知情的情况下选中一个高风险的起始点。

研究团队另外设计了一组独立测试：挑出几个训练阶段从未接触过的"种子"，用它们来验证——在已知起始层的前提下，能否预判一次全新训练的结果。结论是，8比特压缩这一防御条件下，起始层信息对预测准确度有明显帮助；换成4比特加噪声的更强防御后，这种预测能力就基本失灵了。防御越强，起始层所含的那套"可预测的泄露规律"被搅得越乱。这对防御方不是好事，调优更难；对攻击方同样不是好事，泄露更难被成体系地利用。

**梯度被动了手脚，攻击者还能不能继续得逞**

论文还设计了一组贴近真实场景的测试：传输时给梯度加噪声，或者把它压成更少的比特位——这两种操作原本是为了省带宽或做防御，并非专门为隐私保护设计——攻击者的还原效果会损失多少？

答案出乎意料：几乎没损失。8比特压缩之后，token还原率仅从97.38%微降到97.33%；加标准差1.0的高斯噪声（论文测试中较强的扰动水平），还原率也只落到96.83%。真正让攻击失效的做法，是把梯度换成"完全无关的信息"，比如另一篇文档的梯度，或用随机token填充，这时效果才跌破"不用梯度"的基线。

换句话说，梯度携带的那部分文本信息相当"结实"，常规压缩和加噪基本动不了它的根本。要真正掐断这条通道，得从梯度的生成和传输逻辑上动手，光做"模糊化"处理远远不够。

**写在后面**

这篇论文读下来，最让人意外的不是攻击成功率有多高，而是"第一个token几乎无解"这个细节。

论文提到，用不用梯度，文档第一个词的预测错误率都接近一半；其中不少错误只是"多了一个空格"——引号前该不该空格、"The"前面要不要留一格，印刷体上看不出区别，程序却判为"完全错误"。仅这一个位置的系统性误差，就把两种攻击方式的"整篇文档完美还原率"压在54%以下。问题不在攻击方法本身，而在评分标准留了盲区。设计任何"全对才算通过"的评估体系时，先得想清楚哪些误差是无伤大雅的噪音、哪些才是真正的信息泄露，否则容易被一个无关紧要的技术细节带偏整体结论。

另一个值得反复琢磨的点：论文作者团队此前审计过一个真实部署的分割训练系统，发现返回的梯度能直接暴露哪些数据行是"诱饵"，该漏洞让那套系统自身的隐私检测机制形同虚设。这次研究算是那次发现的延续和扩展，从"审计一个具体系统的具体漏洞"走向"系统性测量梯度究竟带来多少额外泄露"。这种从个案到普遍规律的路径本身就有看头。

负责设计或审查分割学习系统的人，看完论文大概会问自己一句：现在用的防御手段，是真降低了信息泄露，还是只让某个容易测量的指标变好看了？

Q&A

Q1：分割学习中，攻击者不碰私有数据也能还原文本吗？

A：能。论文里的攻击者只被动监听客户端与服务器之间的传输流量，手上只有公开的模型权重，单靠客户端发出的激活值就能还原94.20%的token。没有任何内部访问权限，做到这一步已经相当危险。

Q2：把梯度信息加进来，攻击效果提升明显吗？

A：按单个词算只多3.17个百分点；但按整篇文档完整还原的标准，还原率从13.71%跳到37.77%，翻了近2.75倍。原因是一篇文档错一个词就算失败，逐词的微小提升会被放大成整体成功率的大幅跳跃。

Q3：秘密混合这种防御手段真的有效吗？

A：要分两面看。整篇文档完整还原率能被压到接近零，可攻击者照样能还原83%到91%的单个词，数字、身份标识符这类敏感信息几乎没有得到保护。只盯整体还原率，容易高估这种防御的实际效果。