华为推出SkillMarker:给AI技能文档加水印,复制粘贴也能溯源
你有没有想过,那些让AI助手变得更聪明的"技能包",其实很容易被偷走?最近有一类很火的东西叫Agent Skills,简单说就是给AI智能体准备的操作手册。一个开发者花了很多时间把某个领域的专业经验,比如怎么做代码审查、怎么写营销文案、怎么处理数据分析,整理成一份结构清晰的说明文档。AI读了这份文档,就能照着里面的步骤
那些让AI助手变聪明的“技能包”,其实很容易被偷走,你想过这个问题吗?
最近有一类东西很火,叫Agent Skills,说白了就是给AI智能体准备的操作手册。开发者把某个领域的专业经验整理成结构清晰的说明文档,比如代码审查怎么做、营销文案怎么写、数据分析怎么处理。AI读了这份文档,就能照着里面的步骤和规则干活,不用重新训练模型。听起来挺美好,问题也跟着来了:这些技能文档基本都是纯文本、Markdown格式,谁都能打开谁都能复制。你辛辛苦苦总结出来的操作流程和决策规则,别人复制粘贴一下就变成自己的,甚至改头换面塞进别的技能包里卖钱,你一点办法都没有。
Agent Skills是技能文档,是让AI智能体按需加载的专业知识包,不用改模型参数就能让AI掌握特定领域的操作能力。
华为这帮研究者想解决的就是这个问题。他们做了一个叫SkillMarker的东西。
这个问题到底难在哪?
给文字打水印这件事,学术界已经玩了好几年。最经典的套路叫[[保留1]],是2023年提出的一种给AI生成文本打水印的方法,原理是让模型在生成每个字词时,偷偷地更偏爱一部分词汇(叫“绿名单”)。
KGW水印
这套方法用在聊天机器人回复、文章生成上效果不错,因为AI本来就是自由发挥,多用几个“绿名单”词读者也察觉不到。
技能文档跟普通文章压根不是一回事。读一篇寻常稿子和读一份手术操作规范,心态能相同吗?文章里把某个词换成近义词,读者多半毫无察觉;手术规范里“消毒三次”若被误改成“消毒两次”,后果就是人命关天。技能文档同样如此,代码片段、API调用、数值阈值、条件判断常常夹在其中,这些内容一个字都错不得。论文举了个很说明问题的例子:代码中有一行`if attempts >= 3`,含义是尝试超过3次即报错,水印算法若为省事把`>=`写成`>`,重试逻辑的边界条件就无声无息地变了,而这种改动肉眼几乎看不出来。
于是研究者面对的是个两难局面。技能文档里可自由改写的余地非常小,大量内容是代码、数字、专有名词,轻易不敢碰;可水印信号要强,就得更多换词、更多调整表达,改动越少信号越弱,事后越难被检测到。要信号强就得多改,要内容准就得少改,两件事天然相互拉扯。论文将其称为“两个耦合的挑战”:其一,改写过程中如何保证技能文档的功能不变形;其二,在可改空间极其有限的前提下,如何让水印信号足够强。水印技术在严肃文档场景里遇到这么硬的约束,这还是头一回。以往的水印研究大多默认“文本稍微改一点无妨”,技能文档把这个默认前提直接推翻了。
先把“不能动”的部分圈出来。
论文管这个叫SkillMarker。
这就跟你请人翻修房子一个道理。承重墙、电路管线、煤气管道这些事关安全的部分,你会明确圈出来告诉装修队绝对不能碰,剩下的墙面颜色、家具摆放随便他们发挥。不事先画这条线会怎样?装修队可能为了让房子“看起来更协调”,顺手把承重墙的位置也调整了一下,结果整栋楼的安全出了问题。技能文档里的代码和数值,就是那堵承重墙。
只把“硬内容”护住还不够。论文特别点出一个更隐蔽的隐患:即便代码和数字全都原样未动,仅改写旁边的大白话描述,也可能在不知不觉中改变整个技能的行为逻辑。比方说原文写“满足所有条件才执行”,水印算法悄悄改成“满足任意条件就执行”,数值一个字没变,语义却差得很远。为了堵住这类“隐形篡改”,SkillMarker……
这里还藏着一个容易被忽略的细节,叫[[保留2]]。
词形分组
水印算法在给词汇分“绿名单”时,SkillMarker……
这套流程走的是“先保护、再改写”,要化解的矛盾很直接:水印算法总想多改文本、好把信号塞进去,技能文档的使用场景却要求改动越少越稳妥。SkillMarker没打算消除这个矛盾,它先把不能碰的地方固定住,再在剩下的空间里仔细盘算。
空间有限,怎么把信号做足
红线划完,第二个问题就来了:可改的余地这么小,水印信号怎么才能足够强,强到事后真能被检测出来?
论文里给出的办法叫“信号导向的候选搜索”。
具体来说,面对每一处可以改写的文字段落,系统不止生成一个改写版本,它用的是一种叫“
束搜索
这种搜索策略在AI生成文本时很常见:每一步不只走一条路,而是同时留下几条看着不错的路径继续往下,最后从这些路径里挑整体最优的结果。比起每次只认一条路走到底,它更灵活。
拿到这几个候选版本,SkillMarker会给它们打分排名。标准有两条:一是“绿色词汇命中率”,看这段改写里有多少词落在水印绿名单上,命中率越高,水印信号越强;二是“
困惑度
PPL衡量的是语言模型觉得某段文字有多“合理”。数值越低,说明这段话读起来越像正常的自然语言;数值越高,说明它可能语法别扭,或者逻辑不通顺。
排序规则不绕弯:先看绿色词汇命中率,高的胜出;打平了,再比谁的
搜索过程里还有个细节设计:打分依据的是“重建文本打分”,不是“候选文本自己打分”。
为什么要多这一道?一段改写文字单独拿出来看是一个样,插回整篇文档、跟前后文拼在一起之后又是另一个样。水印算法靠“前一个词”决定绿名单是什么,同一段文字放进不同上下文,绿色词汇命中率可能完全不同。只盯着候选文字本身打分,算出来的水印强度可能是虚的,真装回文档里根本没那么强。SkillMarker的做法是每次把候选方案真的插进当前文档,重新完整分词一遍,再统计真实的绿色命中率,这样分数才靠得住。
这跟试衣服差不多。在家里对着镜子,你觉得这件配那条裤子肯定好看,可只有真穿出门、配上外套鞋子走在大街上,才知道整体效果行不行。少了“穿出门”这一步检验,光凭想象打分,买回家的衣服很可能压根穿不出去。SkillMarker坚持把每个候选方案“穿”进整篇文档再打分,就是不想让水印强度只停留在纸面上。
候选有了,打分标准也有了,接下来就是一步步推进:文档里每处可编辑区域按原顺序依次处理,每处挑出当下最优的改写方案,最后把所有改写片段和原本保护住的内容重新拼起来,一篇带水印的技能文档就出来了。
被偷了,怎么证明是你的
打水印只是开头,更关键的是后面怎么把水印读出来。最常见的“被偷”有两种:一种是别人直接复制粘贴走一段,塞进自己写的其他内容里;另一种是把你的技能文档跟别的技能文档并到一起,凑出一份“新”文档。
针对这两种情况,SkillMarker设计了“
滑动窗口检测
做法是把可疑的长文档切成一个个固定长度、彼此有重叠的小窗口,每个窗口单独统计绿色词汇命中率。只要某个窗口的信号强度越过设定门槛,就判定这个窗口里藏着水印。
为什么不直接看整篇文档的平均水印强度,非要切窗口?因为偷内容的人如果只复制一小段,再塞进一大堆自己写的无水印内容里,整篇平均下来信号会被严重稀释,直接检测平均值很可能什么都查不出来。
论文里的实验数据很能说明问题。往一段4096个词的无水印背景文本里插入1536个连续词的水印内容,用全文检测去查,成功检出率只有55.6%,等于每查两次就漏一次。但换成
窗口检测还能顺带回答“偷了哪一段”。论文把每个判定为阳性的窗口合并起来,当作预测的侵权区域,再跟真实插入的那段内容比对。结果显示,对那段1536词的连续插入内容,定位召回率能到98%到99.1%,真正被抄的内容几乎全被圈了出来,没怎么漏判;精确率在65.4%到69.6%之间,说明圈出的范围里大约三分之二是真正被抄的部分,剩下三分之一左右是周边多圈进去的无辜文字。这个精确率算不上高,但对“大致定位到哪一块被偷”这个目的来说够用了。
有意思的是,抄袭者要是学聪明了,把这1536个词拆成8段分散插到不同位置,检出率会从接近100%掉到77.8%。也就是说,把水印内容打散插入确实能干扰检测,但痕迹依然明显,没能完全逃过去。
另一种更难办的情况是“技能合并”:把你的技能文档和一至三份别人的技能文档交给AI,让它合并成一份“新”的综合技能文档。这种情形下水印信号会被进一步稀释,因为合并过程本身就会对文字做大范围改写。
有一组对比实验能说明问题:只看用户自己的技能文档、没有任何背景文档掺进来时,多尺度检测能查出91.7%;掺进一份背景文档,这个数降到72.2%;掺进三份,则是77.8%。下滑并非一路单调,可大致方向清楚——背景文档一多,检测就更费劲,这跟“水印被稀释”的猜想对得上。另一头也值得看:那些压根没加水印的对照文档,被误判为“有水印”的比例同样随背景文档增多而走高,零背景时为0%,掺一份是11.1%,掺三份升到16.7%。
这组误判率数据其实透着一股诚实。论文没把自己包装成百分百准确,而是如实交代:背景噪音越大,系统出错的概率越高。真要用到实际业务里,得按具体场景单独校准阈值,论文里的默认参数不能直接照搬。
打了水印,AI还会不会正常干活
怎么藏水印、怎么查水印说了不少,有个问题绕不开:往文档里塞水印信号,会不会把技能文档本身弄坏,让AI照这份文档干活时表现下滑?
毕竟水印的原理,是生成文字时让AI有偏向地多挑一些“绿名单”词。这种偏向一旦过头,句子容易变得别扭,甚至把原本的操作指示悄悄改掉。技能文档打水印最核心的顾虑就在这儿:保护是保护了,可被保护的东西还能不能用?
研究者拿四个数据集做了对照实验,覆盖日常软件开发、文档写作与信息检索、营销策划,以及需要专业操作的科学计算类任务。每个任务跑三种情况:完全不给AI技能文档、给原始技能文档、给打了水印的技能文档,再看AI实际完成任务的通过率。
结果显示,打水印后任务通过率相比原始文档的变动落在负2.01%到正0.93%之间,有涨有跌,整体几乎可以忽略。具体到单个数据集,偏软件工程的agent-skills任务集打水印前通过率97.46%,打水印后升到了98.25%;偏科学计算的skill-use-bench则从59.85%微涨到60.41%。
这组数字背后有个更耐人寻味的对比:不管打没打水印,只要给了技能文档,AI的表现都明显好于完全不给,提升幅度在8.49到40.3个百分点之间。技能文档本身确实有真实价值,水印这层“保护壳”基本没把这个价值偷走,顶多让AI多花一点计算资源和时间去理解改写后的表达。
代价也不是完全没有。打水印后,AI消耗的token数量(可以理解成AI“读”和“想”的工作量)在三个数据集上多了14.1%到29.3%,任务耗时相应增加6%到16.4%。这大概率是因为改写后的句子表达变了,AI得重新理解这些陌生的措辞,多花了些“思考时间”。不过在skill-use-bench上,token用量和耗时反而略微下降,论文解释说这类数据本身耗时分布很不均匀,个别极端值会把平均数拉偏,未必说明水印让效率变高了。
一致性检验:拆开看每个零件的贡献
SkillMarker里其实装了好几个独立的技术组件。论文专门做了一组拆解实验,把五个关键部件逐个拿掉,看少了哪一个会出什么问题。
这五个部件分别是:改写时的保真约束、给词汇加的那个
实验结果很能说明问题。完整版SkillMarker在一个0到100分的文本质量评分上拿到70.97分,水印强度(用一个叫
更戏剧性的是,如果把
唯一一个“拿掉影响不大”的部件是“重建文本打分”。换成直接对生成文字本身打分后,质量分70.00、水印强度2.98,跟完整版几乎没差别。这不代表该部件没用,只是在这组特定测试样本里,它的贡献没那么突出。论文也坦言,这个结论还需要更多数据支撑。
这组拆解实验的价值在于,它用数字说明SkillMarker不是随便拼凑的工具箱,每个部件各扛各的职责,少了主力部件,水印就形同虚设。
写在后面
读完这篇论文,我最意外的是,水印技术这种听着挺“纸上谈兵”的东西,第一次被逼着跟代码、API、条件判断这些硬核工程内容正面碰上。此前大多数水印研究的测试对象是新闻文章、故事续写这类容错率很高的文本,SkillMarker算是把水印拽进了一个容不得半点马虎的场景。
还有个细节我觉得值得单独说:论文里那个“
另外,背景文档越多、误判率跟着涨这个现象,论文处理得挺诚实。不少论文喜欢把方法包装得天衣无缝,这篇却老老实实把“系统在复杂场景下也会犯错”摆了出来,还明确说需要额外做阈值校准。这种态度反倒让我更信任这组实验数据。
眼下技能文档还处在很早期的阶段,不少人恐怕没想过,自己费心攒下来的操作手册,有朝一日会被人盯上偷走。可有价值、又能随手复制粘贴的东西,早晚都得碰上这道坎,技能文档不过是先一步撞上了而已。水印最终能不能成为这类数字资产通行的防护办法,可能得看往后几年真有多少“被偷”的实例出现。
Q&A
Q1:SkillMarker是什么?
A:SkillMarker是华为团队提出的一种基于
Q2:SkillMarker会不会影响AI执行技能文档时的表现?
A:影响很小。研究团队在四类不同任务的数据集上做了测试,加上水印之后,任务通过率跟原始文档相比,波动区间只有负2.01%到正0.93%,幅度很有限;而有没有技能文档,差距是8.49到40.3个百分点,两者完全不在一个量级。
Q3:如果别人只复制了技能文档的一小段内容,SkillMarker还能查出来吗?
论文测试给出的答案是能。哪怕只复制了1536个连续词,再把它混进更长的无关文本里,用滑动窗口检测,几乎能100%查出来。直接检测整篇文档的方式只有55.6%的检出率,两者差距不小。