提示微调（Prompt Tuning）

提示微调（Prompt Tuning，也常写作 P-Tuning）是一类参数高效微调方法。它不修改模型权重，而是在输入前拼接一段可训练的连续向量，也就是软提示，让冻结的模型在特定任务上给出期望输出。训练目标只有这些向量，参数量通常极小，因此存储与切换成本都很低，适合在算力紧张时反复试验。

工作原理

模型输入先被转换成向量序列，软提示就是在这个序列前面附加的一小段可训练向量。前向传播时它与真实输入的表示一起进入网络各层，反向传播只更新这段向量。因为目标是靠梯度下降找到一组能让模型稳定输出期望格式的触发表示，所以它既可能学出接近自然语言指令的效果，也可能学到不易解读的表示。

与手工提示词的区别

• 载体不同：手工提示是自然语言文字，软提示是模型内部的连续向量。
• 优化方式：前者靠人反复修改，后者由梯度下降自动学习得到。
• 可解释性：软提示难以直接阅读，调试时不如文字提示直观。
• 效果上限：任务数据较充足时，软提示通常优于纯手工提示。
• 可迁移性：文字提示换模型往往仍可用，软提示一般需要针对新模型重新训练。

与其它参数高效方法的关系

软提示属于参数高效微调的一个分支，与低秩适配、适配器等并列。区别在于它不改动任何原有层，只影响输入侧的表示，因此实现最轻、兼容性最好；代价是它对模型内部表示的干预较弱，在需要改变具体层行为的任务上，效果可能不如插入式方法。几类方法也可以叠加使用，按任务难度取舍。

在实际项目里，软提示常与检索、工具调用等手段组合使用：检索负责提供模型不具备的事实，软提示负责约束输出格式与语气。把两者混为一谈，容易在需要事实准确性的任务上失望，因为软提示能改变的更多是行为模式而不是知识边界。

实践要点

• 初始化要认真：用真实词向量初始化通常比随机初始化收敛更快、更稳。
• 长度要试：软提示太短表达力不足，过长则收益递减且增加开销，需要小范围搜索。
• 学习率单独设：软提示部分的学习率往往要比常规微调大一些才容易收敛。
• 固定评测集：用它比较不同初始化与长度，避免被单次训练的波动误导。

常见误区

• 以为它等于写好提示词：两者机制不同，软提示是训练出来的向量，无法直接抄写复用。
• 任务混用同一组向量：不同任务的软提示通常互不通用，混用会让效果明显下降。
• 忽略模型更换：换底座模型后原软提示基本失效，需要重新训练。
• 指望它注入新知识：它擅长调整输出行为与格式，难以补足模型不具备的事实。

适用边界

软提示的初始化方式、长度与学习率都会明显影响收敛效果，任务之间往往需要重新训练。它适合任务边界清晰、输出格式固定的场景，例如分类、抽取与固定风格改写；若要模型掌握全新领域知识，仅靠提示微调通常不够，还需要继续预训练或外部检索等手段配合。