prompt 工程和微调常见问题:第一次上手最容易卡在这三件事

模型与算力

把 prompt 工程和微调常见问题拆成可判断的几件事:先修提示词还是该动权重、数据要准备成什么样、效果怎么验证,并给出不适用的情况。

很多人第一反应是「效果不行就去微调」,结果数据凑了两周,评测发现改提示词就够了。反过来也常见:提示词里塞了三十条规则,模型该错还是错,因为缺的是样本里的稳定格式。这篇按实操顺序把 prompt 工程和微调常见问题过一遍:什么时候停手、数据长什么样才算能用、跑完之后怎么确认不是自我感觉良好。

很多人第一反应是「效果不行就去微调」,结果数据凑了两周,跑完评测才发现改提示词就够了。反过来也常见:提示词里塞了三十条规则,模型该错还是错,因为缺的是样本里的稳定格式,不是更多形容词。这篇按实操顺序把 prompt 工程和微调常见问题过一遍,重点不在概念解释,在于什么时候该停手、数据长什么样才算能用、跑完之后怎么确认不是自我感觉良好。

先说个判断原则:prompt 工程解决的是「你已经具备的能力,怎么让它稳定发挥」,微调解决的是「这类输入你希望它形成固定反应模式」。两者边界模糊的时候,先按便宜的试,再按贵的试。下面每一节都给出可执行的动作和不适用的前提,别当标准答案照抄。

先分清卡在哪:是模型不会,还是你没说清

拿到一批失败样本,别急着改任何东西,先分堆。第一堆是模型压根不具备的能力,比如让它读一份没见过的内部文档;第二堆是知识不在训练数据里,问的是新政策、新接口;第三堆是你要求没表达清楚,模型其实会,但猜错了你要什么。三堆处理方式完全不同,混在一起就会得出「需要微调」的错误结论。

  • 只有第三堆跟提示词有关,先改表述;第二堆优先考虑检索,把资料喂进上下文比拿它重训一遍便宜得多
  • 同一个任务连续改五版提示词仍不见起色,再考虑动权重;改三版就基本能用的,多半是表述问题
  • 让另一个模型或者同事只看你的提示词复现这个任务,能复现说明提示词可迁移,不能复现说明里面藏着你自己知道、但没写出来的隐含前提
  • 统计三堆各占多少条,第三堆占比低于一半时,别把希望全押在重写提示词上

这一步的产出最好写成一张小表,不用漂亮,能对着数就行。它的作用是拦住「凭感觉决定微调」这个最常见的浪费。分堆本身不难,难的是承认有些失败不是提示词能救的。

提示词这一层的常见返工点

缺的往往不是形容词,是约束。输出给谁看、多长、必须包含哪些字段、绝对不能出现什么,这四项写进开头,比堆一堆「专业、准确、详细」有用得多。实际用下来,返工最多的不是词不够漂亮,是这四条里少了一两条,模型只能自由发挥。

示例也不是越多越好。放几条覆盖典型场景的就够,示例多了模型会连格式带内容一起抄,任务边界反而模糊。术语这块容易踩坑:提示词里同一个词指了两件事,模型只能猜。去 /ai-dict/category/tips 把口径对一遍,比反复调措辞见效快。

返工现象大概率原因先改什么
输出太长或太短没写长度约束开头补一句长度和体裁要求
字段时有时无必含字段没写死把字段清单列进提示词,附一条示例
换个问法就崩示例覆盖太窄补两三条口语化、信息不全的示例
术语理解跑偏同一个词指两件事统一用词,或给出歧义时的判定规则

微调数据准备:格式对齐比数量重要

决定动手之前,先把输入输出的形状定死,包括空值怎么填、不该回答时怎么拒、超长输入截不截、截在哪。这些没定就开始批量生产样本,后面清洗返工的时间会超过训练本身。格式不统一是微调效果不稳的头号原因,比数据量不够更常见。

  1. 定形状写一份字段说明,每条样本必须字段齐全、结构一致;用脚本校验,不合格的直接丢弃,别手工修修补补
  2. 混脏数据刻意放进真实场景里的口语化提问、错别字、信息不全的输入;全是整理干净的问答对,上线遇到随手打的句子就崩
  3. 小批量跑通从几百条开始,先确认链路能跑、格式校验能过,再看验证集表现决定加不加量;数据量没有通用答案,看曲线不看感觉
  4. 找服务商时先对格式到 /stacks/fine-tuning 看各家要求的数据格式和支持的任务类型,格式对不上,后面全白做

什么情况下不该微调

  • 知识会频繁变动的场景不适合微调:改一次就要重训一次,检索类方案省事得多;除非变动的是表达风格而不是事实
  • 需要可解释、可追溯来源的业务,微调后的模型给不出出处,容易被合规卡住;这类场景检索加引用的路线更稳
  • 数据量少、任务又简单的,提示词加上几条示例通常够用,微调的维护成本不划算
  • 团队没有人手长期维护训练数据和回归测试的,别碰微调,模型更新一次就得全部重来
  • 只是想让输出更「像自家风格」的,先看看提示词里的示例能不能压住,压不住再考虑

反过来说,什么情况下微调值得做:任务是固定的分类、抽取、改写,输入分布稳定,你又有一批格式统一的标注数据。这种场景微调能把成本和延迟压下来,也能让输出格式稳定得不用每轮校验。

跑完怎么验:别只看自己挑的几条

验证集和测试集要分开,测试集留一份从不参与调参的。两边分数差太多,说明模型过拟合到了样本细节上,不是你调得好。对比的时候条件要一致:同一个提示词模板、同一批题、同样的采样参数,否则比的是配置不是模型。

除了准确率,单独记拒答率、格式合规率和平均输出长度。这三项掉下去通常比准确率下滑更早暴露问题,尤其是格式合规率,样本里格式一乱它先掉。跑完可以拿 /tools/quality-check 这类现成检测过一遍,再人工抽看二十条,机器分和肉眼观感对不上,就以肉眼为准,别迷信单一指标。

时间和成本的实际分布

时间大头在数据清洗和评测集建设,不在训练本身。预算按这个比例分,不容易中途断粮。训练跑完也不等于结束,合并权重、换推理框架、回归测试都要排进时间表。想看托管和自建的账怎么算,到 /compute/finetune 核对当时的数字,别按印象估。

做法上建议先小规模跑一轮,确认流程能通再放大数据量。一次上全量然后卡在某个报错上,排查成本比小步走高得多。每一轮都留一份配置记录,不然过两周你自己都说不清上次为什么效果好。

一个常见误判:把格式问题当成能力问题

现象是模型偶尔返回带前缀的 JSON,或者漏字段。第一反应往往是「模型不行,得微调」,实际拆开看,是训练样本里格式不统一:有的样本输出带解释文字,有的字段顺序不一样,有的干脆缺一项。模型学到的是「大概长这样」,不是「必须这样」。

具体动作:抽三十条训练样本,逐条比对输出结构,把多出来的说明文字和缺字段的样本剔掉重训,问题往往自己消失。同理,推理时温度设得和目标场景不匹配,也会表现成「模型不稳定」,先把参数固定住再判断,别一边调参数一边怪模型。

先证明问题出在提示词、数据还是参数上,再决定花哪份钱。
下一步把你手上的失败样本按三堆分开,数一数各占多少;再按格式校验脚本过一遍训练数据,这两件事做完,该不该微调基本就有答案了。反过来想核对成本和托管方案,去站内页面看当时的数字更靠谱。

常见问题

prompt 工程和微调到底该先做哪个?

先做提示词。提示词改起来快、可回滚、不产生训练成本,能解决大部分表述不清的问题。只有当失败样本集中在「知识不在模型里」或「输出格式极难用文字描述稳定」这两类时,才值得进入微调流程。

几百条数据能微调出效果吗?

能跑通链路,但效果要看任务难度和评价标准。任务是固定格式转换、分类这种边界清楚的,几百条高质量样本可能就够;涉及开放生成和领域知识,样本量需求会明显上去。建议先用少量数据验证流程和评测方法,再决定扩不扩。

微调之后原模型的能力会退化吗?

有可能,尤其是数据单一、训练轮次偏多的时候。常见表现是目标任务变好,但通用问答和长文本处理变差。做法是评测集里保留一部分通用能力题,和任务题一起看,掉得明显就减少训练强度或混入通用样本。

提示词里加很多规则,模型反而不听话,为什么?

规则之间可能互相冲突,或者规则太多稀释了重点。模型对开头和结尾的约束更敏感,把最硬的几条放在显眼位置,其余放进示例里体现,比平铺三十条禁令更有效。改完用同一批题回归一遍。

怎么判断效果提升是真的,不是运气好?

固定测试集、固定参数、固定评分口径,跑至少两轮不同时间的对比。单次提升个位数百分点很容易是样本波动。另外把机器评分和人工抽看结果对一遍,两边走向不一致时以人工为准。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。