很多人第一次接触大模型,会卡在同一个问题上:别人说某个模型「已经预训练好了,拿来就能用」,可自己的业务场景一跑效果又不对,于是开始怀疑是不是得自己从头训练。这篇不堆概念,先把预训练模型到底解决了什么、没解决什么讲透,再给你一套判断顺序——什么时候直接用预训练权重就够,什么时候才该上微调。
刚开始接触大模型的人,很容易卡在同一个地方:别人说某个模型「已经预训练好了,拿来就能用」,你兴冲冲接进自己的业务,结果答非所问、格式乱七八糟,于是开始怀疑是不是得自己从头训一个。这个怀疑很常见,但大多数时候方向就跑偏了。
这篇不堆概念,先把预训练模型到底解决了什么、又没解决什么讲清楚,再给你一套判断顺序:什么时候直接用现成权重就够,什么时候才真该动微调。看完你至少能少走「一上来就想训模型」这条弯路。
预训练模型到底「预」了什么
预训练阶段干的事说穿了很朴素:在海量通用文本上反复做「预测下一个词」这类自监督任务,把语言的统计规律一点点压进参数里。最后得到的是一个通用底座,不是某个具体任务的答案机,它没见过你的业务,也没被专门教过怎么回答你的问题。
- 换来的第一种能力是语言通顺度:它知道话该怎么说、句子怎么接才自然。
- 第二种是世界常识:大量通用知识在反复读写中被顺带记了下来。
- 第三种是「给指令就能照做」的泛化倾向:这不是专门教的,而是规模够大之后自然长出来的。
- 这三样都是任务无关的,所以才能被反复复用——同一个底座,换套提示词就能干不同的活。
它没换来的东西同样要记牢:你公司内部的术语、格式规范、审批口径、私有数据里的事实。这些在它的预训练语料里根本不存在。所以一句话判断——预训练模型是「会说话、懂常识」的起点,不是「懂你业务」的终点。
预训练和微调是什么关系
把训练拆成三段来看最清楚:预训练打底子,微调做定向调整,推理阶段才是真正干活。后一段都建立在前一段的权重之上,你调微调时改的,正是预训练留下的那套参数。
- 预训练
- 在通用语料上从零学语言规律,得到通用底座,成本按集群算。
- 微调
- 在底座之上用你的数据做定向调整,主要改「行为方式」。
- 推理
- 真正跑业务的那一步,前面两段都是为它做准备。
- 参数高效微调
- 只改一小部分参数或外挂模块,成本比全量微调低不少。
微调擅长的是输出格式、语气、领域判断标准这类「行为方式」。它不太擅长往模型里灌进大量新事实——那类需求通常走检索增强更划算。成本量级差别也很悬殊:预训练是烧卡烧到按集群算,微调往往单机几卡甚至一张卡就能起步,所以个人和小团队几乎只会碰微调这一段。
还有一种常见的中间态:不改权重、只改提示词,或者做轻量的参数高效微调。这三条路的效果分界和成本账,站内已有专门文章对比过,这里不重复,你可以直接去 指南中心(/guides) 找对应的那篇看。
什么时候直接用,什么时候才动微调
最省事的办法是按顺序排查,别一上来就想微调。下面这个顺序从上到下成本递增,能停在哪一步就停在哪一步。
- 第一步:把任务说清楚先确认你能不能把需求写成一句可判定的描述。写不出来,说明问题不在模型,先回去理需求。
- 第二步:把示例塞进提示词同一批输入,分别跑「纯提示词」和「提示词+几条示例」。如果两者都能稳定达标,微调就是多余的开销。
- 第三步:挂上可检索的资料如果卡点是「模型不知道某条事实」,先试检索增强,把相关资料喂进上下文,通常比调权重见效快。
- 第四步:才轮到调权重前三步都试过还是不行,再考虑微调,并且先估清楚显存和数据量够不够。
出现下面这些信号,才值得认真考虑微调:输出格式怎么提示都压不住;领域判断标准需要长期保持一致;想压缩提示词长度来换成本;或者要适配一个体量很小的专用模型。反过来,如果你的问题主要是「模型不知道某条最新事实」,微调通常不是最优解,先看检索方案和上下文能力。
| 你遇到的现象 | 先试什么 | 什么时候才不适用 |
|---|---|---|
| 回答太啰嗦、格式乱 | 提示词里写清格式要求并给示例 | 任务本身标准模糊时不适用 |
| 不懂公司术语 | 把术语解释和对照表塞进上下文 | 术语量大且变动频繁时顶不住 |
| 答不上最新事实 | 挂检索,把资料喂进上下文 | 需要模型自己长期记住时才考虑微调 |
| 小模型想跑专用活 | 先用提示词压一压看底线 | 效果差得离谱就别硬撑 |
动手前的一张检查清单
真要走到微调这一步,别急着开跑,先把下面几件事确认一遍。任何一条没落实,后面大概率要返工。
- 任务侧:把成功标准写成可判定的句子,比如格式对不对、结论对不对,写不出来就先别开始。
- 数据侧:确认手上有多少条真实输入输出样本、能不能覆盖边界情况;样本不够先扩数据,别急着调参。
- 基座侧:到站内模型库挑一个许可证允许你用途的基座,注意权重开放不等于随便商用。
- 算力侧:先按模型规模和量化方式估一遍显存与并发,别等跑起来才发现卡不够。
- 验证侧:留一份没参与训练的样本做回归,确认微调没把通用能力带崩。
数量和价格这类会变的东西,别信口口相传的旧数字。基座能不能商用、显存要多少、当前价格是什么水平,都建议到 站内模型资料库(/models) 和 价格追踪(/price-watch) 核对当时的数字,再决定要不要动手。
预训练给你一个会说话的底座,微调只是教它按你的规矩说话——它改的是习惯,不是记忆。下一步想挑基座、比价格,或者看看别人踩过的坑,直接去站内对应页面按当时的数字做决定,比听转述靠谱。→
常见问题
预训练模型和基座模型是同一个东西吗?
基本可以当同义词用,但语境略有差别。预训练模型强调的是「经过了预训练这个阶段」,基座模型强调的是「它站在下游任务的底座位置」。同一份权重,既可以说它是预训练模型,也可以说它是某个微调模型的基座。看文章时注意上下文,别被两个词绕晕。
我不做微调,只用现成的预训练模型,够用吗?
大多数通用任务够用,尤其配上清晰的提示词和少量示例之后。不够用的典型信号是:输出格式反复失控、领域判断标准前后不一致、需要极稳定的固定输出。出现这些再去考虑微调,不用提前焦虑。具体效果差别建议用你自己的几十条真实样本实测一遍再下结论。
想自己从头预训练一个模型现实吗?
对个人和中小团队基本不现实,预训练的开销是按集群和长时间来算的,不是单卡能覆盖的量级。更实际的路径是:选一个开放权重的基座,在这上面做微调或轻量适配。训练各阶段的算力量级和流程,可以到站内的模型训练与算力页面按当时的口径核对。