开源模型是不是都已经训练好了:权重、基座与要不要再训练

模型与算力

给刚接触开源权重的人讲清权重、基座与再训练的关系:下载到的是什么、能直接用吗、什么情况下才需要自己动手训练。

很多人第一次下开源模型,会以为它跟买软件一样,装上就能用。结果发现效果一般、格式不听话、公司术语也不认识,就开始怀疑是不是自己没训练过。这篇把「权重」「基座」「再训练」三件事拆开讲:你拿到手的是什么、开箱状态能干什么、什么情况下值得再投入训练,以及怎么先花小钱验证再决定。

第一次下开源模型的人,常常会以为它跟装软件一样,跑起来就该好用,结果一试发现效果平平、回答格式不听话、公司内部术语也完全不懂,于是第一反应就是「是不是我没训练过」。这个判断方向其实偏了。你下载到的是一份训练完留下来的参数文件,它把通用语料学完了,但这跟「懂你的业务」是两码事。把权重、基座、再训练这三件事分开看,很多纠结自然就散了。

这篇不劝你训也不劝你别训,只给你一套判断顺序:先弄清手上是什么、开箱能干什么、什么情况下才值得自己动手,以及怎么先用很小的成本验一遍再决定。数字类的信息(各家权重体积、显存占用、调用价差)不用记,到站内页面看当时的值就行。

你下载到的到底是什么:权重不是一份软件

权重是训练结束后固化下来的那一堆参数文件,它自己不会跑。要让它出结果,你还得配一个推理框架,再搭一个调用入口(脚本、服务或者图形界面都行)。所以「能不能用」取决于三件事:文件对不对、框架装没装对、输入喂得对不对。任何一环出问题,看起来都像「模型不行」。

  • 权重只是参数,不是可执行程序,缺推理框架就什么也跑不出来
  • 「已经训练好」指的是通用语料学完了,不等于它认识你的行业词、你的字段名、你公司的缩写
  • 同一份权重换不同框架、换不同量化档位,输出风格和稳定性会有肉眼可见的差别
  • 先固定一套环境再去评判效果,否则你在比较的其实是环境差异,不是模型差异

基座和指令版:名字差不多,用途差很远

下载页上经常并排放着两个名字很接近的文件,用途却完全相反。基座本质是续写机器,你给一段话它顺着往下写,把它当聊天助手用会觉得它答非所问、还老自己编下文。指令版是在基座上又做过一轮对齐的版本,它会听人话、会按你要的格式回,日常任务应该先选这一类。

看什么基座版指令版
默认行为续写、补全,不自带问答意识按指令作答,会收住话头
适合场景自己要做二次训练、做对齐实验拿来做任务、做评测、做产品原型
直接聊天体验常常跑偏、自问自答基本能用,格式大多听话
选错了会怎样以为模型很笨,其实是拿错了版本一般不会踩这个坑

认版本别只看名字,看说明里的用途描述。拿不准就把两个都下下来,用同一批问题各跑一遍,差别会非常直接。站内模型库对这两个字段有对照说明,去 模型库(/models) 核对当时的条目更省事。

什么时候真的需要再训练:三条判断线

多数人问「要不要再训练」,其实答案藏在失败类型里。如果模型是「不知道某件事」,和「知道但说话方式不对」,处理方式完全不同。下面三条线,命中任意一条才值得认真考虑训练投入。

  1. 任务能不能靠提示词讲清楚能讲清楚的,先加结构和示例,不要训。讲不清楚、但你有大量成对样本(输入对应正确输出)的,才进入微调候选。
  2. 要的是知识还是风格要它「知道你的私有资料」,走检索增强,把资料喂进上下文就行,权重不用动。要它「固定输出风格、固定格式」,检索帮不上,才轮到训练。
  3. 算不算得过账只有当你需要稳定格式、需要压到小模型跑在自有卡上、或者调用量大到接口费用成为负担时,训练才可能回本。单次实验、低频使用,基本不划算。

反过来说,什么情况下别训:样本只有几十条、错例还在不断变、任务目标一周改三次。这时候训出来的东西很快过期,你还得重做一遍数据。先把任务定义稳定下来,是训练前最容易被跳过、也最贵的一步。

动手之前:按这个顺序做一轮小验证

别一上来就开训练脚本。先按下面顺序走一遍,通常前两步就能帮你砍掉大部分「其实不用训」的念头,剩下的才值得花钱花时间。

  • 拿现成指令版跑几十条真实任务,逐条记录失败类型:是格式对不上,还是压根不会
  • 给提示词加上输出结构、字段说明和两三个示例,看能救回多少条
  • 把救不动的例子归成一类,判断错误是「缺知识」还是「缺风格」,两者处理方式不同
  • 估算训练成本和后续推理成本,与直接调用接口的账并排摆在一起看
  • 真要做小样本微调,先只做一轮,用同一批用例前后对比,别凭感觉说变好了

对比时只改一个变量:同一批用例、同一套评判口径,只换模型或只换提示词。任何涉及价钱、速度、显存的横向对比,去 价格追踪(/price-watch) 和 速度测试(/tools/speed-test) 看当时的数字,别用记忆里的旧值下结论。

先用提示词榨干现成模型,再谈训练;否则你训练的不是模型,是自己的耐心。
下一步想知道同一份权重在不同环境下的真实差距、以及怎么固定变量做对比,去评测页看当时的记录,再决定要不要动训练。

常见问题

开源模型下载下来就能直接当聊天助手用吗?

不一定。基座版更像续写工具,你问它问题它可能接着往下编;指令版才会按对话方式回答。下载页一般会写明用途,认准「指令」「对话」这类描述再下。拿不准就去站内模型库看字段说明,先跑十来条真实问题试手感。

不训练是不是就用不出效果?

多数日常场景不用。格式问题靠提示词和结构化输出能解决,私有资料靠检索增强能解决,这两条路都不动权重。真正非训不可的,通常是你要固定风格、固定格式,或者必须把模型压小跑在自己卡上,这时候再算训练这笔账。

怎么判断该微调还是该做检索增强?

看你要改变的是「说话方式」还是「知道的事」。要它换口吻、换格式、换领域用语,属于改行为,微调更合适;要它答得出你公司文档里的内容,属于补知识,检索增强更省也更好更新。两者不冲突,需要时可以先检索再微调。站内那篇讲三条路分界的文章可以对着看。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。