很多团队一说要训模型,第一反应是问要几张卡,结果卡租回来了,数据还没清洗,也没人能写训练脚本。这篇不聊参数和跑分,只讲一件事:从你的目标倒推,算力、数据、人这三块各自要准备到什么程度才算够,哪些可以买、哪些必须自己养,以及钱花下去之前该先做哪一步。
很多团队一说要训模型,第一反应是问要几张卡。结果卡租回来了,数据还没清洗,也没人能写训练脚本,预算烧完只换来一堆跑不通的实验。这篇不聊参数和跑分,只讲一件事:从你的目标倒推,算力、数据、人这三块各自要准备到什么程度才算够。
先把预期摆正:训练是条长链路,任何一环掉链子都会让前面的投入白费。下面按「定目标—盘家底—分内外—列清单」四步讲,每一步都给出可执行的判断标准和动作,你照着对一遍就能知道差在哪。
先定目标,再算家底
三个目标档位对应的人、卡、数据量差一个数量级:从零预训练、在开源基座上继续训练、只做微调对齐。大多数业务团队其实落在后两档,却按第一档的预期去租卡,这是最常见的浪费。先老实归到哪一档,再谈采购。
| 目标档位 | 典型场景 | 资源特点 |
|---|---|---|
| 从零预训练 | 有独特语料、要做通用能力 | 卡多、数据海量、人才要求最高 |
| 继续训练 | 有垂直领域语料,要补专业能力 | 中等算力,数据质量比数量重要 |
| 微调对齐 | 业务问答、格式控制、风格统一 | 算力需求小,重点在标注和评测 |
接着用一句话写清业务验收标准:谁能用、错多少算合格、上线是 API 还是私有部署。写不出来,说明还没到训练阶段,先去做检索增强或提示工程更划算。这条标准同时决定了评测方案,后面所有资源估算都要围绕它。
三块家底:算力、数据、人分别要什么
算力别只看卡的数量,要看三件事:能不能连成集群做多卡并行、卡间互联带宽够不够、租卡还是买卡。规模估算和卡数配比自己拍脑袋最容易翻车,到 /compute/sizing 按你的模型算一遍,拿结果去和供应商谈。
数据要走来源、清洗、标注、合规四步。训练语料的授权和版权边界是最容易拖垮项目的一环,动手前先把来源可追溯性做出来,至少知道每条数据从哪来、能不能商用。清洗和去重的工作量往往被低估,留足时间。
- 算法工程师:懂训练流程、能看 loss 曲线排障,出问题时知道先查数据还是先查并行配置
- 数据工程:能写清洗、去重、格式转换的管线,保证每次训练用的数据可复现
- 评测与标注负责人:定义标注口径、维护业务评测集,这个人不能省,哪怕一人兼两职
- 可选角色:懂部署和推理优化的人,模型训出来之后总要上线
哪些能买、哪些必须自己扛
判断标准很简单:涉及你对业务的判断就自己扛,涉及通用工程能力就买。不确定的时候,先租小规模跑通一遍,再决定要不要签长约或自建集群。很多团队把能买的也自己造,把不能买的也外包,钱花反了。
| 资源项 | 建议 | 理由 |
|---|---|---|
| 算力 | 买或租 | 通用资源,按需付费比自建省心 |
| 训练框架 | 用开源或云上方案 | 通用工程能力,没必要重造 |
| 通用标注 | 可外包 | 口径标准化的活,外包可控 |
| 业务评测集 | 自己扛 | 只有业务方能定义什么叫对 |
| 标注口径 | 自己定 | 外包团队不懂你的场景边界 |
| 失败样例库 | 自己维护 | 线上真实错误是最值钱的资产 |
退路也要提前想:训练不达标时回退到调用现成 API 或微调小模型,切换成本是多少。把这条写进方案,评审时就不容易被「必须一次成功」的心态绑架。
动手前的准备清单
- 写一页纸目标书任务定义、验收指标、上线形态三样写清楚,团队所有人对同一页纸,评审时拿它当唯一依据。
- 小规模跑通全流程用十分之一的资源跑完数据、训练、评测,每步都留下可复现的脚本和日志,验证链路没有断点。
- 列成本表算力、标注、人力、迭代轮次分别列出来,到 /compute/training 对一遍口径,别只算第一次训练的钱。
- 定好退路写明不达标时回退到什么方案、切换成本多少,提前和业务方对齐预期。
清单跑完还差最后一步:把评测方案也当成资源来准备。没有稳定评测集,训出来的模型没人说得清好坏,后面每一轮迭代都会变成扯皮。评测集要跟着业务走,定期补充新场景。
下一步如果你正在比较各家官方 API 和中转站的价格与稳定性,到站内价格追踪页核对当时的数字,再决定哪些能力买、哪些自己训。→常见问题
只有一两张消费级显卡,还能不能训模型?
从零训练基本别想,但可以走微调或继续训练小模型的路子,单卡或双卡就能跑通流程。关键不是卡多大,而是先把数据管线和评测链路跑通,验证想法成立再考虑扩卡。这条路的收益边界在于任务是否足够窄。
数据一定要海量吗?
看你走哪条路。预训练确实要吃很大规模的语料,而指令微调和领域对齐对数据量的要求低得多,质量和覆盖面比数量更关键。上线前先用小批量数据做一轮,看评测结果是否随数据增加而明显变化,再决定扩不扩。
团队里没有算法工程师怎么办?
先把范围缩到微调或调用现成模型,这两件事一个有后端经验的工程师加文档就能上手。如果目标是预训练或大规模继续训练,建议直接和外部团队合作,或者至少请一个能看懂训练日志和梯度异常的人做把关。