不少团队开完一场会就决定「我们自己训一个模型」,结果卡在三个地方:算力预算算不准、数据凑不齐又要合规、招人时不知道到底缺哪个岗。这篇不列具体数字,只给一套盘点动作:先分清你要做的是预训练还是微调,再按算力、数据、技能逐项打勾,最后按自查结果反推该选哪条路。
不少团队开完一场会就拍板「我们自己训一个模型」,真动手才发现卡在三件事上:算力预算算不准、数据凑不齐还得过合规、招人时说不清到底缺哪个岗。这篇不给具体数字,只给一套盘点动作:先分清你要做的是预训练还是微调,再按算力、数据、技能逐项打勾,最后拿自查结果反推该走哪条路。
核心思路是把「训模型」拆成可以逐项确认的工程问题,而不是先买卡再想用途。每一项都给判断标准和不适用的情况,你们团队照着走一遍,基本能知道自己是该小步试,还是压根不该碰预训练这档。
第一步先定路线,别把预训练和微调混着算
先分清三种量级的活:从零预训练、在开源权重上继续训练、只做微调或蒸馏。三者在算力、数据和人的要求上差一个数量级以上,混着算预算必然失真。判断依据很朴素:你有没有别人没有的数据,以及业务是否真的要求模型懂这一层。数据只是行业文档、任务只是分类抽取,通常微调加检索增强就够了,上预训练是浪费。
- 从零预训练:要海量通用语料和完整训练团队,适合有独家数据或做基础研究的团队
- 继续训练:在开源权重上加领域语料,介于两者之间,考的是数据质量和训练稳定性
- 微调或蒸馏:数据量小、见效快,多数业务团队的第一站应该是这里
- 不适用的情形:要改模型底层能力或做非文本模态的基础研究,这时绕不开预训练,预算和人都要按另一档准备
按模型规模粗估资源时,到 /compute/training-cost 和 /compute/sizing 看当时的测算口径,再决定是租还是买。估算只当量级参考,别当成承诺值;口径会随卡型和市场变化,用之前对一遍。
算力清单:先算得出来,再谈买还是租
| 账目 | 要算什么 | 常见漏项 |
|---|---|---|
| 训练本身 | 单次跑通的卡时和显存占用 | 按最理想配置估,没留余量 |
| 试错开销 | 反复调参、重跑的累计卡时 | 通常远大于第一次跑通,最容易被忽略 |
| 推理与存储 | 训完上线后的持续开销 | 只算训练不算运营 |
| 配套 | 电费、机位、散热、网络 | 自建时漏出预算 |
卡型、显存和互联方式决定能不能分布式跑。只买单机不规划节点间通信,规模一大就卡在同步上,加卡也救不回来。短周期、变量多的实验阶段适合租;长期稳定且数据不能出内网再考虑买。到 /compute/gpus 和 /compute/tco 对着当时的规格和三年账比一遍,电费散热那部分到 /compute/power 核对口径。
数据清单:够不够、干不干净、能不能用
数量按路线来定:预训练看语料量级和去重率,微调看标注质量和覆盖度。具体门槛到 /compute/finetune 和站内训练数据相关页面核对当时的说法。质量先于数量,去重、清洗、格式统一和标注一致性不做,加数据只会放大噪声。
- 清点来源把每批语料的出处、授权方式、能否商用列成表,来源不清楚的宁可不进训练集
- 过合规个人信息处理、语料授权逐项确认,到 /safety 找合规口径,拿不准的先问再动
- 清洗去重统一格式、去掉重复和低质内容,记录清洗前后数量比
- 划分数据集留出验证集和测试集,评估数据绝不能混进训练,划分方式参考站内训练集划分相关文章
技能清单:四个角色,缺哪个补哪个
- 训练与分布式工程
- 管训练框架、并行策略和稳定性,决定大规模能不能跑起来
- 数据工程
- 管清洗、标注、版本和合规,直接决定模型上限
- 评测与实验设计
- 管对照实验、看损失曲线和泛化差距,说不清好坏就没法上线
- 工程化部署
- 管推理服务、监控和迭代,训完能否落地看这一环
一个人可以兼两个角色,但不能没人负责。最容易缺的是评测和实验设计:不会设计对照实验、不会看训练和测试之间的差距,训出来的东西说不清好坏。只做微调的团队,重点补数据清洗和评测两个岗,训练框架的坑靠社区和现成工具补,不必配齐预训练全套。招人前先到 /stacks/fine-tuning 看服务商目录,比一比外包部分工序和自建团队的成本差。
动手前的一张自查表:先过一遍再开预算
五问:路线定了吗、算力峰值和试错预算估了吗、数据量和授权确认了吗、评测方案写了吗、负责人和回滚计划有吗。五问有一项答不上来就先别开机,尤其是评测方案。没有衡量标准,训完也没法判断该上线还是该停。
- 路线:预训练、继续训练、微调三选一,写清楚理由
- 算力:峰值和试错预算都算过,不是只估一次跑通
- 数据:量、质量、授权三样都确认
- 评测:验证集和判断指标提前定好
- 人和回滚:有负责人,有停下来或换路线的条件
小步验证:先用小规模数据和一个开源权重跑通完整链路,再决定是否加卡加数据。这条不适用于纯基础研究,链路本身可能就是成果。跑通后再回头看 /rankings 和 /price-watch 里当时的对比,决定下一步往哪走。
下一步把上面五问对着团队过一遍,再去站内算力和数据页面核对当时的测算口径,比拍脑袋定预算靠谱得多。→常见问题
只想让模型懂公司内部文档,需要做训练吗?
多数情况不需要。文档问答用检索增强就能覆盖,更新也快。只有当任务要求模型改变输出风格、格式或判断方式,且检索解决不了时,才考虑微调。判断标准是:换个提示词和补几份资料能不能解决,能就先别动训练。
没有算法团队,能不能把训练外包出去?
可以,但数据治理和评测验收仍要自己把关。外包常见风险是数据交出去不合规、验收只看对方给的指标。实操上把评测集留在内部、按阶段验收,外包范围只给训练工序。到 /stacks/fine-tuning 看服务商目录时,重点核对交付物和验收方式。
算力不够是不是就不能做?
看路线。从零预训练确实要有一定规模,但微调、蒸馏和小模型训练对硬件要求低得多,很多团队从这条入手就能跑通。先把任务缩到能验证的最小范围,跑通后再按结果决定要不要加算力,而不是先买卡再想做什么。