搜「自己训练ai模型」的人,多半已经装好环境、下好权重,然后发现事情没那么顺:数据凑不齐、loss 不降、评测看不出好坏、部署完换个机器就跑不起来。这篇不劝你训大模型,只把这条链路上真正会卡人的几处摊开讲,每一处给判断标准和具体动作,你对着自己的项目对号入座。
搜「自己训练ai模型」的人,多半已经装好环境、下好权重,然后发现事情没那么顺:数据凑不齐、loss 不降、评测看不出好坏、部署完换个机器就跑不起来。这篇不劝你训大模型,只把这条链路上真正会卡人的几处摊开讲,每一处给判断标准和具体动作,你对着自己的项目对号入座。
先提一句预期:卡住你的大概率不是显卡。显卡不够,租就是了;真正拖时间的是需求没定型、数据切分切错、评测没有基线、部署包没版本。这些活儿不花卡时,但返工一次就是好几天。下面按数据、训练、评测、部署四段说。
先想清楚你要练的是哪一层,别一上来就喊预训练
「训练」这个词被用得太宽。预训练是从零学语言,继续预训练是在已有权重上灌领域语料,指令微调是教它按问答格式说话,偏好对齐是调它的取舍倾向。绝大多数团队只需要后两层。判断依据很简单:你缺的是通用语言能力,还是缺某个领域的表达习惯和输出格式?如果是后者,微调就够,别碰预训练。
动手之前先答一个问题:同样的任务,用现成模型加提示词能不能做到七成?能,就先别训。提示词调不动了,再去 /stacks/fine-tuning 看看托管微调当时的价格和限制,把「自己训」和「托管训」的账单摆一起再决定。很多项目在这一步就省下了整条链路。
- 缺领域词汇和输出格式:走指令微调,几百到几千条高质量样本就能看出效果
- 缺行业语料里的固定说法:先试继续预训练,再补微调,两步别合并
- 只是想让回答更符合业务偏好:考虑偏好对齐,但要有稳定的打分口径,否则越调越飘
- 目标写不成一句可验收的话,比如「合同条款抽取的字段完整率比现成模型高」,说明需求还没定型,先别开训
数据这关:先看够不够杂,再看够不够干净
指令微调的数据量不在多而在覆盖。我的建议是先拿一小批跑通链路,再看模型在哪些场景上答得烂,按缺失的场景补。一上来攒几万条,最后发现八成是同一类问答换了个说法,白花清洗时间。
清洗按固定顺序走,别跳步:先去重,再去掉模板化过头的样本,然后统一格式,最后人工抽检一轮。去重不做,评测分数会虚高——同一份内容在训练集和测试集各出现一次,模型等于提前看过答案。这是新手最常踩的误判,且很难在分数上看出来。
- 去重按文本指纹去重,近似的用相似度阈值再筛一遍;去完统计剩余条数,掉太多说明语料来源太单一
- 去模板把开头结尾高度雷同的样本挑出来看,人工判断是正常风格还是批量生成的空壳
- 统一格式角色标记、字段名、换行符全部对齐到同一套,格式不统一会让模型学到噪声
- 抽检随机抽一批人工看,重点看答案有没有事实错误、有没有答非所问
切分这步单独说。训练集、验证集、测试集要按场景切,不是随机切。同一份文档拆出来的问答对,不能一半在训练集一半在测试集,否则测的是记忆不是泛化。具体切分口径可以到 /benchmarks 对照别人的做法,别自己拍脑袋定。
算力怎么算:按显存倒推,而不是先买卡
先估显存再估卡数。参数量、精度、优化器状态、批次大小这四项定了,显存大致就有数。把这几项填进 /models/deploy 的测算页对着算一遍,比看别人的经验帖靠谱。算完你会发现,很多时候不是卡不够,是精度选错或者批次开太大。
单卡能跑通和能跑完是两件事。训练要留出断点续跑的时间,卡时预算按最长一轮乘一个安全系数来算。跑一半断了没有 checkpoint,前面全白费。不确定要不要买卡就先租,租用和买卡的长期账在 /compute/tco 有对照,短期项目别急着采购。
| 容易高估的项 | 实际情况 | 怎么核实 |
|---|---|---|
| 「一张卡就能训」 | 能加载不等于能训练,优化器状态也吃显存 | 按测算页填一遍,看峰值占用 |
| 「跑一轮很快」 | 数据加载和评测往往比训练本身慢 | 先跑小样本计时,再乘轮数 |
| 「租比买贵」 | 短期项目租更灵活,买卡有闲置成本 | 到 /compute/tco 看当时的对照账 |
开训之后先盯三件事:loss 曲线、显存占用、样本吞吐
开训别急着调超参,先盯三个数:loss 曲线、显存占用、每秒处理的样本数。这三样稳定了,再谈优化。吞吐突然掉一半,多半是数据加载成了瓶颈,不是模型的问题。
loss 不降,按顺序查,别乱改:学习率是不是大了,数据里有没有大量空标签,label 对齐有没有错位。这三样排掉再看别的。我见过一次查了两天才发现是标签文件的行数和数据行数差了一行,整个对齐全错,loss 当然不降。
- 显存慢慢涨到爆:先查有没有清缓存,再把序列长度和 padding 策略固定下来
- 验证集指标连续几轮不涨、生成结果开始复读训练集原句:这是过拟合,不是训练不够
- 训练 loss 很低但生成一塌糊涂:先怀疑数据格式和推理时的模板不一致
- 换了机器结果复现不了:随机种子、依赖版本、数据版本三样都要记下来
评测没有基线就等于没评测
评测的第一步不是设计指标,是跑基线:不改任何东西,用同一个测试集、同一套评分方式跑一遍,把分数记下来。后面所有调整都跟这条基线比。没有基线,你说「效果变好了」没有任何说服力,换个人接手也判断不了。
自动指标只能筛掉明显坏的,最终判断还得靠人看样本。抽检样本要刻意覆盖三类:简单题、边界题、故意刁难的题。只看简单题,分数好看但上线就露馅。评测脚本和测试集要一起存档,隔一个月回来或者换人接手,得能复现同一份分数。
从训练产物到能用的服务,中间还有几步容易漏
训练完的权重、分词器、配置文件要打成一个版本包,同时记下对应的数据版本和超参。听起来啰嗦,但线上出问题时,你能不能五分钟内说清「这个模型是拿哪份数据、用什么参数训的」,决定了排查要花一小时还是两天。
合并权重、量化、转格式这几步,每一步都要单独验证输出,别一口气跑完再看结果——中间哪步错了都不知道。量化档位怎么选,先到 /ai-dict/category/tech 看概念对照再决定,别照抄别人的配置。部署后先量一组延迟和并发基线,用 /tools/speed-test 记录下来,以后变慢才有参照。
- 打包权重、分词器、配置、推理模板打成一个版本包,附数据版本和超参清单
- 逐步转换合并、量化、转格式分步做,每步用几条固定输入验证输出是否一致
- 量基线部署后立刻测延迟和并发,记录当时的数字,写进项目文档
上线不是终点:留一条能回退的路
新版本先小流量灰度,旧版本的权重和启动参数原样保留。指标不对能一分钟切回去,这个能力比模型多强更重要。把数据分布漂移的检测点定下来,比如线上输入长度分布、拒答率、某类问题的占比,数值明显变了就触发复查,别等用户投诉才发现。
最后一条容易被忽略:文档里写清「这套模型在什么情况下不适用」。写它多强,读者记不住;写清它什么时候会出错,接手的人才知道边界在哪。常见的不适用场景包括输入超长、领域外问题、需要实时事实的场景,这些提前写明白,比事后解释省事得多。
下一步先别急着开训,去站内把托管微调的价格和自己训的算力账摆一起比一遍,再决定这条路要不要走。→常见问题
没有几张显卡,能自己训模型吗?
能,但要把目标降到微调层面。用参数小一些的基座加低秩微调,单卡就能跑通;真要做预训练,卡数、卡时和电费都不是小数目,先到 /compute/training 把账算一遍再决定。
数据只有几百条,够不够?
看任务复杂度。格式固定、场景单一的抽取类任务,几百条高质量样本能出效果;开放式生成或者多轮对话就不够。先拿小批量跑通再判断缺什么,别为了凑数灌低质数据。
训练出来的效果不如直接调现成模型,问题出在哪?
常见原因是数据分布太窄或者评测口径不一致。先确认测试集和现成模型用的是同一套题,再看训练样本有没有把答案直接抄进去。顺序反了会白改很多轮。
部署到自己服务器上,最常漏的是什么?
环境版本和显存规划。训练环境能跑不代表推理环境能跑,依赖版本要锁死;显存要按并发量留余量,不能按单条请求的最小值配。
怎么判断该继续训还是该换方案?
给自己设一个止损点:跑满预定轮次后指标仍不接近基线,就停下来复盘数据而不是继续加卡。多数时候问题在数据覆盖,不在算力。