很多人搜这个话题,其实是被预算表逼来的:手上有一批数据、有一点预算,也有人跟你说要租卡,可到底该拿去训练还是拿去做推理,说不上来。结果最常见的错不是算错数,是一开始就把两件事混成一件,卡买了、环境装了,才发现干的活根本不需要这一步。这篇不谈原理推导,只给判断顺序:先认任务属于哪一头,再看手上缺的是什么,最后才是选卡和选工具。
很多人搜这个话题,不是想搞懂原理,是被预算表逼来的。手上有一批数据,有一点预算,也有人在旁边说该租卡了,可到底该拿去训练还是拿去做推理,自己说不上来。这时候最容易出的错不是数算错了,是一开始就把两件事当成了一件:卡买了,环境装了,跑了两周才发现干的活根本不需要这一步。
这篇不谈推导。只给一个判断顺序:先认任务属于哪一头,再看手上缺的是什么,最后才轮到选卡和选工具。顺序反了,钱和时间的浪费基本是注定的。
先分清你手上这活儿归哪一头
训练和推理的区别,落到手上其实很直观。训练是把知识灌进权重,做完你手里多的是一个模型文件;推理是拿现成的权重出结果,做完你手里多的是每次请求的答案。判断方法就一句:这件事干完之后,你多出来的是一个能反复用的模型,还是一批结果?前者偏训练,后者偏推理。
实际用下来,多数团队真正要干的是推理。知识库问答、文档抽取、客服回复、代码补全,全属于把已有模型用起来,不用动权重。只有在提示词和检索都已经做足、同一个任务还是长期不达标的情况下,才轮到考虑微调这类训练动作。这里的不适用情况也说清楚:如果任务本身要求模型掌握一套全新的、语料里根本没有的领域表达,那检索补不上,微调才值得排上日程。
动手前照这份顺序自查一遍
顺序比结论重要。下面这几步照着走,每一步都有明确的产出,走不通就停在那一步,不要往下硬推。
- 把任务写成一两句话写清输入是什么、输出是什么、谁来验收。写不清楚就说明还没到买卡的时候,先回去和提需求的人对齐。
- 拿现成模型跑真实样本挑二十条真实数据跑一遍,把不满意的挑出来。是找不到资料、格式不对,还是能力不够?三种病因对应三条完全不同的路,别混着治。
- 按病因分流找不到资料先上检索,格式不对先改提示词和输出约束,能力不够才考虑微调。顺序别跳,跳了容易花冤枉钱。
- 确认数据够不够训练要有成规模的标注样本,推理只要有能查的语料就行。这一步往往直接决定项目能不能开,比选卡更卡人。
- 最后才算力和工具推理看显存和并发,训练看显存、带宽和能不能多卡。两头的要求不是一回事,采购时别拿同一条标准套。
卡和钱两头看的东西不一样
推理的瓶颈通常是显存装不装得下模型加缓存,以及并发上来后显存够不够切。单卡能跑起来就先单卡,别一上来就想着多卡。训练不一样,显存之外还要看卡间通信和训练时长,多卡不是简单相加,得看框架支持哪种并行方式,配错了卡再多也跑不动。
| 看什么 | 推理为主 | 训练为主 |
|---|---|---|
| 显存 | 装下模型和缓存,留并发余量 | 装下模型、梯度和优化器状态 |
| 多卡 | 单卡够用就先单卡 | 卡间通信和并行方式要先确认 |
| 时长 | 长期在线,看稳定和成本 | 按轮次算,看一次跑完要多久 |
| 维护 | 版本切换和回退 | 数据版本、超参、评测集要能复现 |
想先摸清规模,可以按模型参数量和量化档位估一遍显存。到 /models/deploy 按你的模型算一遍,再去 /compute/sizing 看几张卡够用。租还是买,取决于这事要用多久:跑一次实验和长期对外提供服务,账完全不一样,别用同一套算法硬套。
工具选错比卡买错更常见
推理这一侧,重点是能不能稳定接住请求。Ollama 这类上手快,适合自用和小流量;vLLM 这类偏服务化,适合并发和多用户。选哪个不是看谁先进,是看你有几个人同时在用、能不能接受排队。
训练这一侧,重点是流程能不能复现。数据版本、超参、评测集得能固定住,否则下一次跑出来的结果没法比,调参就成了碰运气。先在一个最小任务上把链路跑通,再谈放大;跑通之前买任何东西都是赌。不确定自己的延迟底线在哪,可以先到 /tools/speed-test 量一遍,有个基线再谈什么算够快。
- 先跑通最小链路,再谈扩容,顺序不能反
- 推理侧优先看并发和稳定性,不是看参数表
- 训练侧优先看能否复现,数据版本要能锁住
- 延迟和吞吐先量基线,再定什么算达标
- 中转和自建都算成本,去 /price-watch 对照当时的行情
这几种情况别硬上
数据还没整理、验收标准没定,这时候训练出来的东西没人能说好坏。任务本身用现成模型加检索就能达到八成效果,却非要投训练,钱会花在重复造轮子上。还有人以为训练完就不用维护了,上线之后的版本和漂移问题一样要人管。
另外,如果只是想在本地试一试,一个笔记本加推理工具就够了,不必按训练规模去算预算。判断自己属于哪种情况,最简单的办法是把预算数字先放一边,只回答一个问题:这件事做完,我需要的是一个模型,还是一批能交差的结果。答案出来,方向基本就定了。
下一步先按自查顺序把任务定性,再去站内核对当时的算力与行情数字,别凭印象拍板。→常见问题
我只想让模型回答公司内部资料的问题,这算训练还是推理?
绝大多数情况是推理加检索。把资料切好做成可检索的库,让现成模型去查、去引用,不需要改模型权重。只有当检索和提示词都做到位、效果还是不行,才考虑微调这类轻量训练动作。
训练和推理能共用一张卡吗?
能,但别同时干。训练时卡基本被吃满,推理请求会被挤到排队。比较稳的做法是训练任务和对外服务错开时间,或者干脆分开机器,否则两边体验都差。
预算有限,该先花在哪一步?
先花在验证上,不是花在算力上。用现成模型跑真实样本、把验收标准定下来,这一步几乎不花钱,但决定了后面所有投入方向对不对。方向错了,卡买得再对也是白花钱。