搜「小模型和大模型在数据需求上多少钱」的人,多半手里有一份数据清单,想先摸个底:到底要准备多少条、花多少钱。可真去问价,拿到的都是按条、按 token、按人天的报价,凑不出一个总数。这篇不报数字,只给拆账方法和判断标准,让你自己按站内页面和自家数据量算出区间,也知道哪几笔钱其实可以省。
搜这个问题的人,手上大概已经有一张数据清单了:多少条文本、几个类别、谁能标、标完放哪。想先摸个底,看看兜里这点预算够不够。结果一问价,拿回来的全是按条报、按 token 报、按人天报,三种口径凑不到一起,越问越糊涂。
这篇不给你一个总数,给了也不准。给的是拆账的法子:哪几笔钱构成总账、小模型和大模型的钱分别烧在哪、什么情况下该往哪边压,以及估完之后怎么验证自己没算漏。数字口径自己去站内页面对,我这里只讲怎么算。
为什么搜到的报价跟最后花的钱对不上
最常见的误判是把单价当总价。问了一家标注外包,按条报价,觉得还行;真跑起来发现返工两轮,第二轮的钱没人提前跟你算。还有人把清洗当成顺手的事,结果脱敏和格式对齐吃掉的人力比标注还多。这事儿麻烦在,每一环的供应商都只对你报自己那一段,拼图得你自己拼。
- 报价通常只覆盖一环:采集、清洗、标注、质检、试跑,各家只报自己那一段,拼起来才接近总账
- 大模型的钱烧在多样性和清洗吞吐上,小模型的钱烧在标注精度和反复重标上,两边的账本结构根本不一样
- 同一批数据给不同团队用,成本能差出好几倍,差别在返工次数而不在单价高低
- 按 token 计费和按条计费是两套口径,混着加会得出一个自己都解释不清的数
还有一个隐性成本容易被忽略:沟通。标注标准写在文档里是一回事,标的人理解成另一回事,中间那几轮对齐会议不产生任何数据,但确实在花钱。如果团队里没人专职盯这件事,这笔开销会以「进度慢」的形式出现,而不是以账单的形式出现。
把数据花费拆成三笔:买、洗、验
不管你要做的是小模型还是大模型,数据上的钱都能归到三个筐里。分开记的好处是,后面发现超支时你知道该砍哪个筐,而不是笼统地觉得「数据太贵了」。
| 这笔钱花在哪 | 具体包含什么 | 容易被漏掉的部分 |
|---|---|---|
| 买 | 自有数据整理、公开语料筛选、采购、外包标注 | 按条单价之外的最低起订量和废弃比例 |
| 洗 | 去重、脱敏、格式转换、抽样检查 | 格式对齐和字段映射的人力,往往比预想的多 |
| 验 | 留出验证集与测试集、固定题集反复跑、判断效果有没有真的动 | 验证集本身的标注质量,省这里等于没有判断依据 |
算的时候三笔分开记,别混成一个总数。混在一起你就没法回答「这批数据到底值不值」这个问题。判断标准很简单:如果一笔钱花完,你说不清它对应的是买、洗还是验,那这笔钱大概率花得没章法。
小模型和大模型,钱该花在哪一头
这两者的数据账本结构不一样,不是简单的「大模型数据多所以更贵」。小模型要的数据量少,但质量门槛高,同一批样本得覆盖足够多的边界情况,标注标准要是没提前定死,重标两轮预算就没了。大模型反过来,单条质量可以松一点,但语料规模和覆盖面要求上去了,清洗和去重的工程量跟着涨,机器和人工两头烧。
判断标准可以这么用:任务边界清楚、类别数有限、答案形态固定,就往小模型那头压,把钱花在标注规范和质检上。任务开放、要靠泛化兜底、输入形态杂,就得接受大模型那套数据开销,重点放在清洗吞吐和覆盖面。这套判断不适用的情况也有——如果手上已经有现成的高质量领域语料,两边的账都要重算,别照搬通用经验。
还有个折中路子值得先试:用少量高质量数据跑一版小模型基线,看看效果离目标差多远。差得不远,加大模型数据投入就是浪费;差得远,再考虑往大模型那头加码。这一步花不了多少,但能帮你避开一整笔方向性错误。
动手估一遍:四步拿到自己的区间
- 把目标拆成能数的条目要覆盖多少类、每类至少多少条、允许多少噪声。类目表列出来,每个类目后面写一个目标条数,加总就是可用条数的下界。
- 倒推原始需求用「可用条数 ÷ 通过率」算原始需求。通过率从自己抽检的一小批样本里来,别抄别人的经验值,任务不同差得远。
- 折算人天标注和清洗按人天折算,再把验证与返工的轮次乘进去。返工轮次别按理想情况算,按「至少会返一次」估。
- 对齐单价口径拿到区间后,到站内的价格页面核对单价是按量还是按时段,别把两种口径混算。数字以页面当时显示的为准。
四步走完,你手上应该是一个区间,不是一个点。给别人看的时候也报区间,报点值等于给自己挖坑。区间上下沿的差距,本身就说明了风险在哪一头。
哪几笔能省,哪几笔省了会返工
能省的第一笔:先用公开数据或已有日志跑一版基线,确认任务可行再投钱买数据。很多人顺序反了,先买后试,试出来不可行,钱已经花了。第二笔能省的是全量标注,小规模人工抽检替代全量,把预算压在高价值样本上,效果不一定差。
不该省的有两处。验证集的质量别省,省这里等于没有判断依据,后面全靠感觉拍板,返工迟早来。脱敏与合规流程也别省,这部分出问题的代价远高于数据本身的花费,而且往往不是钱能解决的。
最后提醒一句:报出来的单价只是入口,总账要自己拼。拼的时候三笔分开、区间报出、返工算够,基本就不会被报价单带偏。至于具体数字,去站内价格追踪页面对一眼当时的行情,比自己猜靠谱。
下一步把自家数据量和站内价格页的口径对一遍,算出你的区间,再决定往小模型还是大模型那头加预算。→常见问题
小模型的数据需求量是不是一定比大模型少?
大体是,但不绝对。参数量小意味着能吸收的数据有限,可如果任务边界复杂、类别多,小模型反而需要更密的覆盖,条数不一定少,只是单条信息密度要求更高。所以别拿参数量直接换算数据量,按任务类型和类别数来估更靠谱。
数据这块到底该按什么单位去问价?
先统一成「可用条数」再谈单价。按条、按 token、按人天三种口径混着比,很容易得出错误结论。谈之前把通过率、返工轮次、质检比例写进需求,让对方按同一口径报,自己再折算成人天横向比。
预算有限,先砍数据还是先砍算力?
看卡在哪。效果上不去且错得集中在同一类样本,先补数据;模型明显跑不动、推理慢得没法用,先处理算力。两边都没摸清之前,建议先用一小批数据跑通链路,拿到基线再决定往哪边加钱。