搜这个收费标准的,多半是准备给自家知识库做一套评测集,打开 llamaindex 的文档发现生成器只是个代码类,找不到价目表。它本身不收费,收的是背后那次生成请求和后续跑评测的模型调用。这篇把两笔钱分开算,给一套开工前能照着核对的顺序。
搜这个收费标准的,多半是准备给自家知识库做一套评测集,打开 llamaindex 的文档发现生成器只是个代码类,翻半天找不到价目表。原因很简单:它本身不收费。收的是背后那次生成请求和后续跑评测的模型调用。搞不清这两笔钱分开算的人,往往在生成阶段就把预算烧掉一大半。
这篇不给你一个总价,因为总价取决于你的文档量和问题数,谁也报不准。给你一套开工前能照着核对的顺序:钱在哪、怎么估、哪里能压、什么情况下压根先别动手。照着走一遍,账单出来之前你心里就有数了。
生成器不要钱,要钱的是它调的那几次模型
llamaindex 里的数据集生成器是开源代码里的一个模块,装了就能跑,没有订阅费也没有授权费。真正产生账单的是它调的大模型:读你的文档出问题、给每条问题配标准答案、再造几条似是而非的干扰项,每一步都是一次独立的模型请求。你在配置文件里填哪个模型,就按哪个模型的价走。
第二笔钱藏在跑评测里。同一批问题拿你的 RAG 链路跑一遍,检索一次算一次,生成答案再算一次,问题越多、召回塞进去的文档越长,这一笔越显眼。很多人估成本时只算了生成数据集那一次,忽略了后面每改一版切片就要重跑一轮评测。
| 花钱环节 | 什么时候发生 | 怎么控制 |
|---|---|---|
| 生成问题 | 跑生成器时 | 控制文档块数与问题条数 |
| 生成标准答案 | 每条问题配答案时 | 小模型够用就别上强模型 |
| 生成干扰项 | 需要负样本时 | 不跑负样本评测可以关掉 |
| 跑评测 | 每轮评测检索加生成 | 数据集落盘复用,别每次重生成 |
开工前先估这三格,别等账单出来才反应
估成本不用精确到分,把三个数摸清楚就行。第一个是源文档的 token 总量,生成器一般按块喂进去,块数和单块长度共同决定输入规模,文档里塞了大量表格和重复模板的话,实际消耗会比字数看起来大。第二个是问题数量:几十条够做冒烟测试,上百条才有统计意义,但注意每条问题的生成往往不止一次调用。第三个是评测轮数,改一次切片参数重跑一轮,总调用量是按轮数翻的,不是按问题数翻。
- 数清文档规模把源文档导出,统计总字数和块数。分块策略还没定的话先定下来,否则后面每改一次都要重算。
- 定问题条数先按最小可用数量生成一批,跑通链路再扩。判断标准:这批问题能不能覆盖你知识库的主要业务场景,覆盖不了就补文档而不是堆条数。
- 算清跑几轮把计划内的评测轮次列出来,包括切片调优、换嵌入模型、换生成模型各算一轮。轮数乘上单轮调用量,才是评测侧的真实规模。
- 核对当时单价具体到每家模型每百万 token 多少钱,到 /price-watch 核对当时的数字,别凭记忆估。
哪些做法能明显压住这笔钱
最有效的一招是分档用模型。生成问题用便宜的小模型完全够,问题问得清不清楚跟模型档位关系没那么大;标准答案和干扰项如果要质量,再换强一点的。两边用同一个旗舰模型,属于白花钱。
另一招是别反复生成。切片参数一改,数据集就得重来,所以顺序必须是先把文档清洗和切片调好,再生成数据集。反过来先做数据集、后面反复调切片的,等于每调一次就烧一遍生成费。评测集生成完落盘存成文件,以后换待测链路只读文件,不重新生成。
- 生成阶段用小模型,评测阶段按需换强模型
- 文档清洗和切片定型后再生成数据集
- 评测集存成文件,复用同一批问题只换待测链路
- 负样本评测用不上就关掉干扰项生成
- 先用最小批量跑通,再按覆盖度扩条数
还有一个容易忽略的点:检索阶段塞进上下文的文档块越多,生成侧输入 token 就越多。检索召回条数调得太宽,评测时每一轮都在为无关内容付费。这个参数在跑评测前就固定下来,别边跑边调。
这几种情况先别急着生成
知识库还在频繁换文档、切片策略没定,这时候生成的数据集很快过期,钱花了但下一版就用不上。先把文档源稳定下来,至少做到一周内主要文档不大改,再动手。
只是想知道检索召回准不准,直接抽真实用户问题做样本更划算,也比合成数据集更贴近实际。合成问题有个通病:问法太规整,真实用户不会那么问。这种情况下生成器不是必需品。
团队还没有固定的评测流程,数据集生成出来也没人跑、没人看结果,那就先补流程。流程没定之前,任何生成都是沉没成本。判断标准很朴素:上一次评测的结论有没有真的改过产品,没有的话先把这一环补上。
下一步各家模型的单价和你实际要用的档位差多少,去价格追踪页面对一下当时的数字,再决定生成和评测分别用哪一档。→常见问题
llamaindex 的数据集生成器本身要付费吗?
不用。它是 llamaindex 开源代码里的一个模块,没有单独的授权费或订阅费。你要付的是它在生成过程中调用大模型产生的 token 费用,以及后续拿这批问题跑评测时的调用费用,两笔都走你自己的模型账号。
生成的评测集越多越好吗?
不一定。问题数量上去,生成和跑评测的调用次数都跟着涨,而超过一定规模后对判断改动有没有效果的帮助很有限。先用几十条覆盖主要文档类型跑通流程,确认这套评测能反映问题,再决定要不要扩。
同一批问题反复跑评测,成本怎么控制?
把生成好的问题和标准答案存成文件,之后只替换待测的检索和生成链路,不要重新生成数据集。同时固定住文档版本,文档一换数据集就失去对照意义,复用的前提是底料没变。