rag的数据源都多少钱,多花的钱都压在哪些环节

接入与开发

把 RAG 数据源的钱拆成获取、清洗、向量化、检索与存储几笔,给出按数据源类型估算与控成本的判断标准和做法。

做 RAG 的人常问一句「数据源要花多少钱」,但真正结账时发现钱不在「数据源」这一栏,而散在文档解析、切片重跑、向量化、检索调用和存储上。这篇不报数字,只给一套拆账方法:先按数据源类型列出哪几笔钱必然发生、哪几笔能省,再给出估算顺序和踩坑点,数字部分到站内页面按当时口径核对。

做 RAG 的人问「数据源要花多少钱」,多半期待一个按文档算的单价。真到结账那一步会发现,钱根本不在「买数据」这一栏,而是散在文档解析、切片重跑、向量化、检索调用和存储上。同一批文档,切片参数改一版,前面这些账全部重来一遍。

这篇不报数字,只给一套拆账方法。先按数据源类型列出哪几笔钱必然发生、哪几笔能省,再按顺序估一遍,最后说几个最容易让预算翻倍的常见动作。具体的价格口径,一律到站内对应页面按当时的数据核对。

钱不在「数据源」这一栏,先把五笔账分开

先建立一个习惯:不管数据从哪来,RAG 的成本都能拆成五笔,挨个对号入座,漏掉哪笔哪笔就会在后面突然冒出来。这五笔的比例因场景差异很大,但结构是一样的。

获取成本
公开网页、内部文档、第三方接口——有的不要钱,有的按调用次数或按席位收
预处理成本
PDF 解析、OCR、表格还原,格式越乱这块越贵,而且最容易被漏算
向量化成本
嵌入调用次数由切片数量决定,改一次切片策略就是重跑一遍钱
检索与存储成本
向量库托管费、检索接口调用、rerank 额外那一层模型调用
生成成本
回答阶段的模型调用,和数据源规模只是间接相关,主要看问答频次

判断标准很简单:同一批文档,如果预处理需要人工介入(扫描件、跨页表格、权限梳理),那这笔账就要按工时算,不能只算接口调用。人工介入多的场景,谈「数据源单价」没什么意义。

按数据源类型估一遍:三种典型场景的估算顺序

估算顺序只有一个正确起点:先数文档和页数,再估切片数。切片数是后面所有按次计费的乘数,切片估歪了,整张表都作废。切片数估出来之后,再乘嵌入调用、乘检索频次、乘生成 token,顺序别乱。

数据源类型贵在哪一环能省在哪一环
公开网页抓取几乎不要钱,但清洗和解析失败后的重跑很贵限定站点与目录范围,解析失败率高的来源直接剔除
内部文档权限梳理和格式统一的工时最贵,向量化反而次要先统一格式再入库,别让脏数据反复触发全量重跑
第三方接口按调用计费,费用跟问答频率挂钩,不看文档总量加缓存、合并调用,按实际问答量估算而不是按库存估算

这张表的意思是:估算之前先判断你的数据源属于哪一类,别拿一类场景的经验去套另一类。一家 5 人小团队做内部知识库,贵的是格式和权限;做公开信息问答,贵的是清洗和重跑。这两件事的预算结构完全不同。

  1. 数文档与页数先得到真实规模,别用「大概几百份」这种估计,扫描件和附件要单列
  2. 估切片数按候选切片策略各算一遍,取中间值;这一步决定后面所有按次费用的量级
  3. 乘出嵌入调用次数切片数乘以需要向量化的字段数,再把重跑次数留出余量
  4. 估检索频次按日均问答量估检索调用,rerank 如果开启就按双层调用算
  5. 估生成 token用平均问答长度倒推,别把数据源规模直接当成生成成本

不适用的情况也要说清楚:如果问答量极低、文档量也极小,那这套拆账的精度意义不大,直接按最保守的量级留预算就行,花时间细算反而不划算。

最容易多花钱的四个动作

实际用下来,超支很少是因为单价高,多半是流程上做了几个不该做的动作。下面四个是高频的,按出现频率排。

  • 切片策略没定就入库,参数一改全量重跑向量化,前面所有嵌入调用的钱白花
  • 文档没清洗就喂进去,检索命中率低,用户反复追问,把生成成本拉上去
  • 检索全量走 rerank,本来一次检索能解决的事变成两层模型调用
  • 测试和正式库共用同一个 key,调参试错直接按正式量计费

还有一个隐蔽的:把解析失败当成偶发,不做失败率统计。失败率高意味着你要重跑,重跑一次就是一遍钱,而且失败往往集中在特定格式的文件里,不定位到格式,重跑多少次都一样。

控成本的关键不是找更便宜的单价,是让「重跑」这件事尽量少发生。

判断标准可以这么定:如果一个改动会导致全量重新向量化,那它就不该在测试阶段随手做。先把切片和清洗规则在小样本上跑通,再决定要不要动全量库。这条对大多数团队都成立,除非你的文档量小到重跑无所谓。

动手前先核对这几页的数字

前面讲的是方法,具体数字站内都有对应页面,按当时口径核对,不要拿旧数字套新场景。下面几个路径是按估算顺序排的,照着走一遍基本能把预算框出来。

  1. 代入自己的量级算一遍到 /tools/model-cost-calculator,把切片数和调用频次填进去,看总账落在哪个区间
  2. 核对嵌入模型口径到 /embeddings 看嵌入模型的规格和计费方式,确认是按 token 还是按调用
  3. 对比向量库收费结构到 /stacks/vector-dbs 看托管方式和收费结构的差异,别只看月费
  4. 核对生成模型价格到 /official-api 按当时的按量价格估算生成侧成本,注意区分输入输出

这几页看完,你对「贵在哪一环」应该能说出一句具体的话,而不是「数据源挺贵的」。说不出来,说明还有一笔账没拆开,回去补。

下一步想跟踪各家接口价格的变化,去价格追踪页看当时的记录,按自己的调用量重新代入一遍,比记一个固定数字靠谱。

常见问题

数据源本身要钱吗?

看类型。公开网页和自有文档通常不按量收费,但抓取、解析、清洗要花人力或工具费;第三方数据接口往往按调用计费,这时要按问答频率估,而不是按文档总量估。

为什么向量化的钱比想象中多?

因为计费单位是切片不是文档。一份长文档切出几十上百片,每片都要调一次 embedding;改一次切片参数就要全量重跑,等于再付一遍。先小样本试切片再入库能省不少。

预算紧的时候先砍哪一块?

先砍不必要的 rerank 和全量重跑,再考虑换更便宜的嵌入模型。不建议砍文档清洗,那部分省下的钱会以检索不准、用户重问的形式回到生成账单上。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。