rag embedding 和 bert 有什么多少钱:这笔账按调用次数和文本量分开算

接入与开发

把 RAG 里 embedding 和 BERT 的角色、计费口径与用量算法拆开讲,给出按文档量和查询量估成本的清单。

很多人搜这个词,其实卡在同一个地方:不知道 RAG 里哪一部分是 embedding、BERT 到底还算不算要用,于是预算表上只有一个模糊的「向量化费用」。这篇不给你一个打包价,而是把链路拆成建库和查询两段,告诉你每一段该按什么单位算钱、什么时候用托管接口什么时候自己跑、哪些情况下这套算法不成立。

搜「rag embedding 和 bert 有什么多少钱」的人,十有八九是卡在同一个地方:知道 RAG 要向量化,也知道 BERT 是个模型,但打开几家平台的报价页就懵了——有的按 token,有的按 GPU 小时,有的干脆按条数,压根没法横向比。于是预算表里只能写一行模糊的「向量化费用」,老板一问怎么算出来的,自己都说不清。

这篇不打算给你一个打包价,因为那东西不存在。要做的是把链路拆成建库和查询两段,告诉你每段按什么单位计钱、什么时候用托管接口什么时候自己跑、哪些情况下这套算法根本不成立。数字一律不写死,去站内对应页面看当时的值。

先把两个词摆正:它们不在同一层

embedding 既是动作也是产物:把一段文本喂给模型,吐出一个向量,RAG 的检索全靠这个向量。BERT 则是一类模型架构,它回答的是「用什么来算 embedding」这个选型问题。两者是流水线和零件的关系,不是并列的两个东西。你在报价页上看到的「embedding 价格」,本质上问的是调用哪个接口、灌进去多少条文本。

这个层次搞混了,预算就会写出两种错。一种是把模型选型当成成本变量,纠结半天用哪个架构,其实同一批文本不管用哪个编码器,token 数都是一样的。另一种是把文本量当成一次性开销,忘了切片、清洗、重建都会让这个量反复涨。两个错误叠在一起,那张表就没法看了。

计费单位是什么:按 token、按条数还是按机器时间

托管 embedding 接口基本都按输入 token 计费,输出要么免费要么低到可以忽略,所以这类账单几乎全在「你喂进去多少字」上。自建推理反过来,按 GPU 小时算,跟文本量脱钩,跟并发数、批大小、卡型挂钩。还有一类平台按调用次数或按文档条数计,看着简单,但长文档一切片,条数能翻好几倍,最后算下来未必便宜。

计费口径成本跟什么走适合什么用量
按输入 token文本总长度,切片越小膨胀越大文档量中等、查询不密集,图省事
按文档条数切片后的块数,跟原文长度间接相关文档长且切片策略固定的场景
按 GPU 小时机器在线时间,跟文本量基本无关查询量大且稳定,手上有闲置卡
按调用次数请求条数,多路召回会成倍放大调用量可预测、单次批量大的场景

判断标准其实很土:文档多、查询少,就走托管,一次性花点钱完事;查询量大而且全天稳定,同时团队有现成的卡和运维能力,才轮得到自建。中间那一段模糊地带,别急着定,先按下面的顺序估一遍再决定。

建库这一段:钱花在一次性灌进去的文本上

建库的账最简单也最容易估错。先数清楚要入库的总字符数,再乘一个切片膨胀系数——切成几百字的块,原文越长、重叠越多,膨胀越明显。这个系数没人能替你填,得拿你自己的一小批文档试切一次才知道。

  • 先做清洗:页眉页脚、重复模板、扫描件里的乱码,全都会原样变成付费 token,清掉是纯赚
  • 别一上来就灌全库,拿几百条样本跑通切片和检索效果,再决定要不要全量
  • 切片策略改一次,全量就要重算一次,所以第一次的返工成本要单独留出余量
  • 文档里大段的表格和代码,向量化后检索效果经常不理想,考虑拆出来单独存

有个前提得说清楚:文档量小到几千条以内的时候,托管接口的一次性花费往往还不如你纠结选型花的时间值钱。这时候别做精细预算,直接跑,跑完看账单比看任何估算表都准。

查询这一段:单次很便宜,架不住次数多

上线前容易忽略的就是这一段。每次用户提问都要把问题向量化一次,单次确实便宜,但日活一上来,这笔钱会慢慢追上建库费。更麻烦的是查询改写和多路召回——一次提问可能触发好几次向量化调用,估的时候得把倍数乘进去。

常见的误判是这样:有人只算了建库的钱,方案评审时数字很漂亮,上线一个月后账单结构变了,查询侧占比越来越大,回头再想加缓存已经欠了一堆技术债。所以预算表里两段必须分开列,别合成一行。

  • 高频问题做向量缓存,命中率高的时候能省下明显一块,但要设定失效策略
  • 查询改写的路数别堆太多,每多一路就多一次调用,先测清楚它对召回到底有没有用
  • 把日提问量和每次提问的平均向量化次数乘起来,这才是查询侧的真实用量

自己跑 BERT 类模型:省的是单价,花的是运维

自建的吸引力在于单价看起来低,但账单换了个形态出现:卡租用或折旧、常驻显存占用、批处理调度、失败重试,还有那个最贵的——人。批大小调大能提吞吐,延迟跟着上去,在线检索场景得单独压测一遍,不能拿离线跑分的思路套。

模型选型这块,别只盯公开榜单。去站内嵌入模型页面看当时的规格和价格,再对照你自己的语种和领域文本,很多在通用榜单上靠前的模型,换到垂直领域就未必。这一步没有捷径,只能拿你的真实文档做小规模对照。

一套能照着走的估算顺序

  1. 统计文本量统计待入库文档的总字符数,再用样本试切一次,得出预计切片数;两个数都记下来,别只记字符数。
  2. 估查询量估日均提问量,乘上每次提问触发的向量化次数(含改写和多路召回),得到查询侧日用量。
  3. 算两版预算托管按 token 单价算一版,自建按机器成本算一版;单价和机器规格都去站内价格页取当时的数值,不在文档里写死。
  4. 把返工乘进去切片调整、索引重建、模型换代的次数都要计入,第一次做预算最容易漏的就是这一项。
  5. 留观察窗口上线后头几周盯真实账单,跟估算对一对;偏差大的地方就是下次估算要修的地方。

这套顺序不追求精确,追求的是「知道钱花在哪一段」。算完之后你至少能回答老板那句:这个月涨的费用是建库涨的还是查询涨的。至于具体单价,去站内价格页和换算工具核对当时的数字,别信任何写死在文章里的报价。

什么情况下这套算法不成立

第一种,文档天天变、每次都要全量重建。这时候建库不再是「一次性成本」,而变成周期性开销,估算周期得按月甚至按周算,不能只算首月。

第二种,查询侧要做多轮改写和大规模 rerank。向量化在整个链路里只占一小块,成本重心已经挪到重排和生成上了,再盯着 embedding 单价抠没意义。第三种,合规要求数据不出内网,那就没得选,只能自建,这时候要比的不是单价而是机器规格和运维方案。

估算的目的不是算出一个精确数字,是让你知道哪一段在吃钱、哪一段改了策略会反弹。
下一步把你要入库的文档量和日提问量记下来,去站内价格追踪页对照当时的单价,再用换算工具把两段分开算一遍;算完你就知道该走托管还是自建了。

常见问题

RAG 里一定要用 BERT 吗?

不一定。BERT 是一类编码器架构的代表,现在做 embedding 有很多可选家族。你要判断的是「这个模型在我这类文本上的召回效果和单价能不能接受」,而不是名字里有没有 BERT。建议先小批量试,再决定是否全量灌库。

embedding 和生成模型的费用能一起算吗?

不能混着算。生成按输出的 token 计费且单价通常高得多,embedding 只处理输入文本、单价低但条数多。预算表里最好分成两行,否则出问题的时候看不出是哪一块涨了。

为什么我算出来的钱和账单差很多?

大概率漏了切片膨胀和查询量。原文切成小块后条数会翻几倍,每次提问又可能触发多次向量化。先去站内换算工具按实际字符数重算一遍,再对照价格变动页看单价有没有调整。

小团队有没有必要自建向量化服务?

看两点:文本量是否大到托管费用明显超过一张卡的月成本,以及团队能不能长期维护推理服务。两点都不满足就先用托管,把精力放在切片和检索质量上,回报更高。

切片长度会影响费用吗?

会,通过条数间接影响。切得越短,同样原文产生的向量条数越多,存储和写入费用都会上去;切得太长又影响召回精度。建议拿一小批文档试两三种长度,比较效果和条数增量。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。