很多人第一次接 GraphRAG,会下意识去找「每百万 token 多少钱」的价目表,结果发现 Ollama 本地跑根本没有这一栏。真正让人踩坑的是另外几件事:建索引时把整库文档反复喂给模型、改了数据要重建、显卡被长时间占着不能干别的。这篇把成本拆成几块,给出能照着算的步骤和什么时候这套方案不值得用的判断线。
很多人第一次接 GraphRAG,会下意识去找「每百万 token 多少钱」的价目表,结果发现 Ollama 本地跑根本没有这一栏。本地推理不按 token 走,你付的是电、是卡、是时间,账面的东西和按量 API 完全是两套算法。
真正让人踩坑的是另外几件事:建索引时把整库文档反复喂给模型、改了数据要整个重建、显卡被长时间占着不能干别的。这篇把成本拆成几块,给出能照着算的步骤,以及什么时候这套方案不值得用的判断线。
先分清哪几笔钱是真花的
Ollama 本地推理本身不按 token 计费,别拿按量 API 的价目表硬套。如果你要跟外部单价做对照,去 /official-api 看当时的数字,那里有各家官方口径,但那是拿来比参照系的,不是你本地跑的实际支出。
真正的成本是四块:显卡或算力的占用时间、索引构建的重复推理量、存储(图库加向量库)、以及人力调试时间。前三块能算,最后一块最容易被忽略却往往最贵。
| 成本项 | 什么时候发生 | 怎么估 |
|---|---|---|
| 算力占用 | 建索引和每次问答 | 记录单次任务耗时,乘以你机器的单位时间成本 |
| 重复推理 | 建图抽取、社区摘要 | 小批试跑,量每万字消耗的推理时间再乘全量 |
| 存储 | 图库与向量库常驻 | 按语料规模和保留策略估容量,去 /compute/tco 看口径 |
| 人力 | 调试抽取提示、修图、排错 | 按人天估算,通常比硬件账更值得盯 |
如果图库放 Neo4j、模型跑在租来的卡上,这两项才是你账面上真掏出去的钱。当期口径去 /compute/gpu-rental 和 /compute/tco 核对,别用记忆里的旧数字做决策。
索引构建:成本最大头,也是最容易被低估的一步
GraphRAG 的抽取要按块跑实体关系,再跑社区摘要,同一个文档会被模型读不止一遍,实际推理量约为原文字数的若干倍。这个倍数取决于分块大小、抽取提示和是否重试,不实测就猜不准。
- 取一小批样本试跑挑覆盖面广的一小批文档,单独建一次索引,记录耗时和机器负载,别拿全量直接开跑。
- 换算到全量用「每万字消耗多少推理时间」乘以全量字数,得到全量重建的时间估计,这是最靠谱的算法。
- 设一条可接受窗口定下你能忍的重建时长上限,比如「一个晚上跑得完」,超过就说明要动语料或模型。
- 按结果选动作超窗的话三选一:缩语料范围、换更小的抽取模型、或者改增量更新而不是全量重建。
判断标准很直接:单次全量重建的时间超过你能接受的窗口,方案就得调。不适用的情况也要说清——语料是每天新增的流水型数据时,全量重建的做法基本撑不住,得先把更新机制想明白再动手。
跑起来之后的日常开销与配额
在线问答阶段的开销主要是图查询加一次生成,比构建阶段小得多,但要多留意多跳检索会放大调用次数。一个问题背后跳三四次很常见,次数上去了等待时间也跟着上去。
- 本地服务有并发上限,多人同时问会排队,先估清楚同时在线人数
- 拿不准模型尺寸和显存的关系时,用 /models/deploy 和 /compute/sizing 做一遍测算,别凭感觉加卡
- 先量基线再扩容,用 /tools/speed-test 测出你这台机器上的实际延迟,再判断瓶颈在哪
- 日常问答的等待时间已经影响使用者时,就别再省硬件,先解决体验再谈成本
这里的判断标准是体验优先:如果使用者已经在抱怨等太久,说明配额或硬件该加了。反过来,如果问答量很小、等待不敏感,多买的算力就是闲置成本,不如把预算放到调试和语料治理上。
什么情况下这套方案不划算
不是所有场景都值得上图谱。语料规模很小、问题类型偏简单的,普通向量检索就够了,上图谱等于给自己加维护负担。选型可以先去 /stacks/vector-dbs 对照着看,再决定要不要走图谱这条路。
文档更新极其频繁的场景,重建成本会持续压在头上,不如先用按量 API 把小规模验证跑通再谈本地化;团队里没有人能长期维护图库和抽取流程的,运维成本会超过省下的推理费。
判断要不要上的标准,不是「别人都在用图谱」,而是你的问题里有多少真的需要跨文档串联关系。
反向判断也给你:如果问答经常涉及「谁和谁有什么关系」「跨多份文档串联推理」,图谱的收益才开始显现。不符合这条的,别硬上。
下一步把你的语料规模、重建窗口和并发人数套进上面的表格算一遍,再去站内核对当期口径的数字,比看任何报价表都实在。→常见问题
Ollama 接 GraphRAG 到底收不收费?
Ollama 本身是本地跑模型,不按调用次数收费,所以不存在一份「每百万 token 多少钱」的价目。你要算的是硬件或租卡的占用、索引构建时重复推理消耗的时间,以及图库和向量库的存储。想对照外部按量单价,去站内官方 API 价格页看当时的口径,再折算成时间成本。
索引构建为什么比想象中贵很多?
因为它不是把文档读一遍就完事:要先切块、逐块抽实体和关系,再对社区做摘要,同一段文字会被模型处理多次。规模一大,耗时是线性甚至更高地往上涨。稳妥做法是先拿一小批文档试跑,量出每万字要多久,再乘全量估总时间,别直接上整库。
什么时候不该用 GraphRAG,用普通 RAG 就行?
语料不大、问题主要是「某段话在哪」这类单点查找时,向量检索足够,图谱纯属额外维护负担。文档天天变、又没人手维护抽取流程的团队也不适合。只有当问题经常需要跨多份文档串联关系、追问实体之间的关联时,图谱带来的效果提升才对得起成本。