sglang多少钱:先把自建和外包这两笔账分开

入门与上手

讲清 sglang 本身不收费之后,真正花钱的是哪几项,给一套能自己算的判断顺序和对照清单。

搜「sglang多少钱」的人多半已经在搬机器了,结果发现官网没标价,论坛里又各说各的。这篇不给你一个数字,因为数字天天变、也跟你跑什么模型强相关。给你的是怎么把账拆成几块、每块去哪儿查当时的数、哪些情况下这套算法根本不适用。

搜「sglang 多少钱」的人,多半已经在看机器配置了,翻了一圈发现官网没有标价,论坛里又各说各的。有人拿显卡单价折算,有人拿接口调用量倒推,两拨人吵半天其实不是同一本账。所以这篇不给你一个数,给你一套把账拆开的顺序,让你知道每一块去哪儿查当时的数字。

先说一个容易踩的坑:你在外面看到的「sglang 套餐」「sglang 按量计费」,卖的几乎都不是 sglang 这个东西本身。分清这一点,后面才不会算重。

先说清楚:sglang 本身不按次收钱

sglang 是开源的推理框架。装它、跑它、改它的参数,都不产生授权费。你能搜到的所谓报价,基本是别人的服务费:有人租给你机器,有人帮你把模型接口包一层,有人卖你调好的整机方案。这些价格跟 sglang 是开源的这个事实没关系。

所以真正花钱的地方是三块:显卡或算力租金、电和带宽这类持续开销、以及把它调到能用的状态所需要的人力时间。前两块好查,第三块最容易被忽略,也最容易超预算。

把总账拆成四格,一格一格填

我习惯拿一张四格的表来填,填完就大致有数了。不要一上来就盯着卡的小时单价,那个数乘上你实际能跑满的比例之后,和你的直觉往往差很远。

这一格怎么填容易漏的点
算力自购看整机价加折旧年限,租卡看按小时单价,到 /compute/gpu-rental 比对当时的数字按标称单价算满负荷,忽略实际利用率
模型权重跑开源权重不额外花钱,跑闭源就得走接口,这是两条账把接口调用费和机器租金混在一起算
配套存储、带宽、监控、日志、备份长期常驻时这几项稳定吃掉一块
人力调并发、显存不够改量化、吞吐上不去改参数按「一次调通」估,没算反复试的时间

模型权重这一格特别值得单独说。自己跑开源权重,权重本身不产生费用;但你要是调闭源模型的接口,那笔钱是按用量走的,跟你有几张卡没关系。有人把这两笔加在一起报「sglang 成本」,得出的数没有任何参考意义。

配套那格也一样。单机跑个 demo 什么都感觉不到,一旦对外提供服务,监控、日志、备份、带宽全都要钱,而且这些开销是持续的,不随你模型大小变化。做长期预算时先把这格填上,再看算力,心里会稳很多。

按这个顺序估,不容易算重

  1. 先定场景自用测试、内部工具、对外服务,三者的可用性要求差一个量级。对外服务要算冗余和故障切换,自用测试一台机器跑通就行。场景没定就比价,纯属浪费。
  2. 算峰值并发和上下文长度这两个数决定要几张卡。注意上下文翻倍时显存和延迟都不是线性涨的,按单条对话的长度去乘并发数,别只看平均长度。
  3. 对着容量页面过卡数到 /compute/sizing 一类页面按模型规模过一遍,看要几张卡、什么卡。凭感觉估的卡数,通常比实际需要的少。
  4. 把三块分别乘上时长算力、配套、人力各自乘你要跑多久。短周期试用和长期常驻的结论经常反过来:试用时租卡划算,常驻时自购可能更合适,具体到 /compute/gpu-rental 对一下当时的数字再定。

跑完这四步,你会得到一个区间而不是一个数。这就够了。别人报你一个精确数字,反而要警惕,因为他的场景未必跟你的场景对得上。

这几种情况别套上面的算法

  • 只是偶尔试几次:直接买接口或订阅更省。自建光是把环境调通,投入就超过你试用的价值。
  • 数据不能出内网:账里要加合规隔离的投入,这跟纯算力比价不是一回事,别拿别人的单价来对标。
  • 团队里没人碰过推理服务:先留一段试错时间,把「多久能跑起来」当成真实成本算进去。
  • 模型规模很小、请求量也小:这时候框架带来的吞吐优势体现不出来,自建的复杂度反而是负担。
  • 要求随时在线、不能停:冗余机器的钱要算进去,不能按单机满载去估。

说白了,判断标准就一条:你是在为「跑起来」付钱,还是在为「跑得稳、跑得久」付钱。前者看一次性投入和人力,后者看持续开销和冗余。两种账的算法不一样,混着算就会得出一个谁都不认的数字。

下一步想比对自己的估算和市场上的实际报价,到算力租用比对页看当时几家的单价和配置,再把模型规模、并发和运行时长按上面的步骤过一遍,就能得出一份属于你自己场景的预算区间。

常见问题

sglang 是不是要买授权才能商用?

它本身是开源项目,按项目仓库里的许可条款用就行,没有按调用量收费这一说。你付的钱通常给了机房、云厂商或帮你部署的人,跟框架本身没关系。真有平台报「sglang 授权费」,先要对方说清楚收的是哪一项服务。

自建和直接买模型接口,哪个便宜?

看调用密度。偶尔用、量小,接口几乎肯定更省;天天跑、并发稳定、模型固定,自建才有机会摊平。中间那段最难判断,建议先按一个月的真实调用量算一遍,再去 /official-api 核对当时的接口价格,别拿估算当结论。

估算最容易在哪一步翻车?

多半不是显卡单价算错,是漏了上下文长度和并发。同一张卡,短问答能扛的量跟长文档差好几倍。先把单次请求的输入输出 token 数摸清楚,再乘并发,比先挑卡靠谱得多。

本文依据各平台公开文档与官方公告整理,只做中文归纳;具体做法、参数与限制以官方文档为准。