很多人以为关掉流式能省钱,结果账单没怎么动;也有人开了流式反而因为重试和断连多花一截。这篇不讲协议细节,只讲钱:先分清你付的每一笔是按什么口径收的,再给出切模式的判断条件和排查顺序。
关掉流式能省钱,这话我只信一半。上周帮一个小团队翻账单,他们为了降成本把前端全切成非流式,一个月过去费用几乎没动,反而客服开始抱怨「点完按钮要愣半天」。另一个反例是开了流式以后账单涨了一截,装上监控才发现是断流重发闹的,前面已经生成的内容照样计费,白花了两遍钱。
所以这篇不聊协议细节,只聊钱:你付的每一笔到底按什么单位收,流式和非流式在这件事上有没有区别,以及什么条件下切模式是真省钱、什么条件下纯属折腾。先把口径认清,后面的判断才不会跑偏。
先搞清楚:流式和非流式,收的钱是不是同一笔
结论先说:对模型这一侧,两种模式多数情况下按同一套单位计价,输入输出 token 各算各的,开不开流式并不改单价。流式改变的是「数据什么时候回来」,不是「每个字多少钱」。你要是把省钱的希望全押在模式上,大概率会失望。
真正会变的在周边:请求只有一次还是被拆成多次、有没有因为超时重发、连接占用了多久、重复前缀命中没命中缓存。这几项在账单里往往不是同一栏,光看总额看不出来,得拆开看。
验证方法也简单,别靠猜。同一个问题、同样的参数,分别用流式和非流式各跑一次,把响应里的用量字段拉出来对比。字段对得上,说明模型侧那笔钱确实没变,你该去周边找原因;字段对不上,再回头看是不是平台对某一种模式有单独规则,具体条款到 /official-api 核对当时的说明。
多出来的钱一般藏在四处
第一处是重试。流式断流以后很多人图省事整段重发,可前面已经吐出来的 token 平台照收,等于同一段内容付了两遍。第二处是超时,非流式要等完整结果回来,长输出最容易被网关或客户端掐断,重发一次就是双份开销。这两笔在账单里通常不显眼,但频次一高就很扎眼。
第三处是缓存与复用。部分平台对重复的提示前缀有折扣,模式不同、请求拆分方式不同,命中率也会跟着变。这块的额度各平台差异大,别听转述,直接到 /official-api 看你用的那家当时怎么写的。第四处是并发占用:非流式一个请求长时间攥着连接,并发额度被占住,排队变长,扩容成本跟着上来。
| 费用项 | 按什么收 | 什么情况下会变多 |
|---|---|---|
| 模型 token 费 | 输入、输出分别按 token 量 | 输出越长、上下文带得越多就越贵 |
| 重试相关 | 失败或中断后重发的请求 | 断流整段重发、超时后重发 |
| 连接与并发 | 连接占用时长、并发数 | 非流式长输出长时间占连接 |
| 缓存折扣 | 重复前缀的命中情况 | 请求拆分方式变了导致命中率下降 |
什么场景该开流式,什么场景不该
面向人的界面,我基本都建议开流式。用户能立刻看到字在往外走,等待感立刻不一样;更实际的是,他看到一半发现方向不对可以直接打断,省下来的输出 token 是真金白银。长文本生成也是同理,越长的输出,中途叫停的价值越大。
反过来,批量脚本、后台任务、要把结果当完整 JSON 解析的场合,流式几乎没有体验收益,只给你增加拼装和断流处理的麻烦。这种场景硬开流式,属于自己给自己找活干。
还有一种情况得先排除:如果你的客户端或者中间那层网关不支持流式传输,或者会把整段缓冲完再一次性给你,那开流式等于白开。钱照付,体验没变,还多了一层调试负担。动手之前先确认这条链路是通的,别等上线才发现字是最后一起蹦出来的。
三步自查,别凭感觉切模式
切模式之前先做三步,比拍脑袋靠谱得多。三步做完,你大概率会发现问题根本不在模式上。
- 翻账单看用量构成把最近一段时间的账单拉出来,看输出 token 在总用量里占多大比重。占比很低就说明省钱空间不在模式上,别在这儿耗时间。
- 数失败请求看失败和重试的请求多不多。重试频繁的话先治断流和超时,这比换模式见效快得多。
- 量一次延迟基线到 /tools/speed-test 跑一遍,拿到你这条链路实际的响应情况,再决定超时该卡在哪一档,别拍个数字就填进去。
三步里任何一步指向「重试多」或「超时频繁」,都先别动模式开关。模式是体验层的东西,救不了链路层的病。
超时和重试这两处最容易白花钱
超时别用一个数字管到底。连接超时、读取超时、整体超时是三件事,混着设最常见的结果就是长输出反复重来。读取超时给太短,模型还没写完你就主动断了,然后重发,钱就是这么一点点漏出去的。
重试一定要有上限,加退避,别让失败请求无限重发。流式场景优先考虑断点续传或者分段拼接,而不是整段重来,这中间的差别在长输出上非常明显。
还有个很典型的填错位置:把读取超时的值填进了连接超时那一格,结果请求一发就失败,日志看着像服务端挂了,其实是自己配错了格。排查顺序建议是先看配置项对不对,再看网络,最后才怀疑平台。
小团队的预算表该怎么记这两栏
几个人一起用的小团队,记账别只记一个总额,那玩意儿月底看一眼就过去了,什么问题都看不出来。建议至少拆成三栏:模型 token 费、请求与重试相关的费用、并发或扩容带来的费用。三栏并排放,哪一栏在涨一目了然。
- 模型 token 费单独一栏,方便和用量趋势对上
- 请求与重试单列,涨了就是链路有问题
- 并发或扩容费用单列,长连接场景尤其要看
- 每月对一次数,把当时的模式配置一起记下来,才知道改动有没有真省
- 所有数字以站内当时页面为准,别抄别人的截图
价格本身别记死,各家都在调。要估算某个模型的成本,直接到 /tools/token-price-calculator 按当时的数字现算,比翻旧笔记靠谱。
几个常见误判
第一个误判:以为关了流式就变成按次收费。多数平台还是按 token 走,次数的钱藏在别的地方,你这么切只是把体验切没了。第二个:以为流式一定便宜。断流整段重发的时候,它比非流式贵得多。第三个:把首字快当成总时长短。首字反馈和整体完成时间是两码事,真正决定超时风险的往往是后者。
这几个误判的共同点是把「体验」和「计费」当成了一回事。它们有关联,但不是一个东西。想省成本,先把每笔钱按什么口径收的列清楚,再决定动哪里,顺序反了就是白折腾。
模式决定体验,计费口径决定账单。先看口径,再谈切换。下一步拿你最近一期账单按三栏拆一遍,再对照模式配置看看问题出在哪;顺带到 /price-watch 看一眼你常用模型当时的价格走向,判断这次调整值不值得做。→
常见问题
流式输出会不会比不流式更贵?
单价通常一样,贵不贵取决于重试和中断。如果在流式里频繁断流重发,累计 token 会比一次非流式跑完更多;反过来,能在中途主动停掉的场景,流式往往更省。具体单价去站内价格页核对你用的那家。
非流式是不是按请求次数收费?
大多数平台仍按 token 计,请求数只在某些限流或套餐规则里起作用。要确认就看你账单里的用量字段,字段是 token 就是按 token,是次数就按次数,别混着猜。
长输出老是超时,该改模式还是改超时?
先改超时和重试策略,再考虑模式。读取超时和整体超时分开设,给长输出留够时间;确实等不了、又要即时反馈,再切流式。
中转站的计费口径和官方一样吗?
不一定。有的中转按次或按套餐折算,有的额外加转发层。接之前到 /sites/all 或 /rankings 看检测结论,再对一遍它的计费说明。
怎么确认切换模式后真的省了?
拿同一批请求在两种模式下各跑一遍,比用量字段和失败请求数。只看总账单会被其他变量干扰,看不出模式的影响。