搜免费大模型 API 的人,多半已经在某家平台注册完了、key 也拿到了,然后卡在第二步:这个免费的是不是真够用,会不会哪天断。这篇不给你一张排名表,而是给一套按任务倒推的挑法,加上接之前必须验的几件事,帮你在几个候选之间做出能解释得清的选择。
搜免费大模型 API 的人,多数已经走完第一步:平台注册了,key 也拿到了,卡在第二步——这个免费的到底够不够用,哪天会不会突然断。这篇不给排名表,排名表到你打开页面的时候可能就过时了。给一套按任务倒推的挑法,再说清接之前必须验的几件事,让你在几个候选之间做出一个事后能解释得清的选择。
先说一句可能不太中听的话:免费档不是「先白嫖着,以后再升级」的过渡方案,它本身有明确的适用边界。边界里的事它干得又快又好,边界外的事你用三天就会发现还不如一开始就按量付费。所以下面所有内容都围绕一件事——怎么判断你在不在边界里。
“免费”这个词被用得太宽,先拆成四件事
同一个「免费」,背后至少四种形态:限时活动、每日额度、按量赠金、永久免费档。它们断供的方式完全不同。限时活动到期就停,页面上通常有小字说明;每日额度是每天刷新,撞到上限当天就没法用;按量赠金花完即止,你可能根本不知道哪天用完的;永久免费档最稳,但通常挂在能力较弱的模型或较低的并发上。你接之前先搞清楚自己签的是哪一种,不然出问题时连该问谁都不知道。
还有个容易忽略的点:免费额度基本都伴随限速和并发上限。你的调用是突发式还是匀速式,决定你踩不踩得中这条线。一个人手动调试,一分钟发几个请求,几乎感觉不到限速;一个脚本跑批,几百个请求怼过去,很容易撞墙,而且报错信息往往写得很含糊。
别从模型名单开始,从你手头那个任务开始
很多人挑 API 的方式是打开一个榜单,从上往下看哪个免费就试哪个。这个顺序反了。正确的顺序是先把手头任务归类,再看哪类候选和它对得上。任务大致分几种:问答、摘要改写、代码辅助、结构化抽取、多轮对话。它们对上下文长度和稳定性的要求差得很远。
| 任务类型 | 更在意什么 | 免费档常见的短板 |
|---|---|---|
| 问答 / 闲聊 | 响应速度和表达自然度 | 并发低时排队明显 |
| 摘要改写 | 输入长度和输出稳定性 | 长文本容易被截断 |
| 代码辅助 | 理解上下文的能力 | 弱模型补全质量差 |
| 结构化抽取 | 输出格式是否守规矩 | 格式跑偏需要自己兜底 |
| 多轮对话 | 上下文保持和一致性 | 轮数一多就忘事 |
还有个判断经常被跳过:需要长上下文的场景和需要低延迟的场景,往往是两个不同的候选。别指望一个免费档把两件事都包了,那是按量付费档的活。
接之前先验四样东西,别信宣传页
宣传页写的支持能力,和你实际调通之间隔着不少东西。以下四样,建议接之前逐个过一遍,花不了半小时,能省掉后面很多扯皮。
- 用真实请求跑一遍别用 hello world 级别的测试。拿你业务里最典型的那条 prompt 发过去,看返回结构、有没有截断、报错信息能不能读懂。报错写得含糊的平台,出问题时你会很痛苦。
- 量一次延迟基线用 接口测速(/tools/speed-test) 在你自己的网络环境下测一次,记下数字。以后变慢了你才知道是平台的问题还是你的问题,不然只能靠感觉吵。
- 确认模型是不是你以为的那个名字像不代表权重一样,尤其是走第三方入口。可以参考 中转站真假在线实测(/tools/verify) 里那套提问对比的思路,自己设计几个能区分模型的小问题。
- 记下两种报错的区别额度耗尽和触发限速,报错文案和状态码通常不一样。分别记下来,出问题时不至于瞎猜,也能第一时间判断该等还是该换。
失败经验也提一句:有人图省事,把参数填在了请求头的错误字段里,接口不报错但一直返回默认行为,查了一下午以为是模型能力不行。参数位置这种事,第一次接的时候对着文档逐字核一遍,别凭记忆。
额度、限速和并发,哪个先卡住你
这三个限制看着是一回事,实际卡住你的顺序不一样。每日额度是总量封顶,撞了就等第二天;限速是单位时间请求数封顶,等一会儿能恢复;并发是同时在跑的请求数封顶,超了要么排队要么直接拒。
- 批量任务和在线交互分开排,别让一个跑批脚本把当天额度吃干净,交互端跟着遭殃
- 并发上限低的时候,重试策略一定要带退避,硬重试只会更快撞墙
- 给自己的调用加个简单计数,每天花了多少心里有数,别等平台邮件通知
- 免费档的额度政策会变,收紧的时候一般不单独通知,每月复查一次
- 保守起见,把免费档当成「有额度的试用」来设计,而不是当成基础设施
我建议先别急着上批量场景。在线交互先跑通、跑稳,再考虑把批处理接进来。顺序反了,你会分不清是额度问题还是代码问题。
官方入口之外的免费路子,代价在哪
聚合平台和托管平台经常有免费位,接入方便,一个 key 能调好几家模型。方便是真的,但多了一层转发,出问题时你要先分清是平台挂了还是模型那边挂了。这个判断成本,免费是抵不掉的。
看免费模型清单的时候,重点确认是不是同一个权重。可对照 开源模型托管比价(/inference) 里的说明,同名的模型在不同托管方那里可能是不同量化版本,输出质量有差距。涉及敏感数据时,多一层转发就多一个要交代的对象,这条判断没法靠免费来换。
免费档最贵的部分是换掉它的那天
免费档真正的成本不在使用期间,在你要换掉它的那天。如果代码里到处写死了模型名和 base_url,换供应商等于改一遍代码再回归测试一遍。这笔账,接的时候就要算进去。
# 把这三样抽到配置里,换供应商时只改配置
BASE_URL = os.environ.get("LLM_BASE_URL")
API_KEY = os.environ.get("LLM_API_KEY")
MODEL = os.environ.get("LLM_MODEL")尽量用 OpenAI 兼容格式调用,绝大多数平台都支持,换的时候改配置不改代码。温度、最大长度这些参数,先用默认值,别一上来就调,调了之后换平台行为对不上,排查起来很麻烦。备选方案提前准备一个,别等额度用完当天才去找。每月花十分钟把额度政策扫一遍,够用了。
什么情况下这套挑法不适用
这套挑法适合个人开发者试水、内部工具、低流量原型。三种情况它不适用,得说清楚。
- 产品已经上线且有人在用,免费的额度和限速撑不住,该按量按量,先保可用性
- 需要合规承诺或数据不落地的场景,免费档基本不在考虑范围,别硬凑
- 对延迟有硬指标的功能,先测延迟再谈免费,顺序反了等于白折腾
另外,如果你已经决定按量付费,那这篇的挑法还是能用——把「免费档」换成「低价档」,判断逻辑是一样的。真正要看的是限制条件,不是价格数字。
下一步候选平台定下来之前,先去价格与政策页面把当时的额度和条款核对一遍,再决定接哪个。→常见问题
免费额度用完了会怎么样,会自己扣钱吗?
绝大多数平台是直接返回额度不足或限速错误,不会自动转成付费,但要确认有没有开自动充值。最省事的做法是注册后就去账单页把自动续费和绑卡选项看清楚,别等到跑批任务中途报错才发现。
同一个模型在官方和聚合平台上免费,选哪个?
先看你要不要那层转发。官方入口少一层不确定性,账单和限速口径也更清楚;聚合平台胜在能一个 key 试多家。自己试水用聚合方便,真要接进别人的产品里,优先官方或长期稳定的托管方。
免费模型做生产环境靠谱吗?
看你怎么定义生产。内部工具、有重试和降级的功能可以先用,对外承诺 SLA 的功能不建议。判断标准就一条:额度耗尽或限速时,你的功能是降级可用还是直接报错给用户看。
怎么知道免费名单里的模型是不是缩水版?
用同一段有明确答案的提示词跑一遍,比对输出长度、拒答倾向和格式遵循度。名字相同但行为差异大的,多半不是同一份权重或推理配置。想更有把握,用站内真假检测那套探针思路。
只接一家会不会太冒险?
个人项目只接一家问题不大,代价是某天额度政策一变就得现改。折中做法是代码里留一个兼容格式的配置项,备选那家不用调通,至少要知道它的 base_url 长什么样、key 去哪申请。