Hugging Face 换掉自建路由:接入 OpenRouter,调用开源模型更省更稳
Hugging Face 宣布将其推理服务后端切换至 OpenRouter。这意味着开发者调用开源权重模型时,系统会自动在 80 多家供应商中择优路由,兼顾价格、速度和稳定性。文章详细解读了这一变化对成本、延迟及开发流程的影响,并说明了如何继续使用现有工具链以及新的计费逻辑。
为什么 Hugging Face 要换掉自己的路由器
最近调用 Hugging Face Inference API 跑大语言模型的人,或许已经察觉到后端有些不一样了。这家公司已经宣布和
OpenRouter 合作,原先那套自己搭的自定义路由系统,被换成了 OpenRouter 的基础设施。
乍看之下,这只是后端工程里一个不太起眼的决定,可对天天写代码调模型的开发者而言,影响很直接:不必再琢磨哪家云厂商的 GPU 更便宜,也不用担心某家服务商忽然挂掉、把任务搞砸。如今用 Hugging Face Token 调用 Hub 上任意一个开源权重模型,请求都会先过一遍 OpenRouter。后者会结合实时价格、响应速度和可靠性,从全球 80 多家供应商里选出最合适的一家来承接。
要是首选供应商出故障或者变慢,系统会自动转向其他供应商重试。这些都在后台完成,代码基本不用动。
开源模型正在成为主流
这次合作背后,是开源权重模型(Open-weight models)用量的一轮猛涨。
OpenRouter 的数据显示,2025 年 10 月,开源模型只占其处理令牌总量的 26.8%。到 2026 年 9 月底,这个比例已经冲到 71.7%,同年 7 月还曾短暂摸到 77.5% 的峰值。闭源模型那边虽然也在涨,但周处理量的增幅大约只有开源模型的六分之一。
眼下 OpenRouter 上用量排第一的模型是 DeepSeek V4.1 Flash 1017,一周处理了 59.2 万亿个令牌。开发者越来越愿意在性能和成本之间找平衡,而不是一味追最顶级的闭源模型。
成本差异明显
钱是最实在的理由。数据表明,开源模型的平均成本大致是闭源模型的四分之一。
- 输入令牌:开源模型平均每百万令牌 0.28 美元,闭源模型为 1.27 美元。
- 输出令牌:开源模型平均每百万令牌 1.62 美元,闭源模型为 6.36 美元。
便宜当然有代价。Artificial Analysis 的智能指数榜单上,表现最好的开源模型 Kimi K3.1 Pro 拿到 46 分,顶尖闭源模型 Claude Fable 5.2 则是 65 分。可前者单次任务成本只有 3.68 美元,后者要 26.54 美元,对大多数不算极端复杂的日常 workload 来说,这笔性价比 trade-off 相当划算。
OpenRouter 的路由机制是怎么工作的
OpenRouter 每月处理的令牌超过 800 万亿个,服务 1000 多万用户和 600 多个模型。它最核心的本事就是“动态路由”。
过去 Hugging Face 的 Inference Providers 只是挑一个供应商,那家失败了,就直接把错误抛给用户。现在逻辑变了:
- 实时评估:不再只盯着标价最低,而是把价格、速度、可靠性放在一起权衡。
- 自动故障转移:某个供应商响应变慢或者开始报错,流量会立刻挪走。第一次尝试失败的话,系统会在同一次调用内部自动重试下一个最佳供应商。
- 性能提升:OpenRouter 的测量结果显示,新路由机制让容量错误减少了 46%,首字生成时间(Time to First Token)缩短了 16.9%,吞吐量提升了 16.3%。
开发者如何控制路由策略
默认策略是“最佳混合组合”,不过你依然可以在模型 ID 后面加后缀,强制指定策略或供应商:
zai-org/GLM-5.3 # 默认:平衡价格、速度和可靠性
zai-org/GLM-5.3:fastest # 追求最高吞吐量
zai-org/GLM-5.3:cheapest # 追求最低价格
zai-org/GLM-5.3:novita # 强制指定 Novita 供应商另外,路由系统还支持感知缓存。为了让对话上下文保持一致,系统会尽量把同一会话的请求送到持有该提示词缓存的那家供应商。你要做的,是在请求头里发送一个稳定的 UUID,字段名为X-HF-Session-Id。
对开发者的实际影响
1. 工具链无缝衔接
现有的编码助手和 SDK 都不用换。新加的路由层兼容 OpenAI 的 Chat Completions、Responses API,也兼容 Anthropic 的 Messages API。也就是说,Claude Code、Codex、OpenCode、Pi、Hermes Agent 里照样能用这些模型,把对应的设置步骤复制过去就行。
Hugging Face Token 还是那一个,不只为推理服务,还管着 Storage Buckets(存储)、Jobs(计算任务)和 Inference Endpoints(专用推理端点)。PRO、Team、Enterprise 套餐里每月附带的计算和推理额度照常可用。
2. 计费方式不变,但透明度更高
价格上不加价。付给供应商的钱会直接记进 Hugging Face 账单,Hugging Face 不抽佣金。PRO 用户每月还是 2 美元额度,Team 和 Enterprise 组织每个席位同样是 2 美元。
具体钱流向哪里,在 Hugging Face 设置页面里能看得更细:
- Providers 标签页:把所有可路由的供应商列出来,附上过去 24 小时的价格、速度和正常运行时间。
- Metrics 标签页:最佳价格、吞吐量、首字时间、上下文长度这些指标都在这里。
- Usage Overview:花了多少钱、分别花在哪些供应商身上,一目了然。
不想用某家供应商,在设置里关掉即可,路由器不会再往那家发请求。组织账户也一样。
3. 一个重要的破坏性变更
有一点要留意:语言模型的请求现在统一走 OpenRouter、由 Hugging Face 账户结算,所以这些模型不能再配自己的第三方供应商 API Key。
但还是可以通过model:provider的后缀语法指定某家供应商,或者在设置里把不要的供应商禁用掉。图像和视频生成模型的自定义 Key 功能没变,它们不走 OpenRouter,直接由 Hugging Face Inference Providers 运行。
图像、视频和音频生成不受影响
调整只针对语言模型。图像、视频、音频的生成照旧,直接跑在 Hugging Face 自己的基础设施上,不经过 OpenRouter 路由。数以万计的 LoRA 模型也还能用,Token 和 API 都不变。
接下来会发生什么
这只是 Hugging Face 与 OpenRouter 合作的开头。官方说,后面还打算让用户把已有的 OpenRouter 账户直接连到 Hugging Face,并把更多类型的任务纳入 OpenRouter 的路由体系。
对普通开发者来说,眼下能做的很简单:去 Hugging Face Hub 挑个热门对话模型上手试试,或者翻翻最新的 Inference Providers 文档,看看自己的应用能不能从更聪明的路由里得到好处。说到底,复杂性交给基础设施,开发者才好把精力放在做应用上。