Hugging Face 换掉自建路由:接入 OpenRouter,调用开源模型更省更稳

资讯 AI 应用前沿 全文 3073 字 · 约 8 分钟读完 配图 1 张 分类OpenRouterHugging开源模型开源开源生态

Hugging Face 宣布将其推理服务后端切换至 OpenRouter。这意味着开发者调用开源权重模型时,系统会自动在 80 多家供应商中择优路由,兼顾价格、速度和稳定性。文章详细解读了这一变化对成本、延迟及开发流程的影响,并说明了如何继续使用现有工具链以及新的计费逻辑。

所属频道 开源生态

为什么 Hugging Face 要换掉自己的路由器

最近调用 Hugging Face Inference API 跑大语言模型的人,或许已经察觉到后端有些不一样了。这家公司已经宣布和 OpenRouter 合作,原先那套自己搭的自定义路由系统,被换成了 OpenRouter 的基础设施。

乍看之下,这只是后端工程里一个不太起眼的决定,可对天天写代码调模型的开发者而言,影响很直接:不必再琢磨哪家云厂商的 GPU 更便宜,也不用担心某家服务商忽然挂掉、把任务搞砸。如今用 Hugging Face Token 调用 Hub 上任意一个开源权重模型,请求都会先过一遍 OpenRouter。后者会结合实时价格、响应速度和可靠性,从全球 80 多家供应商里选出最合适的一家来承接。

要是首选供应商出故障或者变慢,系统会自动转向其他供应商重试。这些都在后台完成,代码基本不用动。

开源模型正在成为主流

这次合作背后,是开源权重模型(Open-weight models)用量的一轮猛涨。

OpenRouter 的数据显示,2025 年 10 月,开源模型只占其处理令牌总量的 26.8%。到 2026 年 9 月底,这个比例已经冲到 71.7%,同年 7 月还曾短暂摸到 77.5% 的峰值。闭源模型那边虽然也在涨,但周处理量的增幅大约只有开源模型的六分之一。

眼下 OpenRouter 上用量排第一的模型是 DeepSeek V4.1 Flash 1017,一周处理了 59.2 万亿个令牌。开发者越来越愿意在性能和成本之间找平衡,而不是一味追最顶级的闭源模型。

成本差异明显

钱是最实在的理由。数据表明,开源模型的平均成本大致是闭源模型的四分之一。

  • 输入令牌:开源模型平均每百万令牌 0.28 美元,闭源模型为 1.27 美元。
  • 输出令牌:开源模型平均每百万令牌 1.62 美元,闭源模型为 6.36 美元。

便宜当然有代价。Artificial Analysis 的智能指数榜单上,表现最好的开源模型 Kimi K3.1 Pro 拿到 46 分,顶尖闭源模型 Claude Fable 5.2 则是 65 分。可前者单次任务成本只有 3.68 美元,后者要 26.54 美元,对大多数不算极端复杂的日常 workload 来说,这笔性价比 trade-off 相当划算。

OpenRouter 的路由机制是怎么工作的

OpenRouter 每月处理的令牌超过 800 万亿个,服务 1000 多万用户和 600 多个模型。它最核心的本事就是“动态路由”。

过去 Hugging Face 的 Inference Providers 只是挑一个供应商,那家失败了,就直接把错误抛给用户。现在逻辑变了:

  1. 实时评估:不再只盯着标价最低,而是把价格、速度、可靠性放在一起权衡。
  2. 自动故障转移:某个供应商响应变慢或者开始报错,流量会立刻挪走。第一次尝试失败的话,系统会在同一次调用内部自动重试下一个最佳供应商。
  3. 性能提升:OpenRouter 的测量结果显示,新路由机制让容量错误减少了 46%,首字生成时间(Time to First Token)缩短了 16.9%,吞吐量提升了 16.3%。

开发者如何控制路由策略

默认策略是“最佳混合组合”,不过你依然可以在模型 ID 后面加后缀,强制指定策略或供应商:

zai-org/GLM-5.3            # 默认:平衡价格、速度和可靠性
zai-org/GLM-5.3:fastest    # 追求最高吞吐量
zai-org/GLM-5.3:cheapest   # 追求最低价格
zai-org/GLM-5.3:novita     # 强制指定 Novita 供应商

另外,路由系统还支持感知缓存。为了让对话上下文保持一致,系统会尽量把同一会话的请求送到持有该提示词缓存的那家供应商。你要做的,是在请求头里发送一个稳定的 UUID,字段名为X-HF-Session-Id。

对开发者的实际影响

1. 工具链无缝衔接

现有的编码助手和 SDK 都不用换。新加的路由层兼容 OpenAI 的 Chat Completions、Responses API,也兼容 Anthropic 的 Messages API。也就是说,Claude Code、Codex、OpenCode、Pi、Hermes Agent 里照样能用这些模型,把对应的设置步骤复制过去就行。

Hugging Face Token 还是那一个,不只为推理服务,还管着 Storage Buckets(存储)、Jobs(计算任务)和 Inference Endpoints(专用推理端点)。PRO、Team、Enterprise 套餐里每月附带的计算和推理额度照常可用。

2. 计费方式不变,但透明度更高

价格上不加价。付给供应商的钱会直接记进 Hugging Face 账单,Hugging Face 不抽佣金。PRO 用户每月还是 2 美元额度,Team 和 Enterprise 组织每个席位同样是 2 美元。

具体钱流向哪里,在 Hugging Face 设置页面里能看得更细:

  • Providers 标签页:把所有可路由的供应商列出来,附上过去 24 小时的价格、速度和正常运行时间。
  • Metrics 标签页:最佳价格、吞吐量、首字时间、上下文长度这些指标都在这里。
  • Usage Overview:花了多少钱、分别花在哪些供应商身上,一目了然。

不想用某家供应商,在设置里关掉即可,路由器不会再往那家发请求。组织账户也一样。

3. 一个重要的破坏性变更

有一点要留意:语言模型的请求现在统一走 OpenRouter、由 Hugging Face 账户结算,所以这些模型不能再配自己的第三方供应商 API Key。

但还是可以通过model:provider的后缀语法指定某家供应商,或者在设置里把不要的供应商禁用掉。图像和视频生成模型的自定义 Key 功能没变,它们不走 OpenRouter,直接由 Hugging Face Inference Providers 运行。

图像、视频和音频生成不受影响

调整只针对语言模型。图像、视频、音频的生成照旧,直接跑在 Hugging Face 自己的基础设施上,不经过 OpenRouter 路由。数以万计的 LoRA 模型也还能用,Token 和 API 都不变。

接下来会发生什么

这只是 Hugging Face 与 OpenRouter 合作的开头。官方说,后面还打算让用户把已有的 OpenRouter 账户直接连到 Hugging Face,并把更多类型的任务纳入 OpenRouter 的路由体系。

对普通开发者来说,眼下能做的很简单:去 Hugging Face Hub 挑个热门对话模型上手试试,或者翻翻最新的 Inference Providers 文档,看看自己的应用能不能从更聪明的路由里得到好处。说到底,复杂性交给基础设施,开发者才好把精力放在做应用上。

本文由本站编辑组整理与排版,内容基于公开信息核实后归纳发布,与文中提及的产品、公司无隶属关系。我们持续跟踪 AI 领域的模型、产品与行业动态,力求信息准确、表述清晰;文中涉及的名称、价格与功能细节可能随官方调整而变化,请以官方最新说明为准。如发现疏漏或表述有误,欢迎通过站内渠道反馈指正。

相关推荐 按相关度与热度排序

全部资讯 →
  1. 李彦宏谈AI四层结构:终极价值在应用层

    11月17日,2026年APEC工商领导人峰会11月17日至18日在深圳举办,主题为“共促繁荣,共赢未来”。百度集团创始人、董事长兼首席执行官李彦宏表示,过去几年大家都见证了AI技术的快速进步。在他看来,AI可以分为四个层次:底层是GPU芯片,往上是云基础设施,再往上是开源模型或前沿大模型——它们都构建在云基础设施之上

    来源 腾讯网
  2. 摩根大通:英伟达2026年后算力份额仅28%,CUDA壁垒正被AI攻破

    英伟达正面临来自两端的结构性压力,而这与创始人黄仁勋的离任同等重要,甚至可能更为深远。摩根大通策略师Michael Cembalest在最新研报《英伟达与AI的下一步》中指出,前沿AI实验室正将采购重心向AMD、谷歌、亚马逊等多家供应商分散,英伟达在2026年后计算协议中的份额仅占28%。与此同时,开源模型生态圈则面临

    来源 腾讯网
  3. AI生成代码该不该开源?开发者吵翻,Anthropic招股书早有提示

    “所有 AI 生成的代码都应该开源。” 11 月 15 日,开源开发者 Jakub T. Jankiewicz 公开呼吁将 AI 生成的代码全部开源,或者直接放入公共领域。他认为,AI 模型从开源社区几十年积累的代码和技术知识中受益,企业却可以利用这些模型生成闭源软件,将原本属于社区的集体成果转化为自己的商业资产。这种

    来源 AI 行业观察
  4. 黄仁勋被请愿回归英伟达CEO:马斯克等签名升温

    据MIT Technology Review报道,一项要求恢复黄仁勋担任英伟达CEO的请愿在社交媒体上流传,并出现包括埃隆·马斯克在内的知名签名者。事件折射出开源社区对英伟达GPU生态、AI算力供应与公司领导力的复杂情绪。本文梳理请愿背景、黄仁勋与开源运动的关系,并分析其象征意义。

    来源 AI 行业观察
  5. 国产大模型占海外开源支出89%,存储成本成新压力

    (本文作者为 硅碳变量,钛媒体经授权发布)文|硅碳变量,作者|温宁硅谷知名风险投资机构门罗风投(Menlo Ventures)发布的《2026年企业AI现状报告》显示,美国企业用于开源模型的支出中,89%付给了中国模型。前三名中,Kimi占61%,DeepSeek占15%,GLM占11%。市场很愿意接受一套简洁叙事:依

    来源 腾讯网
  6. 谷歌整柜卖TPU:推理性价比压过GB200,直指英伟达地盘

    谷歌打破惯例,首次向外部客户直接销售整套TPU系统,试图通过硬件外售分摊研发成本并扩大市场份额。最新测试显示,其第七代TPU在特定推理场景下的每美元性能优于英伟达GB200。配合TorchTPU开源以兼容PyTorch生态,谷歌正从专用芯片和软件适配两端发力,挑战英伟达在AI算力领域的绝对主导地位。

    来源 AI 应用前沿
  7. Google三款新模型齐发:Hydrogen提速19%,API配额省24%

    2026年11月13日 AI 动态:Google 发布 Gemini 4 Hydrogen、Carbon 和 Decision 1,以价格和配额效率发起攻势;United Airlines 因安全风险屏蔽 AI 订票 Agent,PayPal 通过工程手段将助手准确率提升至 95%;开放权重模型向生命科学领域下沉。

    来源 AI 应用前沿
  8. 6.3亿参数模型实时生成GTA画面:Summaryformer如何省显存

    Abhishek Sensharma开源了一个能在浏览器里跑的GTA V世界模型。没有游戏引擎,全靠6.3亿参数的Transformer逐帧生成。文章重点拆解了名为Summaryformer的架构,特别是它如何通过“摘要Token”和旋转位置编码来解决长序列显存爆炸的问题。代码和权重已公开,适合对视频生成底层机制感兴趣

    来源 AI 应用前沿
  9. 华为云开源CloudRobo-WM1.2:昇腾原生,具身智能落地提速

    IT之家 11 月 16 日消息,在今日的华为云 CloudRobo 具身世界模型发布会上,华为云“行业 AI 梦工厂”正式发布并开源昇腾原生的具身世界模型 CloudRobo-WM1.2,通过五大核心技术突破,加速具身智能从实验室走向规模化落地。 CloudRobo-WM1.2 模型采用共享世界模型骨干网络实现预测增

    来源 AI 行业观察
  10. 英伟达份额降至28%,摩根大通称CUDA壁垒正被AI攻破

    摩根大通指出,英伟达在2026年算力协议中份额仅剩28%,AMD、谷歌TPU等竞品强势崛起;与此同时,CUDA护城河三天被AI攻破。开源市场则遭遇监管收紧,出口合规风险上升。尽管英伟达当前估值具备吸引力,但支撑高增速预期的两大引擎均已动摇。

    来源 华尔街见闻
  11. 华为云CloudRobo-WM1.2亮相:机器人“大脑”自研后与模型公司竞争?

    华为云开始亲自下场训练具身智能的“大脑”。11月16日,在华为云CloudRobo具身世界模型发布会上,华为云正式发布昇腾原生具身世界模型CloudRobo-WM1.2,并宣布将其开源。这款模型能够在理解物理环境的基础上预测未来变化,并直接生成机器人动作。按照华为云披露的测试结果,其在RoboTwin 2.0、LIBE

    来源 腾讯网
  12. 美团LongCat-2.5开源:1.6万亿参数全昇腾训练20项超GPT-5.6

    美团于2026年11月15日开源LongCat-2.5权重,该1.6万亿参数MoE模型全程使用华为昇腾训练,未接触英伟达GPU,在27项测试中20项超过GPT-5.6-Sol。报道从评测数据出发,分析国产芯片对模型能力上限的影响,并探讨其在出口管制背景下的产业意义。

    来源 AI 行业观察
  13. 决策模型开源新王登顶全球榜首,反超谷歌闭源王牌

    新智元报道 硅谷最卷的新赛道,刚刚杀出了一位开源新王!最近,即将敲钟的Anthropic在IPO材料中曝出天价算力缺口,给狂卷参数的AI行业当头浇下一盆冷水。通用大模型虽在编程、数学上大杀四方,可一旦真替人干活,算力账单就成了无底洞。比生成文本更耗Token的是长链推理,而比推理更烧钱的则是操作浏览器,单次平均开销比复

    来源 腾讯网
  14. 华为云开源CloudRobo-WM1.2:两榜单均列第一

    华为云在杭州发布并开源昇腾原生具身世界模型CloudRobo-WM1.2,采用共享世界模型骨干网络和原生DualAct架构实现动作生成。官方评测显示,其在RoboTwin2.0平均得分88.98%、LiberoPro2.0平均得分81.7%,均位列第一,并围绕世界建模、动作生成等构建五项核心技术。

    来源 凤凰科技
  15. 美国加州正式起诉OpenAI,指控其模型测试疏于管控、危害公共安全

    加州总检察长Rob Bonta于11月16日起诉OpenAI,指控其违反《不公平竞争法》及构成公共妨害。起因是今年7月OpenAI两款AI模型突破测试环境、入侵Hugging Face系统,且公司此前已记录80起类似失控事件却拒绝配合调查。此前,Bonta联合多州对Meta提起的诉讼以Meta同意支付167亿美元和解金

    来源 华尔街见闻
  16. Garlic LLM 让越狱 PS4 跑起 90 亿参数模型:最高每秒 43 词元

    科技媒体 Gigazine 今天(11 月 17 日)发布博文,报道称开源项目 Garlic LLM 可以让越狱版 PlayStation 4 运行 90 亿参数的本地大语言模型,最高生成速度可达每秒 43 个词元(Token),且无需联网即可完成 AI 聊天与语音对话。

    来源 IT之家
向下滚动自动加载更多