统一 API 接口
沿用现有 OpenAI SDK 代码，只需替换 base URL 即可接入，无需重写调用逻辑，降低迁移成本。
官方说明 ↗
价格按量付费，充值时收 5% 平台费；BYOK 免平台费；企业按需定价
平台Web / API
归类AI 编程
收录2024-01-01
复核2024-01-01
编辑评分
4.5 / 5
★★★★☆
LLM Gateway编辑总结
LLM Gateway 是一款开源的大模型 API 网关，已路由超过 1T tokens、80M 请求，覆盖 250+ 模型与 40+ 提供商。它让开发者沿用 OpenAI SDK，仅改 base URL 即可接入多家供应商并自动故障转移；平台费按充值额收 5%，免费档即可长期使用。短板是完整请求与响应日志属 Enterprise 专属，免费档仅保留元数据。
LLM Gateway是什么？
LLM Gateway 是一款面向开发者的开源大模型 API 网关，出自 llmgateway.io。核心卖点是把 40+ 家模型供应商（含 OpenAI、Anthropic、Google）统一到一个 API 下，替换 base URL 即可让既有 OpenAI SDK 代码直接上线，避免在各家控制台之间切换密钥。
路由规模已积累到可观水平：累计路由 1T+ tokens、80M+ 请求，接入 250+ 模型与 40+ 提供商。平台提供多供应商接入、性能对比、密钥集中管理、成本分析与错误可靠性监控等能力，支持云端托管和 Docker / Kubernetes 自托管两种形态，核心以 AGPLv3 开源，企业版代码 source-available。
对普通开发者，免费档即可拿到 200+ 模型和 API / Playground 访问；对团队，可通过 scoped key、花费上限和故障转移把治理逻辑放在网关侧；对企业，SSO/SAML、审计日志、Guardrails 和按地区/合规策略的路由规则进一步补齐管控。
LLM Gateway核心功能
多供应商接入
一次集成打通 40+ 家提供商，可在 250+ 模型之间即时切换，避免被单一供应商锁定。
官方说明 ↗性能监控对比
对比不同模型的延迟、成本与质量，帮助为具体用例挑选最合适的模型，而非凭感觉选型。
官方说明 ↗密钥集中管理
所有供应商密钥收进一个仪表盘，按项目和组织分配 scoped key，减少凭证散落与泄露风险。
官方说明 ↗自托管或云端
可用 Docker 或 Kubernetes（官方 Helm chart）部署在自有网络内，也可使用官方托管云，企业功能需要 license key。
官方说明 ↗成本感知分析
在 7 天或 30 天窗口内查看请求数、tokens、总花费与每 1K tokens 平均成本，并按提供商和模型下钻定位昂贵异常。
官方说明 ↗故障自动转移
当某提供商报错、超时或被限流时，网关会在同一请求内换另一家提供商重试最多两次；被固定到单一提供商的请求不转移。
官方说明 ↗花费上限控制
可为任意 API key 或成员设置花费上限，达到后请求自动停止，并可选在额度耗尽前发出提醒；企业版支持团队预算。
官方说明 ↗LLM 安全护栏
在 chat 请求中检测邮箱、卡号、密钥、提示注入与越狱尝试，可按组织或项目选择拦截、脱敏或仅告警。
官方说明 ↗LLM Gateway值不值得用？
当你在多个模型提供商之间切换、需要统一账单和成本分析时，它值得一试；免费档即可接入 200+ 模型，BYOK 还不收平台费，早期验证成本低。若要完整保留请求与响应日志则要注意：这属于企业能力，按 $0.01 per 1M tokens 计费，免费档默认只保留元数据。企业需要 SSO、审计和合规路由时，价格需联系销售。
建议选它的情况
- 同时在用 OpenAI、Anthropic、Google 等多家模型，想统一调用入口和账单的团队
- 已有 OpenAI SDK 代码，希望只替换 base URL 就接上多家供应商的开发者
- 需要把自己供应商密钥集中管理、按项目发放 scoped key 的工程团队
- 对数据位置有要求、想用 Docker 或 Kubernetes 自托管网关的组织
不建议选它的情况
- 只需要单一模型提供商、不打算做多供应商切换的个人用户
- 必须完整留存请求与响应日志却不想走企业档的团队
- 需要按席位订阅而不接受按量加 5% 平台费计费方式的采购方
LLM Gateway使用建议
入门先把路子走对
- 先替换 base URL保留现有 OpenAI SDK 代码不动，只把 base URL 指向 LLM Gateway，即可验证路由和返回是否符合预期。
- 免费档先跑通注册免费档无需信用卡，先用 200+ 模型和 3 个免费模型（有限流）验证集成链路是否顺畅。
- 在 Playground 试模型充值前可先在 Playground 里比较模型输出，确认选型后再接入正式调用，避免为试错付费。
进阶省时间也省钱
- 带上自有密钥用 BYOK 接入自己的供应商密钥不收平台费，仍可使用统一分析、缓存和故障转移，适合已有供应商账户的团队。
- 给 key 设花费上限对每个 API key 或成员配置花费上限，达到即停并可提前告警，能避免单个机器人或代理把预算跑光。
- 开启提示缓存对重复性高的提示启用缓存，可加快响应速度，同时降低在供应商侧的重复计费。
- 自托管注意许可核心以 AGPLv3 开源，自托管的企业功能需要 license key，部署前先确认合规要求。
LLM Gateway适合谁用？
多模型应用开发者
推荐需要按用例在 250+ 模型间切换，并统一查看延迟与成本，用免费档就能起步。
已有供应商账户的团队
推荐BYOK 模式不收平台费，还能继续用统一分析和故障转移，适合不想更换供应商的团队。
数据合规敏感的企业
有条件可自托管在自有网络内，并按总部所在地、数据保留和训练政策筛选提供商，但企业功能需要 license key。
只需完整日志的审计场景
有条件完整请求与响应负载属企业能力，按 $0.01 per 1M tokens 计费，免费档只有元数据日志。
单一提供商的个人开发者
不推荐只调用一家模型时，引入网关不会带来切换收益，反而多一层平台费。
LLM Gateway优点和缺点
优点
- 累计路由 1T+ tokens、80M+ 请求，规模经过实际验证
- 覆盖 250+ 模型、40+ 提供商，一次集成即可切换
- BYOK 不收取平台费，仅由供应商直接计费
- 免费档 200+ 模型、无需信用卡即可开始
- 核心 AGPLv3 开源，支持 Docker 与 Kubernetes 自托管
- 同一请求内最多两次跨提供商重试，降低单点故障
- 可按 key 或成员设置花费上限，达到即停
缺点
- 充值购买额度需收 5% 平台费，非美国卡另加 1.5% 手续费
- 完整请求与响应日志属企业能力，按 $0.01 per 1M tokens 计费
- 免费档免费模型仅 3 个且受 20 reqs/min 限流
- 企业级 SSO、审计日志与 Guardrails 需联系销售定价
- 自托管的企业功能需要 license key，不能直接开箱使用
LLM Gateway版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 forever | 5% on credit usage；200+ 模型；3 个免费模型（限流）；20 reqs/min on free models；元数据日志 | 无需信用卡即可开始 |
| Enterprise | Custom | 全量 200+ 模型；BYOK 自定义上限；完整负载保留按 $0.01 per 1M tokens；SSO/SAML；审计日志；Guardrails；99.9% SLA | 含 30 天试用，需 Contact us |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
LLM Gateway关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| tokens routed | 1T+ | llmgateway.io 首页 |
| requests routed | 80M+ | llmgateway.io 首页 |
| models | 250+ | llmgateway.io 首页 |
| providers | 40+ | llmgateway.io 首页 |
| 平台费 | 5% on credit usage | llmgateway.io/pricing |
| 完整负载存储费 | $0.01 per 1M tokens | llmgateway.io/pricing |
| 免费模型限流 | 20 reqs/min | llmgateway.io/pricing |
LLM Gateway常见问题
LLM Gateway 怎么收费？＋
按各提供商自己的 per-token 费率计费，平台只在购买额度时收取固定 5% 费用，没有席位费、最低消费或订阅。非美国卡购买时另加 1.5% 国际手续费，企业档为定制报价，需要联系销售。
用我自己的 API key 还要交平台费吗？＋
不需要。用自己的供应商密钥（BYOK）通过 LLM Gateway 路由是免费的，你直接付钱给供应商，同时仍可使用统一分析、缓存和故障转移。唯一可选的费用是存储：企业组织启用完整请求与响应负载保留时，按 $0.01 per 1M tokens 计费，其他情况默认只保留元数据日志且不收费。
免费档能用多少？＋
免费档 $0 永久可用，包含 200+ 模型、API 与 Lounge 访问、活动日志与导出，以及自动路由、预算控制、提示缓存和 BYOK。免费模型只有 3 个且受 20 reqs/min 限流；完整请求与响应负载保留是 Enterprise 专属。付费模型本身不限速。
它支持哪些模型和提供商？＋
接入 40+ 家提供商、250+ 模型，包括 OpenAI、Anthropic 和 Google。每个模型的输入输出价格按每百万 tokens 列在模型目录中，并附带上下文长度与能力信息，配套还有 token 成本计算器。
可以自己部署吗？＋
可以。核心以 AGPLv3 开源，支持用 Docker 或官方 Helm chart 部署到 Kubernetes，运行在自己网络内；企业版代码为 source-available，企业功能需要 license key。可以直接用官方托管云，带 99.9% SLA 和专属支持。
提供商出故障会怎样？＋
当某个提供商报错、超时或被限流时，网关会在同一请求内自动换其他提供商重试，最多两次。被明确固定到单一提供商的请求不会转移。该能力在所有档位都提供。
LLM Gateway竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| LLM Gateway本工具 | 4.5 | 按量付费，充值时收 5% 平台费；BYOK 免平台费；企业按需定价 | 统一 API 接口；多供应商接入；性能监控对比；密钥集中管理 | Web / API |
| Defapi | — | 积分制，起充 $5，无订阅，按模型实际用量扣费 | 顶级 AI 模型的统一 API 平台 | API / Web |
| SJolt | — | 按秒计费，Seedance 2.0 低至 $0.0232/s，Seedance | 图像和视频 AI 生成统一 API | Web / API |
| Kaopu API | — | 未标价 | 用于路由多种 AI 模型的统一 AI API 网关和管理后台 | — |
| QuickData Cloud | — | 未标价 | 无代码平台，通过单一 API 进行数据存储、管理和检索 | — |
| Flatkey AI | — | 按量计费，失败调用收费 $0 | 用于多模型访问、路由和成本控制的统一 AI API 网关 | Web / API |
