单端点路由
用一个端点接入所有模型与供应商,路由规则可自定义,方便在不同模型之间按需分配请求。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Manifest 是一款开源 LLM Gateway,用一个端点接入所有模型与供应商,主打请求出错时的自动修复(Autofix),号称能挽回生产环境中约 5% 的失败调用。支持模型降级、完整请求日志、自带密钥、本地模型接入与全部参数可视化配置,云端版本和 Docker 自托管均可。社区规模方面,GitHub 上有 7.6k stars,Docker Hub 下载量 174.1k+,Discord 社区 648 名成员。入门免费,月度路由请求上限 10,000 次,自托管则不受限制;Pro 档 $19/月,解锁无限请求与 365 天数据保留。短板是 Pro 档面向单人,团队协作功能被放在需要联系销售的 Enterprise 档。
Manifest 是一款开源的 LLM Gateway(大模型网关),帮助开发者和团队搭建可靠的 agent 与工作流,并管理推理消耗。官网定位是唯一能自动修复请求错误的网关,把路由、修复、观测三件事放在一个端点里完成,面向 AI 开发者、团队与创业公司、平台和模型供应商三类人群。
核心逻辑是单端点接入全部模型和供应商,供应商故障时自动切换到另一家;请求参数写错、模型名迁移、schema 被拒等 400/404/422 类错误会被规范化后发往托管的修复服务,返回修补过的请求体并只重试一次,失败则照常走降级链。所有请求、token 和花费都有完整日志可查。
开源版本基于 MIT 协议,可通过 Docker 自托管,本地模型支持 Ollama、LM Studio、llama.cpp 或任意本地服务,官方鼓励社区参与贡献。
用一个端点接入所有模型与供应商,路由规则可自定义,方便在不同模型之间按需分配请求。
400、404、422 这类可修复的 4xx 错误会被规范化后发往修复服务,网关发送修补后的请求并只重试一次,不会循环。
Autofix 文档 ↗某个供应商宕机时自动切换到另一家重试,并支持配置降级链,避免单点故障直接影响用户。
为每次调用保留完整的请求与响应体,配合按 agent、密钥、供应商拆分的花费视图,便于排查和成本核算。
支持接入所有主流供应商的 API Key,以及各类订阅服务的 OAuth token,用量直接向供应商结算。
可路由到 Ollama、LM Studio、llama.cpp 或任意本地服务,自行决定哪些请求走云端、哪些留在本机。
模型参数可以完全通过界面配置。
整个 LLM 路由可跑在自己的基础设施或本机上,MIT 协议开源,官方提供 Docker 镜像与自托管文档。
自托管文档 ↗modelparams.dev 是社区维护的开放模型参数目录,可通过界面、API 或 NPM 包查询使用。
当你要把一个已经有多个模型供应商的 agent 跑稳,或者被偶发的 400/404 错误拖住排障时间时,Manifest 的价值最直接——Autofix 把可修复的 4xx 拦在 agent 之外,模型降级再兜一层,免费档 10,000 次/月的路由量足够小项目验证。自托管版本基于 MIT 协议,对数据不出内网有要求的团队可以直接跑在本地。但如果需要多人协作、SSO、审计日志,Pro 档只有单人,这些能力被划到需要联系销售的 Enterprise,中小团队要提前算好这块成本。
同时接了数家模型、需要统一端点和故障切换,Autofix 能把可修复错误拦在 agent 之外,减少排障时间。
MIT 协议加 Docker 镜像,免费档即可自托管且请求不限量、数据不出内网,适合合规要求较严的场景。
Pro 档 $19/月解锁无限请求和 365 天数据保留,但属单人档,多人协作要上 Enterprise。
多席位、SSO/SAML、审计日志、自定义保留期与 SLA 都归 Enterprise,需联系销售走合同。
只用一个模型、调用量小,路由与降级的价值不明显,免费档之外的能力也用不上。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 /month | 10,000 routed requests / month on Cloud, unlimited self-hosted | Manifest Cloud 或 Docker 自托管,MIT 协议;无限 agent;全部供应商无限制;支持订阅型供应商(Claude、ChatGPT、Gemini 等);7 天 dashboard 数据保留;含 Autofix、预算提醒与通知;Discord 社区支持。 |
| Pro | $19 /month | Unlimited routed requests | 托管于 Manifest Cloud,面向生产项目,含 Free 全部能力,额外提供 365 天 dashboard 数据保留与基础支持(平台问题、账单、许可激活);为单人计划,不适合团队。 |
| Enterprise | Let's Talk | 按合同约定 | 部署在本地、VPC 或私有云;多席位与团队管理;SSO / SAML;审计日志;自定义数据保留;合同化 uptime SLA;HIPAA 与定制 BAA;自定义护栏;专属支持(Slack 与邮件)。 |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| GitHub Stars | 7.6k | 官网首页社区板块 |
| Docker Hub 下载量 | 174.1k+ | 官网首页 Docker Hub 板块 |
| Discord 社区成员 | 648 | 官网首页社区板块 |
| 模型参数目录收录模型数 | 490 | 官网首页 modelparams.dev 板块 |
| 生产环境 LLM API 调用失败比例 | 5% | 引用 Datadog, State of AI Engineering(官网首页) |
免费档 $0/月,含无限 agent、每月 10,000 次云端路由请求,自托管部署则不限请求量,覆盖全部供应商且无限制,支持订阅型供应商(Claude、ChatGPT、Gemini 等),数据保留 7 天。Pro 档 $19/月,解锁无限路由请求和 365 天数据保留,面向生产项目,属单人计划。需要多席位与合同的看 Enterprise,价格需联系销售。
供应商返回可修复的 4xx 后,网关先把错误规范化为 message、type 和 parameter,再把失败请求和错误信息发往托管的修复服务,拿回修正后的请求体。网关只发送这一次修补后的请求,没有重试预算;如果仍然失败,就按正常的降级链处理。整个过程无需部署或配置,安装包直接与托管服务通信。
可以。Manifest 基于 MIT 协议,以 Docker 镜像交付,免费档就能在自有机器上运行,没有请求量限制,数据不出本地网络。自托管还能全局关闭 Autofix,连启动时的健康检查请求都停掉。Enterprise 覆盖同样的自托管部署方式,并额外提供 SSO、审计日志和支持合同。
开启 Autofix 时,失败的请求会被发往托管的修复服务,首次开启会记录一次同意,安装以匿名 install id 标识自己,与遥测使用同一个 id。如果不想有任何出网请求,可以在自托管部署中全局关闭 Autofix,这也会停掉启动时的健康检查。
支持。可以路由到 Ollama、LM Studio、llama.cpp 或任意本地服务器,由自己决定哪些请求走云端、哪些留在本机。配合自带密钥能力,也能接入各家供应商的 API Key 以及订阅服务的 OAuth token,用量直接向供应商结算。
GitHub 上有 7.6k stars,Docker Hub 下载量 174.1k+,Discord 社区有 648 名成员。官方鼓励参与项目,可以在 GitHub 上请求功能或报告 bug,Docker Hub 上可获取最新镜像。此外还维护了 modelparams.dev 模型参数目录,收录 490 个模型。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Manifest本工具 | 4.5 | 免费起步,Pro $19/月,Enterprise 需联系销售 | 单端点路由;Autofix 自动修复;模型降级;完整请求日志 | Web / API |
| Tokenhot | — | 按量付费,文本模型输入低至 $0.34 / 100 万 token | 统一的 LLM API 网关,接入 100 多种模型,最高可节省 90% 的成本 | Web / API |
| Auriko | — | Free $0;Pro $89/mo;Enterprise 定制,provide | 用于降低推理成本的统一 LLM 路由平台 | Web / API |
| ToAPIs | — | 无隐藏费用,无月度订阅,按量付费 | 通过单一 API 即可调用 200+ 款 AI 模型,相比官方费率最高可省 70%,支持 | Web / API |
| OrcaRouter | — | 零 token 加价,按量付费与订阅均不加价 | 一款 AI API 路由工具,通过根据提示词难度动态分发请求,来优化研发和使用成本 | API |
| LLM Gateway | — | 按量付费,充值时收 5% 平台费;BYOK 免平台费;企业按需定价 | 统一 API 路由、管理和分析 LLM 请求 | Web / API |