它解决什么问题
网关与可观测一体的 LLM 平台
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
TensorZero · LLM 网关与观测平台
整理日期:2026-10-27 · 接入网关与路由 · 同分类 5 个
上面几项是本条目的关键信息摘要,正文整理见下方「详细说明」与「关键信息」。
网关与可观测一体的 LLM 平台
用 Rust 写的网关统一各厂商接口,请求、延迟与成本指标直接落库,能在网关层做分流与降级;prompt、模型与评测配置集中管理,线上对比实验有数据可依。
项目较新,生态与文档仍在补齐;自建要维护网关、数据库与界面三部分,团队小时运维负担明显,已有 prompt 迁移需要改造。
要在多模型之间做对比实验、并持续追踪效果的团队。
只要一个简单转发代理、不做观测与实验的场景。
标签取自各项目公开信息里的分类字段,未做二次归类。
| 方案 | 形态 | 定位 | 许可证 |
|---|---|---|---|
| agentgateway | AI 与工具流量代理 | 面向模型与工具流量的网关 | Apache-2.0 |
| RouteLLM | 模型路由框架 | 按问题难度分流的模型路由 | Apache-2.0 |
| PromptLayer | 提示词管理与调用观测平台 | 提示词版本管理与调用追溯 | Apache-2.0(SDK) |
| Guardrails for Amazon Bedrock | 托管内容护栏服务 | 挂在模型调用链路上的内容策略 | — |
| Apache ShenYu | 可插件化的接口网关 | 插件化网关的模型接入扩展 | Apache-2.0 |
同一分类内的方案才适合横向比较;定位列已按详情页原文截断
绝大多数情况是接进现有系统:网关统一多模型接入与配额,框架负责编排与工具调用,检索负责把内部资料接进上下文。只有训练、私有化部署与大规模推理才需要另起服务面,所以这几类条目归在同一栏,按上面的顺序看即可。
不是。网关解决「请求怎么送到模型」——统一协议、密钥、配额、路由与降级;Agent 框架解决「模型怎么组织成能干活的程序」——编排、工具调用、记忆与状态。
页面文字只做中文整理,数值不改写;仓库地址、许可证与版本请以官方仓库为准,本站与所列项目无隶属关系。
条目信息取自各项目官方仓库与文档;定位、优势与注意事项为中文归纳,数值不改写,仓库地址、许可证与版本以官方为准。