统一模型端点
将现有 SDK 指向一个端点即可触达 1,000+ 模型，覆盖所有主流供应商，切换模型只需改动一个词。免费档代理吞吐 412 requests / min，Team 档 8,400 requests / min。
价格Free $0；Team $199 per month；Enterprise 需联系销售
平台Web / API
归类AI 智能体
收录2024-01-01
复核2024-01-01
编辑评分
4.4 / 5
★★★★☆
Respan编辑总结
Respan 是统一的 LLM 工程平台，把 AI 网关、可观测性与自动评估放在同一处。网关侧通过一个 API 端点接入 1,000+ 模型，支持自动降级、响应缓存与消费限额，宣称带降级时可用性 99.99%；评估侧可用 LLM 裁判、代码检查或人工评审组合成同一评分器，并直接抽样生产流量做回归对比。免费档提供 100k logs、1k scores、5 datasets、2 evaluators、5 prompts，Team 档 $199 per month。官网未公开延迟增量、SDK 语言覆盖面等细节。
Respan是什么？
Respan 是一套面向 AI 智能体与 LLM 应用的工程平台，把网关路由、可观测性和自动评估三件事收拢到同一处。平台定位是「让每个模型走同一个 API，再对每次智能体运行做追踪、监控和红队测试」，面向需要把 LLM 应用稳定上线的开发者和团队。
主力形态是 Respan Router：将现有 SDK 指向一个端点即可触达 1,000+ 模型，并内建自动降级、响应缓存和消费限额。带降级时官网给出的可用性是 99.99%，单供应商为 96.43%。评估侧支持把 LLM 裁判、确定性代码检查和人工评审组合成同一个评估器，将任意输出转成单一分数，并可按采样率拉取真实生产请求作为测试用例。
使用方式因角色而异：普通用户通过 API 密钥即可在免费档起步；开发者用统一端点替换多个供应商 SDK，并用评估器对比模型或提示词的分数分布；团队则用工作区、席位、SSO、私有 Slack 频道和 SOC 2 报告做协作与合规。
Respan核心功能
自动降级与重试
列出要降级的模型顺序，某个模型报错或触发限流时立即切到下一个。官网实测带降级时可用性 99.99%，单供应商为 96.43%，单供应商最低点降到 66%。
响应缓存
缓存请求与响应，同一调用再次发起时即时返回，把重复请求的成本和延迟降到接近零。示例数据为缓存命中 128,402 次、节省 $412.90、省下 8.2M tokens。
预算与限额
可按密钥、按客户或按组织设置预算和速率限制，接近阈值时预警，并在支出失控前拦截请求。免费档与 Team 档均支持消费与速率限制。
组合式评估器
把 LLM 裁判、确定性代码检查或人工评审组合成一个评估器，将任意输出转成单一分数。免费档含 2 个评估器、1k scores，Team 档评估器与数据集均不限量。
生产流量抽样
按筛选条件与采样率从日志中拉取真实请求作为测试用例，也可上传 CSV。样例显示对 12,480 条请求采样 2%，得到 240 行 support_replies 数据。
版本分数对比
针对数据集运行不同模型或提示词，并排比较分数分布，用可量化的胜负决定是否上线。示例中同一句草稿回复的分数在 0.58 到 0.66 之间波动。
实时监控告警
在同一仪表盘追踪请求、错误、成本、延迟与 token，任一指标越过阈值即触发告警。属 Free 档能力，Team 档另加自定义仪表盘与高级筛选。
提示词管理
提供协作式 IDE、版本控制、一键部署和发布管理，支持 Jinja 模板与模型试验场。免费档 5 个提示词，Team 档不限量并支持私有提示词。
Respan值不值得用？
当你要把多个模型供应商收敛成一个端点、同时还想评估版本优劣时，Respan 值得一试——免费档给了 100k logs、1k scores 和 2 个评估器，足够验证一条智能体链路，切换模型只需改一个词，降级机制宣称把可用性从单供应商的 96.43% 提到 99.99%。当团队规模超过 5 人、或需要自托管和 SAML 时，就要按 Team 档 $199 per month 或 Enterprise 重新算账。如果只是单人做一次性提示词调试、不需要网关和监控，平台的评估与追踪模块会比较重。
建议选它的情况
- 同时调用多个模型供应商、需要自动降级和重试保障可用性的应用
- 要用真实生产流量做回归评估、并按分数分布决定是否上线的团队
- 需要按密钥或客户设置预算限额、防止支出失控的项目
- 有 5 人以内小团队协作、想先用免费档起步再扩席位的开发者
不建议选它的情况
- 只做一次性提示词调试、不需要网关和可观测性的个人用户
- 需要立即自托管或 SAML 单点登录但预算有限的组织
- 对数据留存期限要求远超 7 天却不愿升级到 Team 档的场景
Respan使用建议
入门先把路子走对
- 先用免费档开密钥免费档 $0 且无需信用卡，含 100k logs、1k scores、5 datasets、2 evaluators、5 prompts，足够验证一条完整链路再决定是否升级。
- 把 SDK 指向统一端点把现有 SDK 的 base URL 改成 Respan 端点，即可触达 1,000+ 模型；切换模型时只改动模型名一个词，其余代码不用动。
- 按顺序列出降级模型在网关配置里写明降级顺序，某个模型报错或触发限流时会自动切到下一个，避免单点故障影响线上服务。
- 从生产流量抽测试集在评估模块按筛选条件和采样率从日志中拉取真实请求作为数据集，比手工造用例更贴近用户实际发送的内容。
进阶省时间也省钱
- 用采样率控制评估成本评估器部署在生产 span 上时按状态、客户或线程筛选，并设置采样率控制花费。示例中对 12,480 条请求只采样 2%。
- 缓存高频重复请求把重复度高的调用（如发票摘要、工单分类）纳入缓存，示例数据显示缓存命中 128,402 次即省下 $412.90 与 8.2M tokens。
- 先比分数再上线针对数据集运行新旧模型或提示词，并排比较分数分布，用可量化的胜负决定是否替换，而不是凭手感。
- 席位按需增补Team 档含 5 个成员席位，超出部分按 $15 / member 计费；若只是偶尔有外部协作者，可先评估是否值得加席位。
- 叠加日志加购额度Team 档日志超出后按 $8 / 100k logs 加购，评估分数超出后按 $1 / 1k scores 加购，用之前先估算月增量。
Respan适合谁用？
多模型应用开发者
推荐需要同时调用多家供应商、又想用一套代码切换模型，统一端点加自动降级能减少接入和维护工作量。
智能体上线团队
推荐要对每次智能体运行做追踪、监控和红队测试，并按分数分布决定版本是否上线，评估与监控模块正好覆盖。
5 人以内小团队
推荐Team 档 $199 per month 含 5 个成员席位，超出按 $15 / member 计费，团队规模在这个区间内成本较可控。
有合规要求的组织
有条件SOC 2 报告、HIPAA BAA 与 SAML 单点登录只在 Team 或 Enterprise 档提供，免费档仅支持 Google 登录。
需要长期留存日志的团队
有条件免费档默认留存 7 天、Team 档 30 天，超出需走自定义留存，历史数据要求长的要先确认档位。
单人临时调试用户
不推荐只想快速试一条提示词、不需要网关、追踪和评估链路，平台的多数模块用不上，免费档额度也用不完。
Respan优点和缺点
优点
- 一个端点接入 1,000+ 模型，切换供应商只改一个词
- 带降级时可用性宣称 99.99%，单供应商为 96.43%
- 免费档即含 100k logs、1k scores、2 evaluators
- 评估器可由 LLM 裁判、代码检查、人工评审自由组合
- 可直接抽样 2% 生产流量作为回归测试集
- 预算与速率限制可按密钥、客户或组织分范围设置
缺点
- 免费档日志仅留存 7 天，团队档也才 30 天
- 免费档仅 1 个工作区、评估器上限 2 个
- HIPAA 合规为 $249 / mo 加购
- 文档中网关额外延迟、SDK 语言覆盖官网未公开
- Team 档席位只含 5 个，超出按 $15 / member 计
Respan版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 | 100k logs / 1k scores / 5 datasets / 2 evaluators / 5 prompts | 含完整平台，默认留存 7 天，1 个工作区，席位不限，代理吞吐 412 requests / min |
| Team | $199 per month | 日志与评估器不限量，5 个成员席位 | 含私有 Slack 频道与 SOC 2 报告，默认留存 30 天，代理吞吐 8,400 requests / min，席位超出按 $15 / member |
| Enterprise | Contact us | Custom | 含定制套餐、批量折扣、定制 SLA 与专属支持工程师，支持自托管、SAML 与 HIPAA BAA，按年计费 |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
Respan关键指标
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 带降级的可用性 | 99.99% | 官网首页 |
| 单供应商可用性 | 96.43% | 官网首页 |
| 单供应商可用性最低点 | 66% | 官网首页 |
| 可接入模型数 | 1,000+ models | 官网首页 |
| 免费档日志额度 | 100k logs | 定价页 |
| 免费档评估分数额度 | 1k scores | 定价页 |
| 免费档代理吞吐 | 412 requests / min | 定价页 |
| Team 档代理吞吐 | 8,400 requests / min | 定价页 |
| 免费档默认留存 | 7 days | 定价页 |
| Team 档默认留存 | 30 days | 定价页 |
| Team 档价格 | $199 per month | 定价页 |
| 日志加购价 | $8 / 100k logs | 定价页 |
| 评估分数加购价 | $1 / 1k scores | 定价页 |
| 额外席位价 | $15 / member | 定价页 |
| HIPAA 加购价 | $249 / mo | 定价页 |
| Team 档可用性 SLA | 99.99% | 定价页 |
| 演示缓存命中数 | 128,402 | 官网首页 |
| 演示缓存节省金额 | $412.90 | 官网首页 |
| 演示缓存节省 token | 8.2M | 官网首页 |
Respan常见问题
Respan 免费吗？各档价格是多少？＋
免费档 $0，含完整平台、100k logs、1k scores、5 datasets、2 evaluators、5 prompts，无需信用卡。Team 档 $199 per month，日志、评估器和提示词不限量，含私有 Slack 频道与 SOC 2 报告。Enterprise 需联系销售，提供定制套餐、批量折扣和专属支持工程师。
超出免费额度后怎么计费？＋
日志加购为 $8 / 100k logs，评估分数加购为 $1 / 1k scores，Team 档席位超出 5 个后按 $15 / member 计费。HIPAA 合规作为加购项为 $249 / mo。Enterprise 档走批量折扣。
Respan 的网关能接多少模型？＋
统一端点覆盖 1,000+ 模型，涵盖所有主要供应商，切换模型只需改动一个词。网关还内建请求缓存、自动重试与降级、负载均衡和消费限额，免费档代理吞吐为 412 requests / min，Team 档为 8,400 requests / min。
评估功能具体能做什么？＋
可以把 LLM 裁判、确定性代码检查和人工评审组合成同一个评估器，把任意输出转成单一分数。既能在测试集上跑，也能部署到生产 span 上按状态、客户或线程筛选并采样。还支持从日志拉取真实请求或上传 CSV 构建数据集，再并排比较不同模型或提示词的分数分布。
日志和追踪数据保留多久？＋
免费档默认留存 7 天，Team 档为 30 天，Enterprise 可自定义留存期限。Team 及以上支持条件留存、PostHog 集成、JSONL 与 CSV 批量导出以及定时 webhook。
支持自托管和 SAML 单点登录吗？＋
免费档和 Team 档均为云端部署，自助托管在 Enterprise 档提供。登录方式上免费档与 Team 档支持 Google，SAML 在 Enterprise 档提供，管理员角色也只在 Team 档以上为高级模式。
Respan竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Respan本工具 | 4.4 | Free $0；Team $199 per month；Enterprise 需联系销售 | 统一模型端点；自动降级与重试；响应缓存；预算与限额 | Web / API |
| HoneyHive | — | 免费档每月 10,000 事件；企业档需联系销售定价 | 面向 LLM 应用的 AI 可观测性和评估平台 | Web / API |
| Datadog | — | 官网未公开具体费率，提供整条产品套件 14 天免费试用 | 统一的云监控、可观测性、安全与事件响应平台 | Web |
| Scorecard | — | Starter $0/Month；Growth $299/Month；Enter | 用于评估、优化和交付 AI 代理的平台 | Web |
| Higress.AI | — | Serverless 标准版 0 元起步，按实际用量付费 | 用于 AI Agent 开发和 LLM API 管理的 AI 原生 API 网关 | Web / API |
| OfoxAI | — | 仅列出视频模型按秒计费 | 统一的 API 网关，可访问 GPT、Claude 和 Gemini 等 100 多种大 | Web / API |
