上线前模拟压测
在客户来电之前,把代理放到数百个模拟来电者面前跑测试,每个对话都单独评分。模拟来电者包含愤怒型、絮叨型、打断型等人格,覆盖真实通话类型。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Roark 是用于语音 AI 代理的 QA 与可观察性平台,定位不是代理构建器,而是在已有的语音代理上线前后做测试、监控与改进。它支持用数百个模拟来电者在发布前压测代理,并在生产环境按 500+ 音频原生指标为每一通电话打分,还可跑红队测试、回归测试并接入 CI。对接 Vapi、Retell、LiveKit、Pipecat 等主流栈,起步送 $50 免费额度、无需信用卡,按量计费,付费档从 $500/月起、企业档 $4,000+ 起。官网未公开具体的准确率基准与国内可用性说明。
Roark 是一个面向语音 AI 代理的 QA 与评估平台。它的定位明确不是代理构建器,而是针对已经运行的语音代理做质量验证与可观察性,其为「语音 AI 的 QA 与评估平台」,目标用户是已经部署语音代理、需要在发布前和生产中持续验证质量的团队,覆盖支持、销售、医疗等场景。
产品能力分为几块:上线前的模拟测试,用数百个模拟来电者(包含真实人格、口音、背景噪音与边界情况)对代理压测并逐通打分;红队测试,用对抗性来电者尝试提示注入、越狱、社工攻击,验证代理在受攻击时仍守住策略;生产环境的通话后分析,对每一通上线电话按 500+ 指标评分并归档问题、触发告警、输出仪表盘与 OTEL trace;以及回归测试与 CI 集成,每次提示或模型变更都跑整套测试并与上一个绿色基线对比。平台自研音频模型直接在通话音频上评估,而不只看 LLM 对文本的评分。
不同角色的用法不同:测试与 QA 人员用模拟与红队套件在发布前验证代理;工程团队把套件接入 CI,在合并前设质量门禁并做回归对比;运维与合规团队用生产监控、通话回放和仪表盘持续跟踪线上质量。平台支持 45 种语言与口音,提供 REST API、MCP server、CLI 与 SDK,并通过 SOC 2 Type II、HIPAA BAA。
在客户来电之前,把代理放到数百个模拟来电者面前跑测试,每个对话都单独评分。模拟来电者包含愤怒型、絮叨型、打断型等人格,覆盖真实通话类型。
用对抗性来电者主动尝试攻破代理,包括提示注入、越狱和社工攻击,验证代理在受攻击时是否仍能守住既定策略,问题会在上线前作为 issue 归档。
对生产环境的每一通电话按 500+ 指标实时评分,指标基于自研音频模型直接分析通话音频,而不只是用 LLM 对转写文本打分,衡量的是客户实际听到的内容。
每次提示或模型变更都重跑整套测试,并与上一个绿色基线做 diff,避免修好一个来电者却弄坏另一个。套件可接入 CI,在合并前设质量门禁。
覆盖 45 种语言与口音,包含原生口音、语码转换与背景噪音,支持代理承接的各个市场。语种范围写进所有付费档,不限档位。
提供峰值并发压力测试与常开健康检查,确保在预发环境通过的代理能扛住上线当天的真实流量。发条数按档位配置,超出可加购。
对上线通话持续监控,问题自动归档、告警触发,提供仪表盘、保存报告与 OTEL trace,通话可回放,语音通话与聊天线程都能覆盖。
可对接 Vapi、Retell、LiveKit、Pipecat 等主流语音栈,也提供 REST API、MCP server、CLI 与 skills,方便把评估流程嵌进既有工程链路。
如果你的团队已经在跑语音代理、又缺少一套可复现的质量验证手段,Roark 值得当作评估层来用:它不重建代理,而是在你现有栈之上做模拟压测、红队、生产评分与 CI 回归。$50 免费额度、无需信用卡,把现成的 Vapi 或 Retell 代理接进去跑一轮套件,就能判断它的评分是否对你有用。要对标合规的团队还会看重 SOC 2 Type II 与 HIPAA BAA。要注意的是按量计费的账单需要事先估量:模拟 $0.15/分钟加供应商成本,指标评估 $0.04/指标/分钟,跨过 $500 月用量后团队档费率更划算。涉及跨境与数据合规时要先确认。
需要在上线前系统性验证代理行为、并在上线后持续追踪质量,模拟套件与 500+ 指标可覆盖发布前后两端。
把评估套件接入 CI、设质量门禁并做回归 diff,能在合并前拦住行为退化,减少线上排查成本。
需要对每次通话做合规评分并可举证,产品提供 SOC 2 Type II 与 HIPAA BAA,企业档再加 SSO、RBAC 与数据驻留。
已有语音栈、想补一层评估能力,可直接对接跑通;但按量计费在通话量大时成本上升快,需先估用量。
产品不做代理构建,尚未确定语音框架、需要一站式搭建能力的团队不适合作为起点。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Pay as you go | $0 | $50 免费额度;模拟 $0.15/分钟加供应商成本;指标评估 $0.04/指标/分钟;项目 1 个、席位 5 个、并发 10 条;trace 保留 45 天 | 适合单人、新代理与试用 |
| Team | $500/月 | 按用量消耗 $500 额度;模拟 $0.10/分钟加供应商成本;指标评估 $0.02/指标/分钟;项目 5 个、席位 10 个、并发 25 条;trace 保留 90 天 | 适合扩展中团队,约 3,300+ 分钟/月 |
| Enterprise | $4,000+ 起 | 承诺用量、开票结算;模拟 $0.05/分钟起加供应商成本;指标评估享批量折扣;项目、席位不限;并发含 100 条、可自定义;trace 保留自定义 | 含 SSO/SAML 与 SCIM、RBAC、IP 白名单、数据驻留与扩展保留、自定义安全审查、签署 DPA、Uptime SLA |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
按量计费、没有席位许可费。起步送 $50 免费额度,无需信用卡;团队档 $500/月、按用量消耗;企业档 $4,000 起、开票结算。模拟费从按量档 $0.15/分钟起、到企业档 $0.05/分钟,指标评估从 $0.04/指标/分钟降到 $0.02。
可以。注册即送 $50 免费额度,不需要绑定信用卡、没有最低消费。额度可用于模拟与生产监控,用完后按量付费或升级到团队档。
不冲突,它不做代理构建,而是叠加在你现有的语音栈之上做评估与监控,已支持 Vapi、Retell、LiveKit、Pipecat,也提供 REST API、MCP server、CLI 与 skills。
上线前用模拟来电者与红队测试验证行为,上线后按 500+ 音频原生指标对每通电话评分,覆盖发音、共情、问题解决与合规项,并输出 issue、告警、仪表盘与 OTEL trace。
指标基于转写评分。你自己提供转写则通话后转写免费;不自带时由平台按 $0.024/分钟转写,各档费率相同。Roark 自己拨出的通话,电信与 STT/TTS 的供应商成本按原价透传、不加价。
覆盖 45 种语言与口音,包含原生口音、语码转换与背景噪音,所有付费档都包含这一项,不限档位。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Roark本工具 | 4.2 | 起步 $50 免费额度,付费档 $500/月起,企业档 $4,000+ 起 | 上线前模拟压测;红队与对抗测试;500+ 音频原生指标;回归测试与 CI | Web / API |
| Cekura | — | Pay as you go $0 起,语音测试 $0.25/分钟,监控通话 $0 | 自动化对话 AI 语音代理的 QA、测试和可观察性 | Web / API |
| Traceroot.AI | — | 免费档 $0/月,Starter $30/月,Pro $200/月,Enterp | 原生 AI 的开源可观察性,提供自动化的错误修复和调试 | Web / CLI / API |
| QASolve | — | 未标价 | 基于 AI 的 QA 平台,提供自动化软件测试和高速度 QA 服务 | — |
| Testfox | — | 未标价 | 人工智能驱动的测试管理,适用于 QA 和敏捷团队 | — |
| App Quality Copilot | — | 未标价 | Maestro Cloud 上的 AI 自动化 QA 和测试 | Web / CLI / 桌面应用 |