模拟通话测试
用五步流程生成模拟对话,替掉人工打电话抽查。改完提示词或流程后,先跑一遍模拟再上线,不用拉真人反复试打,覆盖的场景也比人工抽查多。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Relyable 是一款面向 AI 语音代理的测试与监控工具,帮团队在上线前把语音机器人跑一遍模拟对话,上线后持续盯着通话质量。它的工作方式分三块:模拟测试、按评分标准打分、实时告警。适合正在做电话客服、外呼或语音助手的产品与测试团队,尤其是被「改一句提示词就不知道会不会翻车」困扰的开发者。它本身不生产语音代理,只负责验收和看护别人的代理。
Relyable 的定位是 AI 语音代理的质检环节。语音机器人上线前后,团队通常靠人工打电话抽查,成本高、覆盖少、复现难;它把这件事自动化,用模拟通话替代人工试打,用评分标准替代主观印象。
能力主要分三块。一是自动化测试,用五步流程把模拟对话跑起来;二是评估,按评分标准(Rubric)给每轮对话打分,而不是只给一个总分;三是线上监控,对话出现问题时第一时间告警,不用等客户投诉。集成方式主打无代码加 API 优先,既能给不写代码的测试人员用,也能接进已有流水线。
不同角色用法不同。测试与客服运营人员走无代码界面,配好场景和评分标准就能批量跑;开发者走 API,把语音代理的每次改动挂进 CI,改动生效前先过一遍回归;团队负责人看的是评估结果和告警记录,用来判断这一版能不能上、上线后有没有退化。它覆盖的行业基于真实语音场景,不是通用文本对话的套壳。
用五步流程生成模拟对话,替掉人工打电话抽查。改完提示词或流程后,先跑一遍模拟再上线,不用拉真人反复试打,覆盖的场景也比人工抽查多。
按事先定义的评分标准(Rubric)给对话逐项打分,而不是笼统给个好或不好。评分标准由使用者自己定,因此可以把业务里真正在意的点写成可量化的检查项。
面向已经上线的语音代理,通话过程中出现异常就发告警,不必等客户投诉或事后复盘才发现。适合线上量大、人工听不过来的场景。
内置的场景建立在真实语音行业之上,面向电话客服、外呼、语音助手这类以通话为主的任务,而不是把通用文本对话评测直接搬过来用。
不写代码也能在界面上配置测试与评估;同时提供 API 优先的接入方式,把语音代理的每次改动挂进已有的开发与发布流程里做回归。
正在做电话客服或外呼机器人,改一版就要担心上一版能用的对话被改坏。用 API 把评估挂进发布流程,改动生效前先过一遍回归,省下人工试打的功夫。
负责听通话、查质量,人工抽听覆盖有限。走无代码界面配置评分标准后批量评估,能把注意力放在评分低的对话上,而不是平均用力听每一通。
代理已经在跑,担心的是出了问题没人及时发现。实时监控能第一时间告警,比等客户投诉或月底复盘更早暴露故障。
评测对象是网页或 App 里的文字对话,不涉及真实通话。这类任务用不上语音模拟与通话监控,拿它来测文本对话属于跑偏。
语音代理本身还没定下来,暂时没有可测对象。先把代理做出来、能跑通对话,再来接测试与监控更合适,否则工具配好了也没东西可跑。
它不生产语音代理,而是给已经做好的语音代理做质检。团队把代理接进来,它用模拟对话在上线前跑测试、按评分标准打分,上线后继续监控通话并在出问题时告警。也就是说语音机器人负责跟客户说话,它负责判断说得对不对、有没有出故障。
先把业务里在意的检查点写成评分标准,再配置模拟对话场景,然后跑测试并看每轮的评分结果。整个过程可以在无代码界面上完成;如果团队有开发流程,也可以用 API 把评估挂进去,让每次改动自动跑一遍,不用靠人工反复打电话试。
评分标准由使用者定义,需要自己写。这既是它的灵活之处——能把确认身份、说明费用这类业务要求变成可打分的检查项;也是前期的主要工作量,标准定得含糊,跑出来的分数就没法用来判断能不能上线。建议先照着线上出过问题的对话反推检查点。
人工抽查覆盖少、复现难,同一个问题这次听到、下次未必能再碰到。它用模拟对话批量跑,场景可以固定下来反复复测,改一版就能看有没有退化;线上监控则补上人工听不过来的部分,通话一出异常就告警,不必等客户投诉才发现。
不适合。它的场景、评估和监控都是围绕真实语音通话搭的,面向电话客服、外呼、语音助手这类任务。如果你的客服机器人只处理网页或 App 里的文字对话,用不上它的语音模拟和通话监控,应该去找偏文本对话评测的工具。
看走哪条路。无代码界面能让测试或运营人员自己配置场景和评分标准,不必等排期;要把评估接进持续集成、每次改动自动回归,就需要开发用 API 接入。没有开发资源也能用,只是自动化程度会低一些,跑测试还得手动触发。
只要人工已经听不过来就该开。监控的价值在于通话出异常时立刻告警,而不是等月底复盘才发现一批对话都坏了。线上的对话量越大,人工抽听覆盖的比例越低,越依赖自动告警。刚开始用建议先校准告警阈值,避免误报太多导致没人再看。