真实用户仿真
由 LLM 驱动的模拟用户以文本和语音方式逐轮推动智能体，像真实世界一样施压，在正式上线前暴露问题。
价格Developer €0 永久免费；Growth €29/core-seat/月；Enterprise 定制。
平台Web / Self-hosted / API
归类大模型与开发平台
收录2025-01-01
复核2025-01-01
编辑评分
4.5 / 5
★★★★☆
LangWatch编辑总结
LangWatch 是面向 LLM 应用与 AI 智能体的仿真测试、评估与可观测平台，主打「用循环工程做智能体测试」。它通过模拟真实用户（文本与语音）多轮驱动智能体，配合 Judge agent 给出带推理过程的判定，并支持在本地与 CI 中运行同一套场景。平台原生支持 OpenTelemetry GenAI 规范，可追踪每一次工具调用、技能与 MCP 调用，并统计 token、成本与缓存。定价上 Developer 档 €0 永久免费，含 50k events/月、2 用户；Growth 档 €29/core-seat/月，含 200k events。短板在于免费档仅 2 用户、3 个场景，数据仅保留 14 天，规模化使用需按 events 付费。
LangWatch是什么？
LangWatch 是一个面向 AI 智能体的仿真测试、评估与可观测平台，定位为把「手工测智能体」替换为可持续运行的自动化测试循环。它面向需要把智能体推向生产环境的工程团队，同时也提供让 PM 用自然语言描述目标、由 Langy 自动生成测试计划的工作流。
可确认的现状看，平台由三大能力组成：Simulate（仿真）、Evaluate（评估）、Observe（观测）。仿真支持文本与语音的真实用户模拟、红队对抗测试、工具调用校验，并可在 Claude Code 中用自然语言编写场景；评估支持 LLM as a judge、自定义代码或完整工作流打分，可在 Notebook 或 UI 中运行，支持在线评估、成对比较与多模态；观测侧原生支持 OpenTelemetry GenAI 规范，可追踪每个智能体与 token，核算成本与缓存，并提供瀑布图、火焰图、拓扑图与序列图等视图。
对普通用户而言，可从 LangWatch Cloud 注册后几分钟内开始发送 traces；对开发者，可用开源的 Scenario SDK（Python + TypeScript）在 pytest / vitest 与 CI 流水线中运行同一套场景；对团队与受监管行业，可选择自托管（Helm chart 部署到 AWS、Azure、GCP 或裸金属）或 Enterprise 档，获得自定义 SSO / RBAC、审计日志与 SLA。
LangWatch核心功能
多轮对话测试
测试完整的来回对话，而不只是单条提示词；可在任意轮次由 Judge agent 评分并决定通过或失败。
红队对抗测试
用对抗性仿真探测越狱、策略违规和不安全的工具调用，在真实用户发现之前先把风险找出来。
Judge 全链路研判
判定器像人一样阅读整条 trace，逐步展开每个环节，因此给出的结论会附带背后的推理依据。
工具与 MCP 追踪
每一次工具调用、技能与 MCP server 都被追踪，并可 mock 或固定为 fixture，以支持确定性运行。
在线评估
对生产流量做实时评估，捕获任意信号并转化为洞察；也可离线对单条输出或整段对话打分。
OpenTelemetry 原生
完整支持 GenAI 规范，trace 可与任意框架及任意兼容 OTel 的技术栈协同工作，无需改写现有代码。
语音智能体测试
端到端语音仿真，覆盖 ElevenLabs、OpenAI Realtime、Twilio、Pipecat、Gemini Live，并注入噪声与打断。
LangWatch值不值得用？
当你的智能体已经复杂到「同一目标有一百条路径」时，LangWatch 值得上：它把规格变成仿真、把仿真变成持续测试，再让失败自动转成修复，形成可重复的循环，并且提供开源 Scenario SDK 与 OpenTelemetry 原生支持，框架无关。当团队只有一两个人在试用大模型、每月调用量很小，或所在组织必须走完全私有化且不愿投入运维时，需要谨慎——免费 Developer 档只有 2 个用户、3 个场景且数据只留 14 天，自托管要走 Helm 部署。
建议选它的情况
- 智能体已在生产环境运行、需要把线上 trace 复现为仿真并验证修复的团队
- 需要同时做回归测试、红队测试与在线评估的一体化工程团队
- 希望用开源 Scenario SDK 在 pytest / vitest 与 CI 流水线中跑同一套场景的开发者
- 受监管行业需要自托管、SSO/RBAC、审计日志与 SLA 的组织
不建议选它的情况
- 仅做单次提示词调试、每月事件量远低于 200k 的个人试用者，免费档的用户与场景限制会成为瓶颈
- 不具备 Kubernetes 运维能力、又必须私有化部署的小团队
LangWatch使用建议
入门先把路子走对
- 先跑免费档在 LangWatch Cloud 注册即可开始，Developer 档 €0 永久免费、无需信用卡，含 50k events/月与 2 用户，适合先验证接入流程。
- 从一条场景开始先用纯自然语言描述你希望测试的行为，让 Scenario 自动生成测试，再在可视化调试器中逐步回放每次运行的每一步。
- 接入 OTel利用 OpenTelemetry 原生支持，把已有 trace 接到 LangWatch，无需改写框架代码即可开始观测。
进阶省时间也省钱
- 用本地 Helm 自托管通过 helm repo add langwatch https://langwatch.github.io/langwatch 拉取 chart，指定命名空间并加载 size-dev 覆盖文件完成部署。
- 关掉 Langy 侧车Langy 以 agent pod 形式包含在同一 umbrella chart 中且默认开启；若不需要，设置 langyagent.chartManaged: false 将其排除。
- 控制存储成本Growth 档含 30 天数据保留，超出后按 €3 / GB 计费，因此可缩短保留窗口或只对关键流量开启长期存储。
- 把失败变成 PR让 Langy 把 PM 的目标转成完整的 Scenario 测试计划，再把失败项转成 pull request，把修复环节也纳入循环。
LangWatch适合谁用？
智能体工程团队
推荐需要把规格、仿真、评估与修复串成持续循环，并希望 trace 与评估在同一平台完成的团队。
产品经理
推荐可用自然语言写目标，无需代码或 YAML，由 Langy 生成场景与 JudgeAgent rubric，让 PM 掌握规格。
受监管行业
推荐Enterprise 档提供混合、自托管或本地部署，自定义数据保留、SSO/RBAC、审计日志与 SLA，以及 ISO 27001 报告。
个人开发者
有条件Developer 档 €0 永久免费但仅限 2 用户、3 个场景与 14 天数据访问，长期多项目使用会受限。
无运维能力的私有化需求方
不推荐自托管需通过 Helm 部署完整技术栈，需具备 Kubernetes 与基础设施运维能力。
LangWatch优点和缺点
优点
- Developer 档 €0 永久免费，含 50k events/月，无需信用卡即可开始
- Growth 档 €29/core-seat/月，含 200k events，超出后 €5 / 100k
- 开源 Scenario SDK 同时提供 Python 与 TypeScript 版本
- OpenTelemetry 原生并完整支持 GenAI 规范，框架无关无需改写
- 私有化可自托管，Enterprise 提供 SSO/RBAC、审计日志与 SLA
- 语音测试覆盖 ElevenLabs、OpenAI Realtime、Twilio、Pipecat、Gemini Live
缺点
- 免费档仅 2 用户、3 个场景、3 次仿真、3 个自定义评估
- 免费档数据访问仅 14 天，长期回溯需要升级
- 自托管需用 Helm 部署，对基础设施能力有要求
LangWatch版本与计费对比
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Developer | €0 free forever | 50k events / month，14-day data access，2 users，3 scenarios, 3 simulations, 3 custom evals | No credit card required，Community support (GitHub & Discord) |
| Growth | €29 / core-seat / month | 200k events included then €5 / 100k，30-day retention included (extend at €3 / GB)，Unlimited lite-users，Unlimited simulations, evals, prompts | Private Slack / Teams support，Volume discounts above 20 users |
| Enterprise | Custom | Hybrid, self-hosted or on-prem，Custom data retention，Custom SSO / RBAC，Audit logs & SLAs | ISO 27001 reports, InfoSec & legal review，Custom Terms, DPA，Forward Deployed Engineer，Billing via AWS / Google Marketplace |
以上为公开费率整理，厂商保留调价权利，实际以官方页面为准。
LangWatch常见问题
LangWatch 多少钱？可以免费用吗？＋
可以。Developer 档为 €0 永久免费，无需信用卡，包含 50k events / 月、14 天数据访问、2 个用户，以及 3 个场景、3 次仿真、3 个自定义评估。Growth 档为 €29 / core-seat / month，含 200k events，超出后 €5 / 100k。Enterprise 为定制报价。
当前平台主要包含哪些能力？＋
平台由 Simulate、Evaluate、Observe 三部分组成：用模拟用户在文本与语音中逐轮驱动智能体；用 LLM as a judge、自定义代码或完整工作流打分，支持在线评估与成对比较；观测侧原生支持 OpenTelemetry GenAI 规范，追踪每个 token、成本与缓存，并提供瀑布图、火焰图、拓扑图与序列图。
它和同类评估工具怎么选？＋
官网未公开与其他评估产品做直接对比，但可确认的差异点是：LangWatch 强调以仿真驱动测试与循环工程，提供开源 Scenario SDK，并完整支持 OpenTelemetry GenAI 规范，可对接 LangGraph、CrewAI、Pydantic AI 等框架，通过单方法适配器接入而不需重写。
国内能用吗？有什么限制？＋
LangWatch Cloud 由官方团队全托管，注册后即可发送 traces；同时提供 Self-Managed 部署，可装到 AWS、Azure、GCP 或裸金属上。选择自托管需要具备 Helm 与 Kubernetes 运维能力，Enterprise 档还要求 ISO 27001 报告、InfoSec 与法务审核。
怎么在本地或 CI 里运行测试？＋
同一套场景可以跑在你的机器上，也可以在每个 pull request 上运行，不需要额外配置。官方的 Scenario SDK 是开源的，提供 Python 与 TypeScript 版本，支持在 pytest / vitest 中执行。
超出套餐额度后怎么计费？＋
在 Growth 档中，200k events 已包含在内，超出部分为 €5 / 100k。数据保留 30 天已包含，如需延长则按 €3 / GB 计费。Enterprise 档可获得基于用量的 events 定价。
LangWatch竞品对比
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| LangWatch本工具 | 4.5 | Developer €0 永久免费；Growth €29/core-seat/月；Enterprise 定制。 | 真实用户仿真；多轮对话测试；红队对抗测试；Judge 全链路研判 | Web / Self-hosted / API |
| Langtrace | — | 未标价 | 开源 LLM 应用程序的可观测性和评估平台，专注于提升模型性能与透明度 | — |
| Query Vary | — | 未标价 | 优化 LLM 应用的提示设计、测试和优化工具 | — |
| Confident AI | — | Free 起，Starter $200 / month，Team $2,000 | 综合性 LLM 评估平台，用于测试、基准测试和提高 LLM 应用性能 | Web / API |
| Langfuse | — | 免费 Hobby 档；Core $29 / month；Pro $199 / m | 开源的 LLM 应用程序分析 | Web / API / Self-hosted |
| LangSmith | — | 未标价 | LLM 应用开发者平台 | — |
