生产链路追踪
记录每一次模型调用与工具调用,展示输入、输出、延迟和成本,方便定位线上真实运行与预期行为的差距。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
Traceroot.AI 是 Y Combinator 支持的、面向 AI 智能体的开源自我改进层。它追踪生产环境里的模型调用与工具调用,用 LLM 判别器评估运行质量,把判别结果聚合成改进信号,再由后台编码智能体结合 GitHub 代码给出改动建议。CLI 把编码智能体接进 Home、traces、dashboards、detectors、evals、datasets、signals 和 alerts。提供 Python 与 JS/TS 原生 SDK,兼容 OpenTelemetry,集成超过 40 个框架与模型提供方。免费档每月 $0,含 50k events、2 seats 和 15 天留存。
Traceroot.AI 由 Y Combinator 支持,定位是面向 AI 智能体的开源自我改进层,核心工作是把生产环境的追踪数据变成可执行的反馈与评估,闭环交给用户自己的编码智能体去执行。
形态上分两块:一是追踪与检测,记录每一次模型调用和工具调用的输入、输出、延迟与成本,用 LLM 判别器定义「好的行为」并自动标出未达标的线上运行;二是信号与修复,把判别输出聚类成改进信号,由后台编码智能体在 Daytona 沙箱里结合接入的 GitHub 代码排查,把改动建议给到 commit、文件和行号级别,改完再用离线评估对比版本验证。告警可以推到 Slack。
接入方式对开发者友好:Python 和 TypeScript 都有原生 SDK,对已有框架是即插即用,并且完全兼容 OpenTelemetry;模型提供方覆盖 OpenAI、Anthropic、Google Gemini、Mistral、DeepSeek、LiteLLM、OpenRouter 等,宣传页写的是 40+ Integrations。日常操作走 agent-native CLI,登录后可以列 traces、看单条 trace 的 span 树与耗时、导出 trace 包、管理 datasets 与 evals。
记录每一次模型调用与工具调用,展示输入、输出、延迟和成本,方便定位线上真实运行与预期行为的差距。
用 LLM 判别器定义什么是好的行为,自动标记未达标的线上运行,把「错误的回答看起来像成功运行」这类问题显性化。
把大量判别器输出聚合成改进信号,后台编码智能体在 Daytona 沙箱里结合接入的 GitHub 代码排查 traces,把建议落到 commit、文件和行号。
针对 datasets 运行的评估支持版本对比,用来衡量改进是否生效、以及是否引入了新的回归,配合线上流量形成循环。
detector 检测到问题后可以把告警推到 Slack,让团队在协作工具里直接看到线上异常,而不必盯着 dashboard。
traceroot-cli 通过 npm 全局安装,登录后可列出和查看 traces、导出 trace 包、管理 datasets 与 evals,让编码智能体直接读写工作区上下文。
官方说明 ↗Python 与 TypeScript 提供原生 SDK,对 LangGraph、Vercel AI SDK、Mastra、CrewAI、Agno、Google ADK、Pydantic AI 等框架即插即用,并兼容 OpenTelemetry。
智能体过了测试但线上仍出问题,需要追踪真实调用、定位失败并验证修复,免费档 50k events 可以先摸清量级。
CLI 让 Claude Code、Codex 等编码智能体直接读 traces、signals 和工作区上下文,改动建议能落到文件与行号,适合习惯让智能体动手的人。
核心价值来自生产流量的追踪与闭环,没有线上量时 detector、signal 和评估对比都跑不起来,免费档额度也用不满。
SOC 2 Type II、HIPAA、ISO 27001 均标注为 In Progress,尚未完成认证,受监管行业选型前需要评估这一点。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Free | $0 per month | 2 seats;50k events/month;15-day retention;30 chat runs/month;30 RCA runs/month;100 detector runs/month | 含 Discord support,detector 的 Slack 告警,BYOK 或托管 LLM |
| Starter | $30 per month | Unlimited seats;150k events/month included,$4 per 50k overage events;30-day retention;100 chat runs/month,$10 per 100 overage chat runs;100 RCA runs/month,$10 per 100 overage RCA runs;Unlimited detector runs | 含 Free 全部内容,Discord support,Hosted LLM: token cost × 1.05 on overage |
| Pro | $200 per month | 包含 Starter 全部内容;90-day retention;Higher rate limits | Discord + Slack support |
| Enterprise | Custom | 包含 Pro 全部内容;Custom retention;SLA support | Discord + Slack + SLA support,Contact Sales |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| 集成数量 | 40+ Integrations | https://traceroot.ai |
| 免费档月度事件额度 | 50k events/month included | https://traceroot.ai |
| Starter 档月度事件额度 | 150k events/month included,$4 per 50k overage events | https://traceroot.ai |
| 免费档 seats | 2 seats | https://traceroot.ai |
| datasets 单次读取上限 | --limit <n> — 200 by default, up to 1000 | https://traceroot.ai/docs/cli/get-started |
有免费档,$0 每月,包含 2 seats、50k events/month、15 天留存,以及 30 chat runs、30 RCA runs、100 detector runs,还带 detector 的 Slack 告警。免费开始不需要信用卡。如果量级上来,Starter 档 $30/月 起。
解决的是一类具体现象:智能体通过了测试,但线上仍然给出错误答案,而这些错误跑起来像成功运行;或者工具循环白白消耗时间和 token;或者提示词和模型一变就出现手工抽检发现不了的回归。Traceroot 把这些失败转成清晰的修复建议并验证。
流程分四步。先接入追踪,记录模型和工具调用;再用 LLM 判别器检测,标出未达标的运行;然后把判别输出聚类成改进信号,后台编码智能体在 Daytona 沙箱里结合代码排查,给出到 commit、文件和行号级别的建议;最后用离线评估对比版本验证,新的生产流量再启动下一轮。
Python 和 TypeScript 有原生 SDK,LangGraph、Vercel AI SDK、Mastra、CrewAI、Agno、Google ADK、Pydantic AI 等框架即插即用,并且完全兼容 OpenTelemetry。模型提供方覆盖 OpenAI、Anthropic、Google Gemini、Mistral、DeepSeek、LiteLLM、OpenRouter 等,宣传页标注 40+ Integrations。
npm 全局安装 traceroot-cli,traceroot login 校验 API key 并保存凭据,traceroot status 查看凭据对应的 workspace、project 和 host。可以列出和查看 traces(含 span 树、耗时、输入输出预览),导出完整 trace 包,管理 datasets 及其版本,以及查看 evals 和每次运行的计数、各 scorer 均值与单例成本。
可以。CLI 被设计成 agent-native,编码智能体能读取 traces、signals 和工作区上下文,也能管理 detectors、datasets、evals、dashboards 和 alerts。连接是双向的,只有 traces 是单向指向智能体。
Starter 档 $30/月 含 150k events,超量 $4 per 50k overage events,留存 30 天;chat runs 100 次/月,超量 $10 per 100 overage chat runs;RCA runs 同样 100 次/月起、超量 $10 per 100。detector runs 在 Starter 档不限量,托管 LLM 超量按 token cost × 1.05 计。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| Traceroot.AI本工具 | 4.1 | 免费档 $0/月,Starter $30/月,Pro $200/月,Enterprise 定制 | 生产链路追踪;Detector 检测器;信号聚类与定位;离线评估与对比 | Web / CLI / API |
| Cekura | — | Pay as you go $0 起,语音测试 $0.25/分钟,监控通话 $0 | 自动化对话 AI 语音代理的 QA、测试和可观察性 | Web / API |
| Roark | — | 起步 $50 免费额度,付费档 $500/月起,企业档 $4,000+ 起 | 用于可靠语音 AI 代理的 QA 和可观察性平台 | Web / API |
| Bennu AI | — | 官网未公开定价信息 | 用于 DevOps、基础设施自动化、代码部署和错误修复的自主 AI 助手 | Web |
| RagaAI | — | 未标价 | RagaAI Catalyst 是一个用于观察、评估和调试 AI 代理的平台,助力开发者 | — |
| Intrace | — | 未标价 | 基于人工智能的开源情报平台,提供自动化情报收集和分析 | Web |