智能体追踪
逐步查看智能体到底在执行什么,定位拖慢延迟、推高成本、拉低回复质量的具体环节,并支持多轮对话的消息线程串联。
拖动滑块完成拼图,通过后发送验证码
独立第三方 AI 评测平台 · 只用实测数据
LangSmith 是 LangChain 推出的智能体可观测性平台,为运行在生产环境中的大模型应用提供端到端追踪、监控与效果评估。它能看清智能体每一步的执行过程,帮助定位影响延迟、成本与回复质量的问题,并支持 Python、TypeScript、Go、Java 四种语言的 SDK,兼容 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 以及 OpenTelemetry 等框架和管线。平台还内置成本追踪、在线评估、告警等能力,并配有专为智能体观测打造的 SmithDB 查询引擎。团队从免费的个人档起步,再按用量付费升级,但自托管与高级安全能力只对企业档开放。
LangSmith 是 LangChain 推出的智能体可观测性平台,面向需要把大模型应用跑在生产环境里的开发者和团队。它解决的核心问题是:智能体执行链路深、调用多、数据量大,出问题后很难知道到底哪一步出了错、哪一步拖慢了速度或抬高了成本。
平台围绕追踪、监控与洞察三块能力展开。追踪方面原生支持主流智能体框架和 OpenTelemetry,提供 Python、TypeScript、Go、Java 的 SDK,并支持多轮对话的消息线程;监控方面可以实时查看智能体表现,用在线评估打分,跟踪成本与调用轨迹,并通过 Webhook 和 PagerDuty 发出告警;洞察方面会自动聚类分析调用记录,发现使用模式、常见行为与失败类型。底层由专为智能体观测设计的 SmithDB 提供查询支持。
不同角色的用法不同。个人开发者可以从免费档起步,先把应用的调用链跑通;团队可以用 Plus 档共享席位、接入部署和 Engine 等能力;对数据驻留和权限有要求的企业则可选择自托管或混合部署,并配置自定义的 SSO、ABAC 和 RBAC。
逐步查看智能体到底在执行什么,定位拖慢延迟、推高成本、拉低回复质量的具体环节,并支持多轮对话的消息线程串联。
提供 Python、TypeScript、Go、Java 四种语言的开发包,你用在哪种技术栈上都能接入,而不局限于某一种框架。
实时查看智能体的运行表现,尽早发现异常、判断影响范围并开始排查,支持自定义仪表盘跟踪你想关注的关键数据。
用在线评估对最关心的特征自动打分,包括 LLM-as-judge 和代码评估两种方式,让质量衡量不必依赖人工逐条翻看。
跟踪 token 使用量、调用成本、延迟(P50、P99)、错误率和反馈分数,并监控工具调用与智能体的执行轨迹。
当指标越过你设定的阈值时,通过 Webhook 和 PagerDuty 发出告警,让问题在影响扩大前就被值班的人看到。
自动分析并聚类调用记录,发现使用模式、常见的智能体行为与失败类型,并给出带核心结论的执行摘要。
专为智能体观测打造的查询引擎,支持单次运行的随机访问、全文搜索、JSON 键路径过滤和轨迹查询,在百万级调用记录上保持亚秒级响应。
如果你已经在生产环境跑智能体,最头疼的是说不清它每一步做了什么、为什么变慢变贵,LangSmith 值得先用免费档把追踪接通,看它能不能把问题指出来。它支持 Python、TypeScript、Go、Java 四种 SDK,也能接 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 和 OpenTelemetry,框架选择上不会被绑定。但要注意,自托管和自定义 SSO、ABAC、RBAC 这些能力只在企业档提供,数据必须留在自己机房里的团队,得先走销售流程;Plus 档 $39 / seat 每月,团队席位一多成本会明显上升。
已经在线上跑智能体、需要逐步骤定位失败与性能问题的工程团队,追踪和监控能力正好对应这类需求。
项目使用 Python、TypeScript、Go 或 Java 的开发者都能接入,不必因为观测工具而更换主力语言。
需要把调用数据留在自己机房、并配置自定义 SSO、ABAC、RBAC 的组织,可以通过企业档满足,但要联系销售。
涉及面向 VC 支持的初创公司提供折扣费率和额度,最高可获 $10,000 额度,但需要走申请流程。
如果只是验证单次问答效果、不看执行链路,追踪、评估、监控这些能力用不上,为它付出接入成本并不划算。
| 方案 | 价格 | 包含内容 | 说明 |
|---|---|---|---|
| Developer | $0 / seat per month | Up to 5k base traces / mo, then pay-as-you-go | 社区支持,1 seat |
| Plus | $39 / seat per month | Up to 10k base traces / mo, then pay-as-you-go | 可使用 Deployment、Engine 等,可添加不限数量席位 |
| Enterprise | Custom pricing | Custom | 自托管与混合部署、自定义 SSO / ABAC / RBAC、支持 SLA、自定义席位与工作区 |
以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。
| 指标 | 数值 | 数据来源 |
|---|---|---|
| LSU 单价 | $1.00 / LSU | LangSmith 官网定价页 |
| Trace 查询提速 | 12x(860ms 降至 71ms) | LangSmith 官网 SmithDB 对比 |
| Thread 查询提速 | 9x(1.16s 降至 131ms) | LangSmith 官网 SmithDB 对比 |
| 全文搜索提速 | 15x(6.20s 降至 400ms) | LangSmith 官网 SmithDB 对比 |
| 过滤查询提速 | 6x(530ms 降至 82ms) | LangSmith 官网 SmithDB 对比 |
有免费档。Developer 档为 $0 / seat 每月,包含 1 个席位和每月 5k base traces,超出后按量付费。面向团队的是 Plus 档,$39 / seat 每月,包含每月 10k base traces,并可添加不限数量的席位。企业档为定制价格,提供自托管和混合部署、自定义 SSO、ABAC、RBAC 以及支持 SLA,需要联系销售。具体费率以官方页面为准。
官网说明它能配合任意 LLM 框架使用,可以追踪用 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 或自研实现构建的应用,并不局限于 LangChain 本身。同时提供 Python、TypeScript、Go、Java 四种语言的 SDK,并支持 OpenTelemetry,可接入已有的观测管线。
SmithDB 是专为智能体观测打造的查询引擎。指出,智能体的调用记录嵌套很深、负载很重,一次对话可能跨数十次运行和工具调用、产生数 MB 数据,通用数据库能存但并非按团队的查询方式设计。SmithDB 支持单次运行的随机访问、全文搜索、JSON 键路径过滤和轨迹查询,并宣称在百万级调用记录上保持亚秒级响应。
说明自定义仪表盘可以跟踪 token 使用量、延迟(P50、P99)、错误率、成本明细和反馈分数,并可在指标越过阈值时通过 Webhook 或 PagerDuty 配置告警。此外还提供在线 LLM-as-judge 与代码评估、工具与智能体轨迹监控等能力。
未说明国内访问情况。数据驻留方面,企业档提供自托管和混合部署选项,可以把 SmithDB 部署在自己的 VPC 内,让敏感调用记录不离开自有基础设施;部署是对象存储和 Postgres 上的三个无状态组件,无需本地磁盘或复杂分片。具体可用性以官方页面为准。
涉及面向获得 VC 投资的初创公司提供折扣费率和额度,最高可获 $10,000 额度,页面设有 LangSmith for Startups 入口。具体申请条件和额度。
提供 LangSmith Usage Calculator,按 LSU(LangChain Standard Units)计价,单价为 $1.00 / LSU。填入智能体的实际负载即可得到月度估算。特别说明这只是估算值,实际 LSU 消耗会随智能体执行的工作而变化。
| 工具 | 编辑评分 | 价格 | 核心功能 | 平台 |
|---|---|---|---|---|
| LangSmith本工具 | 4.3 | 免费档 $0,Plus 档 $39 / seat 每月,企业档定制价格 | 智能体追踪;多语言 SDK;生产监控面板;在线评估打分 | Web / API |
| Inductor Custom Playgrounds | — | 未标价 | 开发者首选的 LLM 应用开发实验和协作平台 | — |
| LLM Spark | — | 按 AI Credits 计费,不同模型消耗倍率不同,超额可购买附加额度 | 构建 LLM 应用的开发平台 | Web / API / WhatsApp |
| Langfuse | — | 免费 Hobby 档;Core $29 / month;Pro $199 / m | 开源的 LLM 应用程序分析 | Web / API / Self-hosted |
| LangWatch | — | Developer €0 永久免费;Growth €29/core-seat/月 | LLM 可观察性和评估平台,用于监控、评估和优化 LLM 应用程序 | Web / Self-hosted / API |
| Query Vary | — | 未标价 | 优化 LLM 应用的提示设计、测试和优化工具 | — |