LangSmith

LangSmith

AI TOOL PROFILE工具资料

面向 AI 智能体的可观测性平台,追踪每一步执行

官网地址 https://www.langchain.com/langsmith

访问官网
价格免费档 $0,Plus 档 $39 / seat 每月,企业档定制价格
平台Web / API
归类大模型与开发平台
收录2024-01-01
复核2025-01-01
编辑评分 4.3 / 5

LangSmith编辑总结

EDITOR REVIEW编辑评测

LangSmith 是 LangChain 推出的智能体可观测性平台,为运行在生产环境中的大模型应用提供端到端追踪、监控与效果评估。它能看清智能体每一步的执行过程,帮助定位影响延迟、成本与回复质量的问题,并支持 Python、TypeScript、Go、Java 四种语言的 SDK,兼容 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 以及 OpenTelemetry 等框架和管线。平台还内置成本追踪、在线评估、告警等能力,并配有专为智能体观测打造的 SmithDB 查询引擎。团队从免费的个人档起步,再按用量付费升级,但自托管与高级安全能力只对企业档开放。

LangSmith是什么?

LangSmith 是 LangChain 推出的智能体可观测性平台,面向需要把大模型应用跑在生产环境里的开发者和团队。它解决的核心问题是:智能体执行链路深、调用多、数据量大,出问题后很难知道到底哪一步出了错、哪一步拖慢了速度或抬高了成本。

平台围绕追踪、监控与洞察三块能力展开。追踪方面原生支持主流智能体框架和 OpenTelemetry,提供 Python、TypeScript、Go、Java 的 SDK,并支持多轮对话的消息线程;监控方面可以实时查看智能体表现,用在线评估打分,跟踪成本与调用轨迹,并通过 Webhook 和 PagerDuty 发出告警;洞察方面会自动聚类分析调用记录,发现使用模式、常见行为与失败类型。底层由专为智能体观测设计的 SmithDB 提供查询支持。

不同角色的用法不同。个人开发者可以从免费档起步,先把应用的调用链跑通;团队可以用 Plus 档共享席位、接入部署和 Engine 等能力;对数据驻留和权限有要求的企业则可选择自托管或混合部署,并配置自定义的 SSO、ABAC 和 RBAC。

LangSmith核心功能

CAPABILITIES工具标签

智能体追踪

逐步查看智能体到底在执行什么,定位拖慢延迟、推高成本、拉低回复质量的具体环节,并支持多轮对话的消息线程串联。

多语言 SDK

提供 Python、TypeScript、Go、Java 四种语言的开发包,你用在哪种技术栈上都能接入,而不局限于某一种框架。

生产监控面板

实时查看智能体的运行表现,尽早发现异常、判断影响范围并开始排查,支持自定义仪表盘跟踪你想关注的关键数据。

在线评估打分

用在线评估对最关心的特征自动打分,包括 LLM-as-judge 和代码评估两种方式,让质量衡量不必依赖人工逐条翻看。

成本与轨迹监控

跟踪 token 使用量、调用成本、延迟(P50、P99)、错误率和反馈分数,并监控工具调用与智能体的执行轨迹。

告警通知

当指标越过你设定的阈值时,通过 Webhook 和 PagerDuty 发出告警,让问题在影响扩大前就被值班的人看到。

Insights 洞察

自动分析并聚类调用记录,发现使用模式、常见的智能体行为与失败类型,并给出带核心结论的执行摘要。

SmithDB 查询

专为智能体观测打造的查询引擎,支持单次运行的随机访问、全文搜索、JSON 键路径过滤和轨迹查询,在百万级调用记录上保持亚秒级响应。

LangSmith值不值得用?

VERDICT工具标签

如果你已经在生产环境跑智能体,最头疼的是说不清它每一步做了什么、为什么变慢变贵,LangSmith 值得先用免费档把追踪接通,看它能不能把问题指出来。它支持 Python、TypeScript、Go、Java 四种 SDK,也能接 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 和 OpenTelemetry,框架选择上不会被绑定。但要注意,自托管和自定义 SSO、ABAC、RBAC 这些能力只在企业档提供,数据必须留在自己机房里的团队,得先走销售流程;Plus 档 $39 / seat 每月,团队席位一多成本会明显上升。

建议选它的情况

  • 已经在生产环境运行智能体、需要逐步骤排查问题的团队
  • 技术栈不在 LangChain 生态内、但需要统一观测管线的团队
  • 希望把敏感调用数据留在自己机房、愿意走企业采购流程的组织
  • 需要把成本、延迟、错误率做成仪表盘并对接告警的运维团队

不建议选它的情况

  • 还在原型阶段、只做单次问答验证、不需要追踪链路的个人开发者
  • 明确不接受按用量付费模式、只想要一口价套餐的团队
  • 需要开箱即用的自托管能力、又不想购买企业档的用户

LangSmith使用建议

HOW TO USE工具标签
入门先把路子走对
  1. 先用免费档接通追踪Developer 档每月包含 5k base traces,单人席位免费,先用它把一条完整调用链接通,确认能看到每一步再做下一步。
  2. 选对语言的 SDK官网提供了 Python、TypeScript、Go、Java 四种 SDK,按你项目实际使用的语言装对应的包,避免为了接观测而改技术栈。
  3. 已有观测设施就用 OTel如果你团队已经有基于 OpenTelemetry 的观测管线,直接用它把数据送进来,不必推翻现有设施另建一套。
进阶省时间也省钱
  1. 用用量计算器估成本官网提供使用量计算器,以 LSU 为计量单位,$1.00 / LSU,先按智能体的实际负载估算每月开销再决定档位。
  2. 盯住超出免费额度后的单价免费额度用完之后按量计费,trace 量大的项目要提前估算超出部分的成本,避免账单超出预期。
  3. 敏感数据走自托管如果调用记录包含不能外发的信息,选企业档把 SmithDB 部署在自己的 VPC 内,数据不用离开你的基础设施。
  4. 用告警替代人工盯盘给关键指标配好 Webhook 或 PagerDuty 阈值告警,让指标越线时自动通知值班的人,不必一直守在仪表盘前。

LangSmith适合谁用?

WHO IS IT FOR工具标签

生产环境的智能体团队

推荐

已经在线上跑智能体、需要逐步骤定位失败与性能问题的工程团队,追踪和监控能力正好对应这类需求。

多语言技术栈开发者

推荐

项目使用 Python、TypeScript、Go 或 Java 的开发者都能接入,不必因为观测工具而更换主力语言。

有合规要求的企业

有条件

需要把调用数据留在自己机房、并配置自定义 SSO、ABAC、RBAC 的组织,可以通过企业档满足,但要联系销售。

预算敏感的初创团队

有条件

涉及面向 VC 支持的初创公司提供折扣费率和额度,最高可获 $10,000 额度,但需要走申请流程。

只做原型的个人开发者

不推荐

如果只是验证单次问答效果、不看执行链路,追踪、评估、监控这些能力用不上,为它付出接入成本并不划算。

LangSmith优点和缺点

PROS & CONS工具标签

优点

  • 免费档每月含 5k base traces,单人席位 $0,可先验证再付费
  • 提供 Python、TypeScript、Go、Java 四种 SDK,框架选择不受限
  • 支持 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex
  • 原生支持 OpenTelemetry,可接入已有的观测管线
  • SmithDB 宣称在百万级调用记录上保持亚秒级响应
  • 企业档支持自托管和混合部署,可配置 SSO、ABAC、RBAC

缺点

  • 自托管与自定义 SSO、ABAC、RBAC 仅企业档提供且需联系销售
  • Plus 档 $39 / seat 每月,席位增加后成本随之上升
  • 超出免费额度后按量计费,用量大的项目账单不易预估
  • 官网未公开各档位的具体用量上限数值

LangSmith版本与计费对比

PLANS工具标签
方案价格包含内容说明
Developer$0 / seat per monthUp to 5k base traces / mo, then pay-as-you-go社区支持,1 seat
Plus$39 / seat per monthUp to 10k base traces / mo, then pay-as-you-go可使用 Deployment、Engine 等,可添加不限数量席位
EnterpriseCustom pricingCustom自托管与混合部署、自定义 SSO / ABAC / RBAC、支持 SLA、自定义席位与工作区

以上为公开费率整理,厂商保留调价权利,实际以官方页面为准。

LangSmith关键指标

MEASURED FACTS工具标签
指标数值数据来源
LSU 单价 $1.00 / LSU LangSmith 官网定价页
Trace 查询提速 12x(860ms 降至 71ms) LangSmith 官网 SmithDB 对比
Thread 查询提速 9x(1.16s 降至 131ms) LangSmith 官网 SmithDB 对比
全文搜索提速 15x(6.20s 降至 400ms) LangSmith 官网 SmithDB 对比
过滤查询提速 6x(530ms 降至 82ms) LangSmith 官网 SmithDB 对比

LangSmith常见问题

FAQ工具标签
LangSmith 多少钱,有免费的吗?

有免费档。Developer 档为 $0 / seat 每月,包含 1 个席位和每月 5k base traces,超出后按量付费。面向团队的是 Plus 档,$39 / seat 每月,包含每月 10k base traces,并可添加不限数量的席位。企业档为定制价格,提供自托管和混合部署、自定义 SSO、ABAC、RBAC 以及支持 SLA,需要联系销售。具体费率以官方页面为准。

它能接哪些框架和语言?

官网说明它能配合任意 LLM 框架使用,可以追踪用 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 或自研实现构建的应用,并不局限于 LangChain 本身。同时提供 Python、TypeScript、Go、Java 四种语言的 SDK,并支持 OpenTelemetry,可接入已有的观测管线。

SmithDB 是什么,和普通数据库有什么区别?

SmithDB 是专为智能体观测打造的查询引擎。指出,智能体的调用记录嵌套很深、负载很重,一次对话可能跨数十次运行和工具调用、产生数 MB 数据,通用数据库能存但并非按团队的查询方式设计。SmithDB 支持单次运行的随机访问、全文搜索、JSON 键路径过滤和轨迹查询,并宣称在百万级调用记录上保持亚秒级响应。

监控里可以跟踪哪些指标?

说明自定义仪表盘可以跟踪 token 使用量、延迟(P50、P99)、错误率、成本明细和反馈分数,并可在指标越过阈值时通过 Webhook 或 PagerDuty 配置告警。此外还提供在线 LLM-as-judge 与代码评估、工具与智能体轨迹监控等能力。

国内能不能用,有数据驻留方面的限制吗?

未说明国内访问情况。数据驻留方面,企业档提供自托管和混合部署选项,可以把 SmithDB 部署在自己的 VPC 内,让敏感调用记录不离开自有基础设施;部署是对象存储和 Postgres 上的三个无状态组件,无需本地磁盘或复杂分片。具体可用性以官方页面为准。

初创公司有优惠吗?

涉及面向获得 VC 投资的初创公司提供折扣费率和额度,最高可获 $10,000 额度,页面设有 LangSmith for Startups 入口。具体申请条件和额度。

怎么估算每月要花多少钱?

提供 LangSmith Usage Calculator,按 LSU(LangChain Standard Units)计价,单价为 $1.00 / LSU。填入智能体的实际负载即可得到月度估算。特别说明这只是估算值,实际 LSU 消耗会随智能体执行的工作而变化。

LangSmith竞品对比

COMPARISON工具标签
工具编辑评分价格核心功能平台
LangSmith本工具 4.3 免费档 $0,Plus 档 $39 / seat 每月,企业档定制价格 智能体追踪;多语言 SDK;生产监控面板;在线评估打分 Web / API
Inductor Custom Playgrounds — 未标价 开发者首选的 LLM 应用开发实验和协作平台 —
LLM Spark — 按 AI Credits 计费,不同模型消耗倍率不同,超额可购买附加额度 构建 LLM 应用的开发平台 Web / API / WhatsApp
Langfuse — 免费 Hobby 档;Core $29 / month;Pro $199 / m 开源的 LLM 应用程序分析 Web / API / Self-hosted
LangWatch — Developer €0 永久免费;Growth €29/core-seat/月 LLM 可观察性和评估平台,用于监控、评估和优化 LLM 应用程序 Web / Self-hosted / API
Query Vary — 未标价 优化 LLM 应用的提示设计、测试和优化工具 —