LangSmith（LLM 应用调试平台）

LangSmith 是一个面向大模型应用的开发平台，核心用途是把应用的运行过程记录下来并可视化：一次请求经过了哪些步骤、调用了哪些工具、每步的输入输出与耗时是多少。它还提供数据集与评测能力，让提示词或流程的改动能在同一批样本上前后对比，而不是靠感觉判断改动是否真的更好。

追踪是怎么工作的

应用通过少量改动把每次调用上报到平台：一次用户请求对应一条根轨迹（trace），内部的模型调用、检索与工具执行是它的子节点（span），节点之间用父子关系串成树。每个节点记录输入输出、耗时、错误与自定义标签，排查时可以顺着树找到是哪一步出了问题，也能看到重试与分支的实际走向。采样率与脱敏一般可配置，生产环境通常只上报一部分请求以控制开销。

它解决的具体问题

• 链路追踪：多步调用与工具调用被串成一条轨迹，出错时能定位到具体环节。
• 回归评测：把典型问题固化成数据集，改动后重跑，看哪些样本变好、哪些变差。
• 人工标注：支持对输出打分与留意见，逐步积累成可复用的评测样本。
• 线上观察：生产环境的调用也能接入，用来发现真实使用中的失败模式。
• 对比实验：在同一批样本上比较不同提示词或模型，用一致口径判断改动是否有效。

使用注意与边界

• 评测集决定结论质量：样本随便凑几条，得出的结论同样不可靠，建议从线上真实问题里挑代表性案例逐步补充。
• 与日志系统的区别：通用日志记录请求与异常，它更关注模型输入输出、token 消耗与多步链路的结构。
• 与自动优化工具的区别：它负责观察与对比，不负责自动改好提示词，改什么仍由人判断。
• 合规与开销：上报内容可能含用户数据，需先评估合规要求并做脱敏；长轨迹与高采样率会带来额外成本。

怎么开始用

建议从最小可用开始：先接上追踪看清一次请求的真实路径，再挑出失败案例做成小数据集，之后每次改动都跑一遍。评测指标要按任务选，开放式生成看人工打分或成对比较，有标准答案的任务才适合用精确匹配这类自动化指标。工具本身不会提高质量，让改动可比较、可回退，才是它真正的价值所在。另外，追踪里积累的真实输入本身很有价值：把线上出现的新问题定期补进数据集，评测集才会随着使用场景一起更新，否则几个月后它衡量的仍是早期的几类问题。团队协作上，把评测集与判定标准写进文档，比口头约定更能避免不同人得出相反结论。