工具简介
LangSmith 是 LangChain 官方推出的 LLM 应用全生命周期管理平台，覆盖开发、测试、部署和监控四个阶段。它为基于 LLM 的应用程序提供端到端的可观测性——从 prompt 调试、链式调用追踪到线上性能监控，帮助开发者理解模型行为、诊断问题并持续优化。支持 OpenAI、Anthropic、Google 等主流模型，也可对接自部署模型。
核心功能
- 全链路追踪（Tracing）：自动记录每次 LLM 调用的输入、输出、延迟、token 消耗和中间步骤，以可视化方式展示 agent 决策链和工具调用过程。支持自定义 metadata 和 feedback，方便按用户/会话维度分析。
- Prompt 工程（Hub）：集中管理 prompt 模板，支持版本控制、A/B 测试和团队协作。可以直接从 Hub 拉取社区分享的高质量 prompt。
- 自动化测试与评估：内置数据集管理和评估器（正确性、相关性、有害性等），支持批量回归测试。每次 prompt 变更后自动跑测试集，防止性能退化。
- 线上监控：实时追踪生产环境的 LLM 调用质量，异常检测和告警。可查看 token 成本趋势、延迟分布和用户反馈。
访问说明
免费版每月 3000 条 trace，适合个人开发者和小团队起步。付费版按 trace 量计费。需要注册 LangChain 账号，国内可直连但速度一般，建议代理访问。
适合人群
- 正在将 LLM 应用推向生产的开发团队
- 需要调试复杂 agent 行为的 AI 工程师
- 追求 prompt 迭代效率的内容/产品团队
Related
