LangSmith：AI 智能体可观测性

描述

LangSmith 旨在为 AI 智能体和 LLM 提供全面的可观测性，提供一个平台来了解和优化它们在生产中的性能。它允许开发人员跟踪智能体行为，查明影响延迟、成本和响应质量的问题，并深入了解使用模式和故障模式。

主要功能包括跟踪、监控和洞察。跟踪允许用户逐步确切地查看其智能体正在做什么，从而有助于识别问题。监控提供智能体性能的实时视图，从而能够及早检测问题和评估影响。洞察会自动分析和聚类跟踪，以检测使用模式和常见的智能体行为。该平台支持针对流行的智能体框架和 OpenTelemetry SDK 的原生跟踪，适用于各种编程语言。

SmithDB 是一个专门构建的数据库，专为智能体可观测性而设计，可在数百万次跟踪中提供亚秒级性能。它支持智能体查询模式，包括对单个运行的随机访问、全文搜索和轨迹查询。LangSmith 提供自托管选项，包括自带云 (BYOC) 和自托管选项，允许团队控制其数据驻留的位置。该平台与现有的 OpenTelemetry 管道集成，并提供自定义仪表板来跟踪指标，例如令牌使用情况、延迟、错误率和成本细分。

LangSmith 对开发人员、AI 工程师以及构建和部署 AI 智能体的团队来说很有价值。它帮助他们调试智能体、提高性能并降低成本。该平台与框架无关，支持使用各种 SDK 构建的应用程序，包括 OpenAI、Anthropic 和 Vercel AI SDK。LangSmith 提供用于开发和小规模生产的免费套餐，以及可扩展的付费计划和企业定价选项。

LangSmith：AI 智能体可观测性的核心功能

• 用于调试的智能体跟踪

• 实时监控仪表板

• 成本和延迟跟踪

• 错误率监控

• 使用模式分析

• 与框架无关的集成

• OpenTelemetry 支持

• 自托管选项

• 用于快速跟踪查询的 SmithDB

• Webhook 和 PagerDuty 警报

• 可定制的仪表板

如何使用 LangSmith：AI 智能体可观测性？

1. 1

   集成：选择您喜欢的框架或使用 SDK（Python、Typescript、Go 或 Java）。

2. 2

   跟踪：实施跟踪以捕获智能体行为。

3. 3

   监控：设置实时监控仪表板以跟踪关键指标。

4. 4

   分析：使用洞察来检测使用模式和故障模式。

5. 5

   调试：使用跟踪数据识别和解决问题。

6. 6

   优化：根据洞察和监控数据改进智能体性能。

LangSmith：AI 智能体可观测性的使用案例

• 智能体调试
• 性能监控
• 成本优化
• 使用情况分析
• 故障检测
• LLM 评估

LangSmith：AI 智能体可观测性的常见问题

• 什么是 LangSmith？

  LangSmith 是一个 AI 智能体和 LLM 可观测性平台，提供对智能体行为的全面可见性，帮助用户调试智能体、查找故障以及跟踪成本和延迟。

• 我可以在 LangSmith 监控仪表板中跟踪哪些指标？

  自定义仪表板跟踪令牌使用情况、延迟（P50、P99）、错误率、成本细分和反馈分数。当指标超过阈值时，通过 Webhook 或 PagerDuty 配置警报。

• LangSmith 与哪些框架和库一起使用？

  LangSmith 适用于任何 LLM 框架，包括 OpenAI SDK、Anthropic SDK、Vercel AI SDK、LlamaIndex 或自定义实现。

• LangSmith 是否支持 OpenTelemetry？

  是的，LangSmith 与现有的 OpenTelemetry 管道集成，允许您将跟踪数据发送到您的工具或将 OTel 数据摄取到 LangSmith 中。

• 我可以在没有 LangSmith Evaluation 的情况下使用 LangSmith Observability 吗？

  是的，Observability 和 Evaluation 可以很好地协同工作，但彼此之间不需要。从跟踪和监控开始，然后在准备好时添加评估。

• 我可以自托管 LangSmith 吗？

  是的，LangSmith 为具有数据驻留要求的团队提供托管云、自带云 (BYOC) 和自托管选项。

• 我的数据存储在哪里？

  LangSmith 云将数据存储在安全的基础设施中。当使用位于 smith.langchain.com 的 LangSmith 时，数据存储在 GCP us-central-1 中。企业计划用户可以在其 AWS、GCP 或 Azure 中的 Kubernetes 集群上运行 LangSmith。

• LangSmith 会给我的应用程序增加延迟吗？

  不会，LangSmith SDK 使用异步回调处理程序，该处理程序将跟踪发送到分布式收集器，确保您的应用程序性能永远不会受到影响。

• 您会处理我发送给 LangSmith 的数据吗？

  不会，LangSmith 不会处理您的数据，并且您拥有您数据的所有权利。

• LangSmith 的费用是多少？

  LangSmith 具有用于开发和小规模生产的免费套餐。付费计划会随着跟踪量的增加而扩展。有关详细信息，请参阅我们的定价页面，或联系我们获取企业定价。