跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

telemetry.dev

telemetry.dev 是一个基于 OpenTelemetry 的 LLM 可观察性平台,专为 AI 应用和代理设计。它跟踪模型调用、工具步骤和检索,允许用户检查令牌使用、成本、延迟和错误。该平台帮助调试故障、监控支出,并确保 AI 代理和应用的可靠性。

访问URL
分享
telemetry.dev 截图
telemetry.dev 截图

telemetry.dev 提供全面的 LLM 可观察性,适用于 AI 应用和代理,利用 OpenTelemetry 标准。该平台允许开发人员跟踪和监控其 AI 操作的每个方面,从单个模型调用到复杂的代理运行。一个关键特性是将仪器化的模型调用、工具步骤和检索分组到单个跟踪中,提供请求或代理执行的整体视图。

阅读更多

用户可以检查关键指标,如令牌使用、成本、延迟和错误,这些对于调试故障、优化性能和管理运营支出至关重要。该平台根据报告的令牌使用情况和其模型定价目录在摄取时计算成本,当可用时,明确的跨度成本优先。它支持 TypeScript 和 Python 的第一方 SDK,以及与 OpenAI、Anthropic、Vercel AI SDK、LangChain 和 CrewAI 等流行提供商和框架的集成。其他语言可以通过 HTTP 发送标准 OTLP 进行连接。

telemetry.dev 强调隐私和控制,允许用户在存储之前根据环境禁用提示和响应捕获。内置和项目特定的删除模式也被应用,以帮助管理敏感数据。该平台提供一个免费计划,包括每月 30,000 个摄取单位、14 天的保留期、一个项目和两个席位,无需信用卡。付费计划提供更多的摄取单位、更长的数据保留期、更多项目和额外席位,不会自动收取超额费用。

除了基本跟踪,telemetry.dev 还提供 MCP 分析、成本和错误的警报、带版本和发布的提示管理以及评估跟踪等功能。它帮助定位慢步骤、检查失败的调用,并比较模型、提供商和环境之间的支出、延迟和错误。用户可以按名称、状态、环境、框架或会话搜索和过滤跟踪,确保他们能够快速找到维护可靠且具有成本效益的 AI 应用所需的数据。

  • 类别MLOps 与模型部署
  • 定价模式免费增值
  • 部署云端
  • 平台网页版

  • AI 代理的 LLM 可观察性

  • 基于 OpenTelemetry 的跟踪

  • 检查令牌使用、成本、延迟和错误

  • TypeScript 和 Python 的第一方 SDK

  • 与 OpenAI、Anthropic、Vercel AI SDK、LangChain 的集成

  • 支持标准 OTLP/HTTP 导出

  • 基于令牌使用和模型定价的成本计算

  • 提示和响应捕获控制

  • 内置和项目特定的删除模式

  • 关于成本、预算、代理循环和错误的电子邮件警报

  • AI 代理的 MCP 分析

  • 带版本和发布的提示管理

  • AI 运行的评估跟踪

  • 按各种标准搜索和过滤跟踪

  • 提供每月 30,000 个摄取单位的免费计划

  1. 创建 API 密钥:在 telemetry.dev 中生成项目 API 密钥。

  2. 配置集成:为您的 SDK、提供商或框架设置 telemetry.dev 集成,或配置 OTLP/HTTP 导出器。

  3. 仪器化应用程序:将 SDK 或 OpenTelemetry 集成到您的 AI 应用中以发送跟踪。

  4. 运行仪器化请求:执行启用仪器化的 AI 请求或代理运行。

  5. 检查跟踪:在您的 telemetry.dev 项目中打开生成的跟踪,以分析模型调用、工具步骤、使用情况和错误。

  6. 监控和警报:设置关于成本、预算、代理循环和模型或工具错误的警报,以主动管理您的 AI 应用。

  • 调试 AI 故障
  • 监控 AI 支出
  • 性能优化
  • 确保 AI 可靠性
  • 主动警报
  • 敏感数据管理
  • AI 代理开发
  • 模型和提供商比较

telemetry.dev 评价

加载中...

与 telemetry.dev 类似的热门AI工具

Feenion 是一个开源的 AI 调试器和可观察性平台,提供完整的 DAG 执行跟踪、令牌成本、延迟火焰图和 LLM、RAG 及代理的错误诊断。它在本地运行,确保数据隐私。

MLOps 与模型部署
查看工具

开源的 AI 调试器和可观察性平台,提供完整的 DAG 执行跟踪、令牌成本、延迟火焰图和 LLM、RAG 及代理的错误诊断。它在本地运行,确保数据隐私。Feenion 是一个开源的 AI 调试器和可观察性平台,提供完整的 DAG 执行跟踪、令牌成本、延迟火焰图和 LLM、RAG 及代理的错误诊断。它在本地运行,确保数据隐私。

MLOps 与模型部署
查看 AI 应用 Top 250

OpenLIT

AI 应用

OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署

提示工程师 排名第 39 位

查看工具

AI 应用

开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署
提示工程师 排名第 39 位

Opik by Comet

AI 应用

Opik 是一个开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。

MLOps 与模型部署
查看工具

AI 应用

开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。Opik 是一个开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。

MLOps 与模型部署
查看 AI 应用 Top 250

Latitude

AI 应用

一个开源的AI代理可观察性和监控平台,能够追踪生产中的代理,发现故障,并自动派遣编码代理进行修复。

MLOps 与模型部署

提示词工程工具 排名第 39 位

查看工具

HoneyHive

AI 应用

HoneyHive 为生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。

MLOps 与模型部署

提示工程师 排名第 34 位

查看工具

AI 应用

生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。HoneyHive 为生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。

精选MLOps 与模型部署
提示工程师 排名第 34 位

Langtrace

AI 应用

Langtrace 是一个开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。

MLOps 与模型部署

MLOps 与模型部署 排名第 106 位

查看工具

AI 应用

开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。Langtrace 是一个开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。

MLOps 与模型部署
MLOps 与模型部署 排名第 106 位

TruLens是一个开源库,用于评估和追踪AI代理。它使用OpenTelemetry对代理进行仪表化,利用LLM评审对步骤进行评分,并识别出最佳版本进行发布。TruLens帮助发现故障并优化成本,而不牺牲质量。

MLOps 与模型部署

MLOps 与模型部署 排名第 65 位

查看工具

Helicone 是一个 LLMOps 平台,专为构建可靠的 AI 应用而设计。它提供路由、调试和分析功能,使开发人员能够有效地监控和管理其 AI 模型。Helicone 受到快速发展的 AI 公司的信赖,并提供免费试用,帮助您构建强大的 AI 解决方案。

MLOps 与模型部署

提示词工程工具 排名第 9 位

查看工具

LLMOps 平台,专为构建可靠的 AI 应用而设计。它提供路由、调试和分析功能,使开发人员能够有效地监控和管理其 AI 模型。Helicone 受到快速发展的 AI 公司的信赖,并提供免费试用,帮助您构建强大的 AI 解决方案。Helicone 是一个 LLMOps 平台,专为构建可靠的 AI 应用而设计。它提供路由、调试和分析功能,使开发人员能够有效地监控和管理其 AI 模型。Helicone 受到快速发展的 AI 公司的信赖,并提供免费试用,帮助您构建强大的 AI 解决方案。

精选MLOps 与模型部署
提示词工程工具 排名第 9 位
1/8