跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

Langfuse AI Gateway

Langfuse AI Gateway 是一个开源的 AI 工程平台,旨在管理和观察 AI 调用和代理。基于 OpenTelemetry 构建,它提供了代理可观察性、评估和提示/技能管理的功能。用户可以自托管网关或利用 Langfuse Cloud 满足其 AI 基础设施需求,从而确保对 AI 操作的全面控制。

查看仓库
分享
查看仓库
分享

Langfuse AI Gateway 是一个开源的 AI 工程平台,提供了一个统一的解决方案,用于管理和观察 AI 调用和代理。它基于 OpenTelemetry 构建,这是一个行业标准的遥测数据,确保在所有 AI 交互中提供强大且可扩展的可观察性。该平台旨在成为每个 AI 调用和每个代理的单一入口,简化 AI 工程的复杂性。

阅读更多

Langfuse AI Gateway 的关键功能包括代理可观察性,使开发人员能够实时监控其 AI 代理的行为和性能。这对于调试、优化以及理解代理如何与各种 AI 模型和数据源交互至关重要。该平台还支持全面的评估能力,使用户能够评估其 AI 模型和提示的质量和有效性。

此外,Langfuse AI Gateway 提供了提示和技能管理功能,提供了一种结构化的方式来组织、版本控制和部署提示和 AI 技能。这有助于在不同项目中保持一致性并提高 AI 组件的可重用性。该网关支持多种 AI 提供商,包括 Google Vertex AI,并允许为 OpenAI 和 Azure 等服务自定义基础 URL 和额外头信息。

用户可以选择自托管 Langfuse AI Gateway,从而完全控制其数据和基础设施,或使用 Langfuse Cloud 以获得托管服务体验。该平台持续开发,最近的更新专注于改善 HTTP/2 网络通信、添加新的网关提供商、增强设置可访问性以及确保成本准确性。它是希望简化 AI 工程工作流程并深入了解其 AI 系统的开发人员和组织的强大解决方案。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署自托管, 云端
  • 平台网页版

  • 开源 AI 工程平台

  • AI 网关功能

  • 代理可观察性

  • AI 模型评估

  • 提示管理

  • 技能管理

  • 基于 OpenTelemetry 构建

  • 支持 Google Vertex AI 作为提供商

  • 为 OpenAI 和 Azure 提供自定义基础 URL

  • 为 OpenAI 和 Azure 提供额外头信息

  • 自托管选项

  • Langfuse Cloud 选项

  • 支持 HTTP/2 到 Web

  • 即时解决重试机制

  • 分析成本准确性

  1. 克隆仓库:通过克隆 GitHub 仓库获取 Langfuse AI Gateway 源代码。

  2. 安装依赖:根据项目文件中的说明设置必要的 Rust 和其他项目依赖。

  3. 配置网关:自定义网关设置,包括 AI 提供商端点和身份验证详细信息。

  4. 构建服务:使用提供的构建脚本或 Dockerfile 编译 Rust 服务。

  5. 执行网关:运行 AI 网关服务,可以在本地或部署到您的基础设施上。

  6. 集成 AI 调用:通过 Langfuse AI Gateway 路由您的 AI 调用,以启用可观察性和管理。

  • AI 代理监控
  • AI 模型评估
  • 提示工程管理
  • 集中式 AI 调用路由
  • 自定义 AI API 集成
  • 自托管 AI 基础设施
  • AI 成本优化

Langfuse 旗下产品

Langfuse 的一项功能。

Langfuse AI Gateway 评价

加载中...

与 Langfuse AI Gateway 类似的热门AI工具

Langfuse

AI GitHub 仓库

Langfuse是一个开源的AI工程平台,提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成,为AI开发提供全面的工具包。

MLOps 与模型部署

AI GitHub 仓库 排名第 26 位

查看工具

AI GitHub 仓库

开源的AI工程平台,提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成,为AI开发提供全面的工具包。Langfuse是一个开源的AI工程平台,提供LLM评估、可观察性、指标、提示管理等功能。它与OpenTelemetry、LangChain和OpenAI SDK集成,为AI开发提供全面的工具包。

MLOps 与模型部署
AI GitHub 仓库 排名第 26 位

开源AI平台,专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用,适合各种规模的组织。MLflow是一个开源AI平台,专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用,适合各种规模的组织。

精选MLOps 与模型部署
AI 框架 排名第 12 位

LangSmith 是一个 AI 智能体和 LLM 可观测性平台,提供对智能体行为的全面可见性。它有助于调试智能体、识别故障以及跟踪成本和延迟。使用 Python、Typescript、Go 或 Java SDK 跟踪您喜欢的框架或与任何智能体堆栈集成。获取实时洞察以优化性能。

MLOps 与模型部署

AI 平台 排名第 37 位

查看工具

LangSmith 是一个 AI 智能体和 LLM 可观测性平台,提供对智能体行为的全面可见性。它有助于调试智能体、识别故障以及跟踪成本和延迟。使用 Python、Typescript、Go 或 Java SDK 跟踪您喜欢的框架或与任何智能体堆栈集成。获取实时洞察以优化性能。

精选MLOps 与模型部署
AI 平台 排名第 37 位

RagaAI Catalyst

AI GitHub 仓库

RagaAI Catalyst 是一个为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。

MLOps 与模型部署

MLOps 与模型部署 排名第 146 位

查看工具

AI GitHub 仓库

为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。RagaAI Catalyst 是一个为 AI 可观察性、监控和评估而设计的 Python SDK。它提供了代理和工具追踪、多代理系统调试以及带有自托管仪表板的高级分析等功能。

MLOps 与模型部署
MLOps 与模型部署 排名第 146 位

HoneyHive

AI 应用

HoneyHive 为生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。

MLOps 与模型部署

提示工程师 排名第 32 位

查看工具

AI 应用

生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。HoneyHive 为生产环境中的 AI 代理提供可观测性层,统一监控和评估。它支持持续改进循环,使团队能够自信地交付高质量的代理。该平台提供分布式跟踪、在线评估、会话回放和警报,用于可扩展的代理行为监控。

精选MLOps 与模型部署
提示工程师 排名第 32 位

OpenLIT

AI 应用

OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署

提示工程师 排名第 38 位

查看工具

AI 应用

开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台,为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管,确保数据隐私和生产工作负载无供应商锁定。

MLOps 与模型部署
提示工程师 排名第 38 位

Opik by Comet

AI 应用

Opik 是一个开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。

MLOps 与模型部署
查看工具

AI 应用

开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。Opik 是一个开源的 AI 可观察性平台,帮助开发者测试、发布并持续改进智能系统。它提供有效评估和监控大型语言模型 (LLM) 应用的工具。

MLOps 与模型部署
查看 AI 应用 Top 250

Langtrace

AI 应用

Langtrace 是一个开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。

MLOps 与模型部署

MLOps 与模型部署 排名第 109 位

查看工具

AI 应用

开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。Langtrace 是一个开源的可观测性和评估平台,旨在帮助开发人员将 AI 原型转化为企业级产品。它提供对 AI 代理性能、安全性和成本的洞察,支持主流框架和 LLM 提供商,实现无缝集成和迭代。

MLOps 与模型部署
MLOps 与模型部署 排名第 109 位
1/8