描述
Langfuse AI Gateway 是一个开源的 AI 工程平台,提供了一个统一的解决方案,用于管理和观察 AI 调用和代理。它基于 OpenTelemetry 构建,这是一个行业标准的遥测数据,确保在所有 AI 交互中提供强大且可扩展的可观察性。该平台旨在成为每个 AI 调用和每个代理的单一入口,简化 AI 工程的复杂性。
阅读更多
Langfuse AI Gateway 的关键功能包括代理可观察性,使开发人员能够实时监控其 AI 代理的行为和性能。这对于调试、优化以及理解代理如何与各种 AI 模型和数据源交互至关重要。该平台还支持全面的评估能力,使用户能够评估其 AI 模型和提示的质量和有效性。
此外,Langfuse AI Gateway 提供了提示和技能管理功能,提供了一种结构化的方式来组织、版本控制和部署提示和 AI 技能。这有助于在不同项目中保持一致性并提高 AI 组件的可重用性。该网关支持多种 AI 提供商,包括 Google Vertex AI,并允许为 OpenAI 和 Azure 等服务自定义基础 URL 和额外头信息。
用户可以选择自托管 Langfuse AI Gateway,从而完全控制其数据和基础设施,或使用 Langfuse Cloud 以获得托管服务体验。该平台持续开发,最近的更新专注于改善 HTTP/2 网络通信、添加新的网关提供商、增强设置可访问性以及确保成本准确性。它是希望简化 AI 工程工作流程并深入了解其 AI 系统的开发人员和组织的强大解决方案。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署自托管, 云端
- 平台网页版
Langfuse AI Gateway的核心功能
开源 AI 工程平台
AI 网关功能
代理可观察性
AI 模型评估
提示管理
技能管理
基于 OpenTelemetry 构建
支持 Google Vertex AI 作为提供商
为 OpenAI 和 Azure 提供自定义基础 URL
为 OpenAI 和 Azure 提供额外头信息
自托管选项
Langfuse Cloud 选项
支持 HTTP/2 到 Web
即时解决重试机制
分析成本准确性
Langfuse AI Gateway入门
克隆仓库:通过克隆 GitHub 仓库获取 Langfuse AI Gateway 源代码。
安装依赖:根据项目文件中的说明设置必要的 Rust 和其他项目依赖。
配置网关:自定义网关设置,包括 AI 提供商端点和身份验证详细信息。
构建服务:使用提供的构建脚本或 Dockerfile 编译 Rust 服务。
执行网关:运行 AI 网关服务,可以在本地或部署到您的基础设施上。
集成 AI 调用:通过 Langfuse AI Gateway 路由您的 AI 调用,以启用可观察性和管理。
Langfuse AI Gateway的使用案例
- AI 代理监控
- AI 模型评估
- 提示工程管理
- 集中式 AI 调用路由
- 自定义 AI API 集成
- 自托管 AI 基础设施
- AI 成本优化








