Inference.net

Baseten

AI 平台

#72

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理，配备专用基础设施、优化的API和无缝的开发者工作流程，确保快速部署和可靠的性能。

Mosaic AI Model Serving

AI 应用

Mosaic AI 模型服务提供可扩展的实时模型推理，能够与数据工作流无缝集成。它支持多种 AI 模型，确保企业有效利用 AI 能力时的高效部署和治理。

OpenLIT

AI 应用

#38

开源的 AI 工程平台，为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管，确保数据隐私和生产工作负载无供应商锁定。OpenLIT 是一个开源的 AI 工程平台，为 GenAI 和 LLM 应用提供可观测性。它提供基于 OpenTelemetry 的追踪、评估和提示管理功能。根据 Apache 2.0 许可证免费自托管，确保数据隐私和生产工作负载无供应商锁定。

Weights & Biases

AI 应用

#1

AI 开发平台，用于构建、训练和部署 AI 模型和应用程序。它提供实验跟踪、模型管理和智能体应用程序开发工具，使团队能够自信地工作并简化其 AI 工作流程。它与流行的 ML 框架集成。Weights & Biases 是一个 AI 开发平台，用于构建、训练和部署 AI 模型和应用程序。它提供实验跟踪、模型管理和智能体应用程序开发工具，使团队能够自信地工作并简化其 AI 工作流程。它与流行的 ML 框架集成。

Bento

AI 平台

为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。Bento 是一个为速度和控制而设计的推理平台，使您能够将任何 AI 模型部署到任何地方。它提供定制优化、高效扩展和简化的操作，以满足 AI 团队的需求。在保持对部署的完全控制的同时，简化推理基础设施。

MLflow - 开源AI平台，适用于代理、LLM和模型

AI 框架

#11

开源AI平台，专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用，适合各种规模的组织。MLflow是一个开源AI平台，专为代理、LLM和机器学习模型设计。它使团队能够高效地调试、评估、监控和优化AI应用，适合各种规模的组织。

通用计算

AI 应用

一个高速AI推理提供商，通过专门构建的ASIC基础设施提供模型，采用与OpenAI兼容的API，针对编码代理和实时语音等对延迟敏感的工作负载，提供低的首次令牌时间和高吞吐量。

Runware

AI 应用

生成性 AI 推理平台，提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型，管理基础设施，并基于使用量定价，构建在自定义推理引擎之上。Runware 是一个生成性 AI 推理平台，提供统一的 API 用于图像、视频、音频、3D、LLM 和视觉模型。它提供超过 40 万个模型，管理基础设施，并基于使用量定价，构建在自定义推理引擎之上。