SGLang

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

DeepDetect

AI 框架

专为深度学习模型部署和管理设计的 AI 框架。它简化了服务机器学习模型的过程，使开发人员能够高效地将 AI 功能集成到他们的应用程序中。该平台专注于提供一个强大的后端，用于实时推理和模型监控。DeepDetect 是一个专为深度学习模型部署和管理设计的 AI 框架。它简化了服务机器学习模型的过程，使开发人员能够高效地将 AI 功能集成到他们的应用程序中。该平台专注于提供一个强大的后端，用于实时推理和模型监控。

LiteRT

AI 框架

Google 的高性能设备端机器学习框架，用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上，提供高效的模型转换、运行时和优化，以实现跨越数十亿设备的低延迟和高隐私性。LiteRT 是 Google 的高性能设备端机器学习框架，用于在边缘平台部署 GenAI 和 ML 模型。它在 TensorFlow Lite 的基础上，提供高效的模型转换、运行时和优化，以实现跨越数十亿设备的低延迟和高隐私性。

Featherless - Serverless LLM 托管

AI 应用

提供开源 LLM 的无服务器托管，提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署，为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。Featherless 提供开源 LLM 的无服务器托管，提供一个 API 密钥即可即时访问超过 30,000 个模型。它简化了部署，为希望集成高级 AI 功能而无需处理基础设施难题的开发人员和企业确保了可靠性和可预测的成本。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Replicate - 通过 API 运行 AI

AI 平台

提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。Replicate 提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。

TensorFlow

AI 框架

面向所有人的端到端开源机器学习平台。它提供了灵活的工具、库和社区资源生态系统，使得创建和部署机器学习模型变得简单。TensorFlow 是一个面向所有人的端到端开源机器学习平台。它提供了灵活的工具、库和社区资源生态系统，使得创建和部署机器学习模型变得简单。

一个为开发者提供的AI基础设施平台，通过一个与OpenAI兼容的API，以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。