SGLang-Omni

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

SGLang

AI 框架

为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。SGLang是一个为大型语言和多模态模型设计的高性能服务框架。它提供广泛的硬件支持和强大的生态系统，帮助开发者高效地实现先进的AI解决方案。

FlashInfer

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理，使开发者能够通过 GitHub 贡献和增强其功能。

mlc-llm

AI GitHub 仓库

通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

Replicate - 通过 API 运行 AI

AI 平台

提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。Replicate 提供了一个云 API，用于运行和微调开源机器学习模型。只需一行代码即可部署自定义模型。访问数千个面向生产的 AI 模型，用于图像生成、语音、音乐和视频创作。仅按使用的计算付费，并自动扩展。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

Hugging Face Transformers

AI GitHub 仓库

🤗 Transformers 是一个模型定义框架，旨在支持文本、视觉、音频和多模态领域的最先进机器学习模型，促进推理和训练过程。

OpenAI Whisper

AI GitHub 仓库

Whisper 是 OpenAI 开发的一个强大、通用的语音识别模型。它在多语言语音识别、语音翻译和语言识别方面表现出色。通过在多样化的音频数据上进行训练，它提供了一个单一模型来处理各种语音处理任务，用统一的序列到序列方法取代了传统的多阶段流水线。