MNN

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。

Baseten

AI 平台

#72

Baseten的推理平台使用户能够高效地部署和扩展开源及自定义AI模型。它提供高性能推理，配备专用基础设施、优化的API和无缝的开发者工作流程，确保快速部署和可靠的性能。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

mlc-llm

AI GitHub 仓库

通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎，利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

Soup

AI GitHub 仓库

汤是一个GitHub仓库，能够使用单个YAML文件对大型语言模型（LLMs）进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型，使得在有限硬件上进行高级AI模型训练变得可行。

omlx

AI GitHub 仓库

#135

为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。omlx 是一个为 Apple Silicon 设计的 LLM 推理服务器，具有连续批处理和 SSD 缓存功能。它直接从 macOS 菜单栏管理，为开发者提供高效、简化的体验，适用于处理大型语言模型。

一个为开发者提供的AI基础设施平台，通过一个与OpenAI兼容的API，以按需付费的方式部署、微调和运行200多个优化的LLM和多模态模型。