ColossalAI

LlamaFactory

AI GitHub 仓库

#12

GitHub仓库，专注于对100多种大型语言模型（LLMs）和视觉语言模型（VLMs）进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。LlamaFactory是一个GitHub仓库，专注于对100多种大型语言模型（LLMs）和视觉语言模型（VLMs）进行统一和高效的微调。它旨在简化AI领域研究人员和开发人员的微调过程。

LocalAI

AI GitHub 仓库

#42

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

Megatron-LM

AI GitHub 仓库

NVIDIA的一个研究项目，专注于大规模训练变换器模型。它旨在提高大型语言模型的效率和可扩展性，使其更易于用于各种AI应用。Megatron-LM是NVIDIA的一个研究项目，专注于大规模训练变换器模型。它旨在提高大型语言模型的效率和可扩展性，使其更易于用于各种AI应用。

AI学习库

AI GitHub 仓库

AI学习是一个结构化的实践之旅，深入现代人工智能，专注于实际项目。它涵盖了大型语言模型、检索增强生成、自主AI代理和生成性AI，旨在通过构建真实系统来学习。

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

MLX LM

AI GitHub 仓库

#179

GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。MLX LM是一个GitHub项目，旨在利用MLX框架简化大型语言模型（LLMs）的运行。它允许开发者参与其开发并增强其功能。

SGLang

AI GitHub 仓库

#53

专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。SGLang 是一个专为大型语言模型和多模态模型设计的高性能服务框架。它提供高效的服务能力，提升 AI 应用的性能，适合 AI 领域的开发者和研究人员。

DeepInfra

AI 平台

AI 推理云，通过开发者友好的 API 提供 100 多个机器学习模型，采用按需付费定价。它面向需要成本效益高、可扩展、生产就绪推理的开发者和企业。DeepInfra 是一个 AI 推理云，通过开发者友好的 API 提供 100 多个机器学习模型，采用按需付费定价。它面向需要成本效益高、可扩展、生产就绪推理的开发者和企业。