Cactus Compute

ColossalAI

AI GitHub 仓库

#65

旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。ColossalAI是一个旨在使大型AI模型更具经济性、更快速和更易获取的项目。它提供了优化AI模型训练和部署的工具和框架，专注于效率和可扩展性。

Runanywhere

AI GitHub 仓库

Runanywhere SDKs 是一个生产就绪的工具包，旨在本地运行 AI 模型。它通过提供高效本地执行所需的基本工具和资源，促进 AI 应用程序的开发和部署。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

MNN

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型（LLMs）和边缘AI应用，提供快速高效的推理能力。

TensorFlow

AI GitHub 仓库

为所有人设计的开源机器学习框架。它提供了一个全面的生态系统，用于构建和部署机器学习模型，使开发者和研究人员都能轻松使用。TensorFlow 是一个为所有人设计的开源机器学习框架。它提供了一个全面的生态系统，用于构建和部署机器学习模型，使开发者和研究人员都能轻松使用。

Splash

AI GitHub 仓库

#137

专为 Apple 硅设计的本地推理引擎。它能够在 Apple 设备上高效地进行模型推理，为开发者提供了一种简化的本地 AI 模型解决方案。Splash 是一个专为 Apple 硅设计的本地推理引擎。它能够在 Apple 设备上高效地进行模型推理，为开发者提供了一种简化的本地 AI 模型解决方案。

Axolotl

AI GitHub 仓库

#101

Axolotl AI Cloud 是一个 GitHub 仓库，提供 AI 模型开发和部署的平台。它允许用户为 AI 项目做出贡献，增强 AI 研究和应用中的协作与创新。

bitsandbytes

AI GitHub 仓库

GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。Bitsandbytes是一个GitHub项目，旨在通过k位量化技术使大型语言模型在PyTorch中更易于访问。它旨在优化模型性能并降低计算成本，使开发人员更容易使用大规模AI模型。