Shimmy

Burrito Core

AI GitHub 仓库

针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。Burrito Core 是一个针对 gpt-oss 的推理工具，兼容 OpenAI 和 Anthropic API。它支持原生 Python 和浏览器工具，利用 llama.cpp 或 vLLM 进行高效处理。

LocalAI

AI GitHub 仓库

#44

开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。LocalAI 是一个开源人工智能引擎，允许用户在任何硬件上运行各种模型，包括大型语言模型（LLMs）、视觉、语音、图像和视频，而无需 GPU。这种灵活性使其适用于多种应用。

TensorRT-LLM

AI GitHub 仓库

#63

提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。TensorRT-LLM 提供了一个用于定义大型语言模型的 Python API，优化了在 NVIDIA GPU 上的推理。它包括用于创建 Python 和 C++ 运行时的组件，以高效地协调推理执行。

本地AI游乐场

AI 应用

免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。本地AI游乐场是一款免费、开源的原生应用程序，可离线和私密运行AI模型。它通过Rust后端简化了AI推理，无需GPU。轻松管理模型、验证完整性并启动流式服务器，使AI无需技术设置即可访问。

TensorFlow

AI GitHub 仓库

为所有人设计的开源机器学习框架。它提供了一个全面的生态系统，用于构建和部署机器学习模型，使开发者和研究人员都能轻松使用。TensorFlow 是一个为所有人设计的开源机器学习框架。它提供了一个全面的生态系统，用于构建和部署机器学习模型，使开发者和研究人员都能轻松使用。

Lightning AI

AI 平台

#64

一体化 AI 开发平台，可实现 AI 产品的快速原型设计、训练、扩展和部署。它提供了一个协作式 GPU 云工作空间、持久化笔记本、托管集群和按 token 付费的 API，让您无需任何设置即可在浏览器中访问 AI 开发。Lightning AI 是一个一体化 AI 开发平台，可实现 AI 产品的快速原型设计、训练、扩展和部署。它提供了一个协作式 GPU 云工作空间、持久化笔记本、托管集群和按 token 付费的 API，让您无需任何设置即可在浏览器中访问 AI 开发。

租用GPU | Vast.ai

AI 平台

Vast.ai以低成本提供高性能云GPU租用服务。非常适合人工智能、机器学习、深度学习和渲染，提供灵活的定价、快速的设置和全球可用性，是开发者寻找GPU资源的首选平台。

openTPU

AI GitHub 仓库

由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。openTPU是由FeSens开发的开源AI加速器。它将RTL、ISA、模拟器、编译器和分析器集成在一个代码库中，使得在Kintex-7 PCIe卡上执行AI模型（如Qwen3、LFM2.5和Qwen3.5）成为可能。