kimi-k3-in-c

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

TokenSpeed

AI GitHub 仓库

#189

高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。TokenSpeed 是一个高性能的 LLM 推理引擎，旨在提供快速的处理速度。它针对大型语言模型进行了优化，为 AI 开发者和研究人员提供高效且可扩展的解决方案。

Soup

AI GitHub 仓库

汤是一个GitHub仓库，能够使用单个YAML文件对大型语言模型（LLMs）进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型，使得在有限硬件上进行高级AI模型训练变得可行。

DeepSeek-R1

AI GitHub 仓库

专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。DeepSeek-R1是一个专注于AI驱动解决方案的GitHub项目。它提供多种增强AI能力的代码库，包括插件、稀疏注意力内核和高效的通信库。

LLM architecture from scratch

AI GitHub 仓库

llm-architecture-from-scratch 是 Yeonwoo Sung 创建的 GitHub 仓库，专注于使用 PyTorch 从零实现大型语言模型架构。它为有兴趣构建和实验 LLM 的开发者提供了全面的模型和工具集合。

Nano-vLLM

AI GitHub 仓库

Nano vLLM是一个GitHub仓库，专注于为大型语言模型开发轻量级虚拟机。它旨在优化推理效率和资源利用，使其适合从事LLM工作的AI研究人员和开发者。

MiniCPM5: 设备端 LLM

AI GitHub 仓库

由 OpenBMB 开发的先进设备端语言模型。它在保持紧凑体积的同时提供了最先进的性能，非常适合需要高效处理而不牺牲性能的应用。MiniCPM5 是由 OpenBMB 开发的先进设备端语言模型。它在保持紧凑体积的同时提供了最先进的性能，非常适合需要高效处理而不牺牲性能的应用。

微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。BitNet是微软开发的1位大型语言模型（LLM）的官方推理框架。它能够高效处理和部署LLM，优化性能和资源使用。