Nano-vLLM

vLLM

AI GitHub 仓库

#23

高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎，专为大型语言模型（LLMs）设计。它在优化性能的同时最小化资源使用，使其适用于人工智能和机器学习的各种应用。

Petals

AI GitHub 仓库

#102

开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。Petals是一个开源项目，使用户能够使用类似BitTorrent的方法在家中运行大型语言模型（LLMs）。与传统的卸载方法相比，它提供了更快的微调和推理。

AirLLM

AI GitHub 仓库

#234

GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。AirLLM是一个GitHub项目，能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能，使先进的AI能力更加可及。

LLMs-from-scratch

AI GitHub 仓库

GitHub 项目，指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法，非常适合对人工智能和机器学习感兴趣的开发者和研究人员。LLMs-from-scratch 是一个 GitHub 项目，指导用户使用 PyTorch 实现类似 ChatGPT 的语言模型。它提供了从零开始构建大型语言模型的逐步方法，非常适合对人工智能和机器学习感兴趣的开发者和研究人员。

Happy LLM

AI GitHub 仓库

开源项目，旨在从零开始构建大型语言模型。它为开发者提供资源和工具，以便在模型开发中进行贡献和合作。Happy LLM是一个开源项目，旨在从零开始构建大型语言模型。它为开发者提供资源和工具，以便在模型开发中进行贡献和合作。

Xinference

AI GitHub 仓库

#97

多功能推理 API，允许用户通过更改一行代码来替换 GPT 为任何大型语言模型（LLM）。它支持开源、语音和多模态模型，能够在云端、本地服务器或本地机器上部署。Xinference 是一个多功能推理 API，允许用户通过更改一行代码来替换 GPT 为任何大型语言模型（LLM）。它支持开源、语音和多模态模型，能够在云端、本地服务器或本地机器上部署。

MiniCPM5: 设备端 LLM

AI GitHub 仓库

由 OpenBMB 开发的先进设备端语言模型。它在保持紧凑体积的同时提供了最先进的性能，非常适合需要高效处理而不牺牲性能的应用。MiniCPM5 是由 OpenBMB 开发的先进设备端语言模型。它在保持紧凑体积的同时提供了最先进的性能，非常适合需要高效处理而不牺牲性能的应用。

llama.cpp

AI GitHub 仓库

专注于C/C++中LLM推理的GitHub仓库。它允许开发者参与其开发并利用其在机器学习应用中的能力。ggml-org/llama.cpp是一个专注于C/C++中LLM推理的GitHub仓库。它允许开发者参与其开发并利用其在机器学习应用中的能力。