跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

inferssd

inferssd 是一个开源 GitHub 项目,旨在运行超出系统 RAM 或 VRAM 容量的大型 AI 模型。它通过高效地从 SSD 存储直接流式传输专家混合(MoE)组件来实现这一点。基于 llama.cpp 框架,inferssd 使得在更受限的硬件上本地执行高级模型成为可能,使强大的 AI 在不需要大量内存升级的情况下变得可访问。

查看仓库
分享
查看仓库
分享

inferssd 是一个 GitHub 项目,专注于使大型 AI 模型的执行成为可能,特别是那些具有专家混合(MoE)架构的模型,即使它们的大小超过可用的 RAM 或 VRAM。其核心创新在于能够从 SSD 存储中流式传输 MoE 专家,有效地将磁盘作为系统内存的扩展。这种方法显著降低了在本地运行高级模型的硬件要求,使其对更广泛的用户和系统可访问。

阅读更多

该项目建立在 llama.cpp 的基础上,这是一个高性能的大型语言模型推理引擎。通过利用 llama.cpp,inferssd 受益于优化的模型执行基础,同时扩展其处理本来对于典型消费级硬件过大的模型的能力。这对于希望在不投资昂贵的高容量 GPU 或大量 RAM 的情况下进行实验或部署大型模型的研究人员、开发人员和爱好者尤为重要。

主要功能包括高效的内存管理,优先考虑根据需要流式传输模型组件,而不是一次性将整个模型加载到易失性内存中。这种动态加载机制确保只有当前活动的“专家”或模型片段驻留在 RAM/VRAM 中,从而最小化内存占用。该项目还展示了持续开发的迹象,最近的提交表明支持在笔记本电脑上进行 Windows SSD 推理,并针对包括 macOS 上的统一内存 GPU 在内的各种硬件配置进行了优化。

inferssd 旨在通过克服常见的硬件限制来实现对大型 AI 模型的民主化访问。其开源特性鼓励社区贡献和进一步开发,促进本地 AI 推理的创新。该项目的结构具有明显的“引擎”和“框架”组件,暗示了一种模块化设计,可能有助于未来与不同模型架构或硬件平台的扩展和集成。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署自托管
  • 平台Windows, macOS

  • 运行大于 RAM 或 VRAM 的模型

  • 从 SSD 流式传输专家混合(MoE)

  • 基于 llama.cpp 进行高效推理

  • 支持在受限硬件上执行大型 AI 模型

  • 针对 MoE 模型的优化内存管理

  • 无需大量内存升级即可实现本地推理

  • 持续开发,最近有提交

  • 支持在笔记本电脑上进行 Windows SSD 推理

  • 针对统一内存 GPU(例如,macOS)的优化

  • 模块化的“引擎”和“框架”架构

  • Apache-2.0 许可证用于开源使用

  • 在 GitHub 上公开可用以便协作

  1. 克隆仓库:使用 `git clone` 将 inferssd 项目从 GitHub 下载到本地机器。

  2. 安装依赖项:按照项目文档(例如,在 `docs` 或 `README.md` 中)安装必要的构建工具和库,可能包括 CMake 和特定编译器。

  3. 配置构建:利用 CMake 配置构建过程,指定目标平台和任何所需选项。

  4. 编译项目:使用所选构建系统(例如,Make 或 Visual Studio)编译源代码,以生成 inferssd 可执行文件。

  5. 准备模型:转换或获取与 llama.cpp 和 inferssd 的流式传输机制兼容的 MoE 模型,确保它们格式正确以进行 SSD 推理。

  6. 执行推理:运行编译后的 inferssd 应用程序,使用准备好的模型,允许其从 SSD 流式传输专家进行推理。

  7. 监控性能:观察资源使用情况和推理速度,可能需要调整配置以在特定硬件上实现最佳性能。

  • 本地 LLM 推理
  • MoE 模型部署
  • AI 研究与开发
  • 边缘 AI 应用
  • 经济高效的 AI 原型设计

inferssd 评价

加载中...

与 inferssd 类似的热门AI工具

BigMoeOnEdge

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看工具

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

llama-modchip

AI GitHub 仓库

llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看工具

AI GitHub 仓库

GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 22 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 22 位

trnrt

AI GitHub 仓库

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署

MLOps 与模型部署 排名第 166 位

查看工具

AI GitHub 仓库

开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署
MLOps 与模型部署 排名第 166 位

Soup

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看工具

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

MNN

AI GitHub 仓库

MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看工具

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

LMDeploy

AI GitHub 仓库

LMDeploy是一个用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。

MLOps 与模型部署

AI GitHub 仓库 排名第 58 位

查看工具

AI GitHub 仓库

用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。LMDeploy是一个用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。

MLOps 与模型部署
AI GitHub 仓库 排名第 58 位

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 71 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 71 位
1/8