描述
inferssd 是一个 GitHub 项目,专注于使大型 AI 模型的执行成为可能,特别是那些具有专家混合(MoE)架构的模型,即使它们的大小超过可用的 RAM 或 VRAM。其核心创新在于能够从 SSD 存储中流式传输 MoE 专家,有效地将磁盘作为系统内存的扩展。这种方法显著降低了在本地运行高级模型的硬件要求,使其对更广泛的用户和系统可访问。
阅读更多
该项目建立在 llama.cpp 的基础上,这是一个高性能的大型语言模型推理引擎。通过利用 llama.cpp,inferssd 受益于优化的模型执行基础,同时扩展其处理本来对于典型消费级硬件过大的模型的能力。这对于希望在不投资昂贵的高容量 GPU 或大量 RAM 的情况下进行实验或部署大型模型的研究人员、开发人员和爱好者尤为重要。
主要功能包括高效的内存管理,优先考虑根据需要流式传输模型组件,而不是一次性将整个模型加载到易失性内存中。这种动态加载机制确保只有当前活动的“专家”或模型片段驻留在 RAM/VRAM 中,从而最小化内存占用。该项目还展示了持续开发的迹象,最近的提交表明支持在笔记本电脑上进行 Windows SSD 推理,并针对包括 macOS 上的统一内存 GPU 在内的各种硬件配置进行了优化。
inferssd 旨在通过克服常见的硬件限制来实现对大型 AI 模型的民主化访问。其开源特性鼓励社区贡献和进一步开发,促进本地 AI 推理的创新。该项目的结构具有明显的“引擎”和“框架”组件,暗示了一种模块化设计,可能有助于未来与不同模型架构或硬件平台的扩展和集成。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署自托管
- 平台Windows, macOS
inferssd的核心功能
运行大于 RAM 或 VRAM 的模型
从 SSD 流式传输专家混合(MoE)
基于 llama.cpp 进行高效推理
支持在受限硬件上执行大型 AI 模型
针对 MoE 模型的优化内存管理
无需大量内存升级即可实现本地推理
持续开发,最近有提交
支持在笔记本电脑上进行 Windows SSD 推理
针对统一内存 GPU(例如,macOS)的优化
模块化的“引擎”和“框架”架构
Apache-2.0 许可证用于开源使用
在 GitHub 上公开可用以便协作
inferssd入门
克隆仓库:使用 `git clone` 将 inferssd 项目从 GitHub 下载到本地机器。
安装依赖项:按照项目文档(例如,在 `docs` 或 `README.md` 中)安装必要的构建工具和库,可能包括 CMake 和特定编译器。
配置构建:利用 CMake 配置构建过程,指定目标平台和任何所需选项。
编译项目:使用所选构建系统(例如,Make 或 Visual Studio)编译源代码,以生成 inferssd 可执行文件。
准备模型:转换或获取与 llama.cpp 和 inferssd 的流式传输机制兼容的 MoE 模型,确保它们格式正确以进行 SSD 推理。
执行推理:运行编译后的 inferssd 应用程序,使用准备好的模型,允许其从 SSD 流式传输专家进行推理。
监控性能:观察资源使用情况和推理速度,可能需要调整配置以在特定硬件上实现最佳性能。
inferssd的使用案例
- 本地 LLM 推理
- MoE 模型部署
- AI 研究与开发
- 边缘 AI 应用
- 经济高效的 AI 原型设计








