跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

llama-modchip

llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

查看仓库
分享
查看仓库
分享

llama-modchip是一个开源GitHub项目,旨在优化大型语言模型(LLMs)在常规CPU硬件上的执行,特别针对没有专用GPU的64GB RAM系统。该项目展示了在少于59GiB RAM的情况下运行284B DeepSeek-V4-Flash模型的能力,取得了44.4每秒令牌(pp)和9.1-14.7每秒令牌的令人印象深刻的性能指标。它还支持30B专家混合(MoE)模型,提供25-111每秒令牌的速度。

阅读更多

llama-modchip的核心创新在于其高效利用CPU资源的能力,为研究人员、开发者和爱好者提供了一种经济实惠且可访问的解决方案,这些用户可能无法获得高端GPU基础设施。这对于需要大上下文窗口的模型尤为重要,因为该项目支持高达256K的上下文,允许进行广泛的对话或文档处理能力。

除了原始性能外,llama-modchip还结合了多个先进功能和优化。这些包括SwiGLU-H2,一种高效的激活函数,以及Stockfish-PVS L3,这可能指的是一种优化的搜索算法或数据结构,增强模型的推理或处理能力。该项目还突出了一个“13ms Claude Code恢复”功能,暗示快速恢复或集成与代码相关的功能,可能改善开发工作流程或代码生成任务。

该代码库结构表明正在进行的开发以及对模型部署和优化各个方面的关注。像`apple-silicon`这样的目录表明针对苹果M系列芯片的特定优化,而`benchmarks`和`docs`提供性能数据和详细说明。`patches`和`speculative`文件夹的存在表明持续的改进和安全加固工作。总体而言,llama-modchip旨在推动仅使用CPU的LLM推理的可能性,使先进的AI模型更广泛可用。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署自托管
  • 平台Linux, Windows

  • 在64GB CPU上运行284B DeepSeek-V4-Flash

  • 为DeepSeek-V4-Flash实现44.4每秒令牌pp

  • 支持30B专家混合(MoE)模型

  • 在CPU上以256K上下文窗口运行

  • 利用SwiGLU-H2优化

  • 集成Stockfish-PVS L3

  • 具备13ms Claude Code恢复功能

  • 优化使用少于59GiB RAM

  • 包括针对Apple Silicon的特定优化

  • 提供详细的基准测试和文档

  • 提供安全加固和补丁

  • 支持多种操作系统(例如,Fedora、Windows)

  1. 克隆代码库:使用`git clone`从GitHub下载llama-modchip项目。

  2. 查看文档:查阅`README.md`、`ARCHITECTURE.md`和`FAQ.md`文件以获取详细的设置说明和系统要求。

  3. 安装依赖项:执行`install.sh`脚本或按照手动说明设置必要的库和工具。

  4. 配置环境:根据文档中概述的内容调整特定CPU架构和RAM配置的设置。

  5. 运行模型:按照提供的脚本或命令加载和执行DeepSeek-V4-Flash或MoE模型。

  6. 监控性能:利用代码库中的基准测试工具评估每秒令牌率和资源使用情况。

  • 仅CPU的LLM推理
  • 内存受限的AI开发
  • 高上下文窗口处理
  • 高效的MoE模型部署
  • AI研究与实验
  • 代码生成与恢复

llama-modchip 评价

加载中...

与 llama-modchip 类似的热门AI工具

BigMoeOnEdge

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看工具

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

Soup

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看工具

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 23 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 23 位

mlc-llm

AI GitHub 仓库

mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看工具

AI GitHub 仓库

通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

trnrt

AI GitHub 仓库

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署

MLOps 与模型部署 排名第 160 位

查看工具

AI GitHub 仓库

开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署
MLOps 与模型部署 排名第 160 位

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 72 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 72 位

LMDeploy

AI GitHub 仓库

LMDeploy是一个用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。

MLOps 与模型部署

AI GitHub 仓库 排名第 57 位

查看工具

AI GitHub 仓库

用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。LMDeploy是一个用于压缩、部署和服务大型语言模型(LLMs)的工具包。它为开发者提供了必要的工具,以高效管理LLMs,确保最佳性能和可扩展性。

MLOps 与模型部署
AI GitHub 仓库 排名第 57 位

FlashInfer

AI GitHub 仓库

FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。

MLOps 与模型部署
查看工具

AI GitHub 仓库

专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。FlashInfer 是一个专为服务大型语言模型 (LLMs) 设计的内核库。它促进了 LLM 的高效部署和管理,使开发者能够通过 GitHub 贡献和增强其功能。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250
1/8