跳转到主要内容
ToolPotion
AI 顾问
提交(免费)

smolmaxxing

smolmaxxing 是一个 GitHub 项目,专注于优化在资源受限设备上执行各种大型语言模型(LLMs)。它提供基准测试、工具和文档,以便在手机、iPad 和电视盒子等小型设备上实现高效的 LLM 推理。该项目旨在最大化性能和兼容性,使先进的人工智能在日常设备上可用。

查看仓库
分享
查看仓库
分享

smolmaxxing 是一个开源的 GitHub 仓库,致力于推动在尽可能小的设备上运行大型语言模型(LLMs)的边界。该项目的核心使命是最大化在通常被认为性能不足的硬件上高效部署和执行不同 LLM 的能力,包括智能手机、平板电脑和智能电视盒子。

阅读更多

该仓库包含全面的资源集合,包括基准测试、数据、文档和工具。它展示了在特定设备(如 OnePlus 手机或小米电视盒子 S)上运行的各种 LLM 的性能指标,例如 Qwen3-Next-80B-A3B 和 Qwen3.6-35B-A3B。该项目细致地跟踪每秒令牌数(tok/s)性能,展示了在这些紧凑设备上运行从 260K 到 9B 参数的模型的可行性。

smolmaxxing 提供了一种结构化的实验方法,设有专门的目录用于资产、基准测试、数据和文档。它包括补丁和工具,以促进优化过程,并附有说明项目进展的截图。`README.md` 文件作为中心枢纽,展示了每个尺寸类别中表现最佳模型的排行榜以及指向 Hugging Face 上托管模型的链接。

该项目非常适合对边缘人工智能、设备内机器学习和优化低功耗环境中的 LLM 推理感兴趣的开发者、研究人员和爱好者。它促进了多位开发者的协作,并包括一个 `CONTRIBUTING.md` 指南,供希望提交设备基准测试或代码改进的人使用。`LICENSE` 文件表明采用 MIT 许可证,促进开放使用和修改。

  • 类别MLOps 与模型部署
  • 定价模式开源
  • 部署云端, 自托管
  • 平台网页版

  • 在小型设备上优化 LLM 推理

  • 针对各种硬件的 LLM 基准测试

  • 支持从 260K 到 9B 参数的模型

  • 性能跟踪(每秒令牌数)

  • 针对设备特定优化的文档

  • 用于 LLM 部署的工具和补丁

  • 表现最佳模型的排行榜

  • 指向 Hugging Face 模型的链接

  • 社区贡献和问题表单

  • MIT 许可证以供开源使用

  • 针对手机、iPad 和电视盒子的示例

  • 用于持续研究和开发的仓库

  1. 克隆仓库:使用 `git clone` 将 smolmaxxing 项目下载到本地机器。

  2. 浏览文档:查看 `docs/` 目录和 `README.md` 以获取项目概述、设备细节和设置说明。

  3. 查看基准测试:检查 `bench/` 和 `data/` 目录以了解现有 LLM 在各种小型设备上的性能。

  4. 安装依赖项:识别并安装运行 LLM 所需的任何必要库或工具。

  5. 应用补丁/工具:利用 `patches/` 和 `tools/` 目录中提供的补丁和工具来优化 LLM 执行。

  6. 运行实验:按照 `EXPERIMENT.md` 中的指南,在小型设备上进行自己的 LLM 推理测试。

  7. 贡献发现:使用 `Submit your device` 问题表单或 `CONTRIBUTING.md` 分享您的结果或代码改进。

  • 边缘 AI 开发
  • 设备内 LLM 推理
  • 性能基准测试
  • 资源受限的 AI
  • 物联网设备的 AI
  • 移动 AI 应用

smolmaxxing 评价

加载中...

与 smolmaxxing 类似的热门AI工具

MNN

AI GitHub 仓库

MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看工具

AI GitHub 仓库

阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。MNN是阿里巴巴开发的高性能、轻量级推理引擎。它旨在优化设备上的大语言模型(LLMs)和边缘AI应用,提供快速高效的推理能力。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

BigMoeOnEdge

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看工具

AI GitHub 仓库

BigMoeOnEdge 使得在各种设备上运行超出 RAM 限制的 MoE 模型成为可能,包括手机和笔记本电脑。它使用自适应流优化器确保在任何硬件或操作系统上实现无损性能,利用标准的 llama.cpp。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

trnrt

AI GitHub 仓库

trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署

MLOps 与模型部署 排名第 160 位

查看工具

AI GitHub 仓库

开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。trnrt是一个开源的LLM推理引擎,专为AWS Trainium设计,提供NKI大内核并支持1M-token上下文。由RunAnywhere开发,提供与OpenAI兼容的API,使在专用AWS硬件上高效且可扩展的大型语言模型部署成为可能。该项目为开发者和组织提供了先进的AI模型推理支持。

MLOps 与模型部署
MLOps 与模型部署 排名第 160 位

vLLM

AI GitHub 仓库

vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

MLOps 与模型部署

AI GitHub 仓库 排名第 23 位

查看工具

AI GitHub 仓库

高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。vllm-project/vllm 是一个高吞吐量和内存高效的推理和服务引擎,专为大型语言模型(LLMs)设计。它在优化性能的同时最小化资源使用,使其适用于人工智能和机器学习的各种应用。

精选MLOps 与模型部署
AI GitHub 仓库 排名第 23 位

llama-modchip

AI GitHub 仓库

llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看工具

AI GitHub 仓库

GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。llama-modchip是一个GitHub项目,使用户能够在纯64GB CPU上运行大型语言模型,如284B DeepSeek-V4-Flash和30B MoEs,而无需GPU。它支持高每秒令牌率和256K上下文窗口,集成了SwiGLU-H2和Claude Code恢复等先进功能,以实现高效、可访问的AI模型部署和实验。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

mlc-llm

AI GitHub 仓库

mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看工具

AI GitHub 仓库

通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。mlc-llm 是一个通用的 LLM 部署引擎,利用机器学习编译来简化部署过程。它旨在提高在各种平台上部署大型语言模型的效率和可扩展性。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

Soup

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看工具

AI GitHub 仓库

汤是一个GitHub仓库,能够使用单个YAML文件对大型语言模型(LLMs)进行微调。它利用层流技术在4GB的笔记本GPU上训练一个80亿参数的模型,使得在有限硬件上进行高级AI模型训练变得可行。

MLOps 与模型部署
查看 AI GitHub 仓库 Top 250

AirLLM

AI GitHub 仓库

AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署

机器学习与数据科学 排名第 73 位

查看工具

AI GitHub 仓库

GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。AirLLM是一个GitHub项目,能够在单个4GB GPU上进行70亿参数推理。它旨在优化大型语言模型在有限硬件上的性能,使先进的AI能力更加可及。

MLOps 与模型部署
机器学习与数据科学 排名第 73 位
1/8