描述
smolmaxxing 是一个开源的 GitHub 仓库,致力于推动在尽可能小的设备上运行大型语言模型(LLMs)的边界。该项目的核心使命是最大化在通常被认为性能不足的硬件上高效部署和执行不同 LLM 的能力,包括智能手机、平板电脑和智能电视盒子。
阅读更多
该仓库包含全面的资源集合,包括基准测试、数据、文档和工具。它展示了在特定设备(如 OnePlus 手机或小米电视盒子 S)上运行的各种 LLM 的性能指标,例如 Qwen3-Next-80B-A3B 和 Qwen3.6-35B-A3B。该项目细致地跟踪每秒令牌数(tok/s)性能,展示了在这些紧凑设备上运行从 260K 到 9B 参数的模型的可行性。
smolmaxxing 提供了一种结构化的实验方法,设有专门的目录用于资产、基准测试、数据和文档。它包括补丁和工具,以促进优化过程,并附有说明项目进展的截图。`README.md` 文件作为中心枢纽,展示了每个尺寸类别中表现最佳模型的排行榜以及指向 Hugging Face 上托管模型的链接。
该项目非常适合对边缘人工智能、设备内机器学习和优化低功耗环境中的 LLM 推理感兴趣的开发者、研究人员和爱好者。它促进了多位开发者的协作,并包括一个 `CONTRIBUTING.md` 指南,供希望提交设备基准测试或代码改进的人使用。`LICENSE` 文件表明采用 MIT 许可证,促进开放使用和修改。
- 类别MLOps 与模型部署
- 定价模式开源
- 部署云端, 自托管
- 平台网页版
smolmaxxing的核心功能
在小型设备上优化 LLM 推理
针对各种硬件的 LLM 基准测试
支持从 260K 到 9B 参数的模型
性能跟踪(每秒令牌数)
针对设备特定优化的文档
用于 LLM 部署的工具和补丁
表现最佳模型的排行榜
指向 Hugging Face 模型的链接
社区贡献和问题表单
MIT 许可证以供开源使用
针对手机、iPad 和电视盒子的示例
用于持续研究和开发的仓库
smolmaxxing入门
克隆仓库:使用 `git clone` 将 smolmaxxing 项目下载到本地机器。
浏览文档:查看 `docs/` 目录和 `README.md` 以获取项目概述、设备细节和设置说明。
查看基准测试:检查 `bench/` 和 `data/` 目录以了解现有 LLM 在各种小型设备上的性能。
安装依赖项:识别并安装运行 LLM 所需的任何必要库或工具。
应用补丁/工具:利用 `patches/` 和 `tools/` 目录中提供的补丁和工具来优化 LLM 执行。
运行实验:按照 `EXPERIMENT.md` 中的指南,在小型设备上进行自己的 LLM 推理测试。
贡献发现:使用 `Submit your device` 问题表单或 `CONTRIBUTING.md` 分享您的结果或代码改进。
smolmaxxing的使用案例
- 边缘 AI 开发
- 设备内 LLM 推理
- 性能基准测试
- 资源受限的 AI
- 物联网设备的 AI
- 移动 AI 应用








