Beschreibung
smolmaxxing ist ein Open-Source-GitHub-Repository, das sich der Erweiterung der Möglichkeiten widmet, große Sprachmodelle (LLMs) auf den kleinsten möglichen Geräten auszuführen. Die Kernmission des Projekts besteht darin, die Fähigkeit zu maximieren, verschiedene LLMs effizient auf Hardware bereitzustellen und auszuführen, die typischerweise als unterdimensioniert für solche Aufgaben angesehen wird, einschließlich Smartphones, Tablets und Smart-TV-Boxen.
Weiterlesen
Das Repository enthält eine umfassende Sammlung von Ressourcen, einschließlich Benchmarks, Daten, Dokumentation und Werkzeugen. Es zeigt Leistungskennzahlen für verschiedene LLMs, wie Qwen3-Next-80B-A3B und Qwen3.6-35B-A3B, die auf bestimmten Geräten wie einem OnePlus-Handy oder einer Xiaomi TV Box S ausgeführt werden. Das Projekt verfolgt sorgfältig die Leistung in Token pro Sekunde (tok/s) und demonstriert die Machbarkeit, Modelle mit 260K bis 9B Parametern auf diesen kompakten Geräten auszuführen.
smolmaxxing bietet einen strukturierten Ansatz für Experimente, mit speziellen Verzeichnissen für Assets, Benchmarks, Daten und Dokumentation. Es umfasst Patches und Werkzeuge, um den Optimierungsprozess zu erleichtern, sowie Screenshots, die den Fortschritt des Projekts veranschaulichen. Die Datei `README.md` dient als zentrales Hub und enthält eine Rangliste der leistungsstärksten Modelle pro Größenklasse sowie Links zu Modellen, die auf Hugging Face gehostet werden.
Dieses Projekt ist ideal für Entwickler, Forscher und Enthusiasten, die sich für Edge-KI, maschinelles Lernen auf Geräten und die Optimierung der LLM-Inferenz für energiearme Umgebungen interessieren. Es fördert die Zusammenarbeit mit Beiträgen von mehreren Entwicklern und enthält einen Leitfaden in `CONTRIBUTING.md` für diejenigen, die ihre Gerätebenchmarks oder Codeverbesserungen einreichen möchten. Die Datei `LICENSE` weist auf eine MIT-Lizenz hin, die die offene Nutzung und Modifikation fördert.
- KategorieMLOps & Modell-Deployment
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
smolmaxxing's Kernfunktionen
Optimierte LLM-Inferenz auf kleinen Geräten
Benchmarks für verschiedene LLMs auf unterschiedlicher Hardware
Unterstützung für Modelle von 260K bis 9B Parametern
Leistungsüberwachung (Tokens pro Sekunde)
Dokumentation für gerätespezifische Optimierungen
Werkzeuge und Patches für die Bereitstellung von LLMs
Rangliste der leistungsstärksten Modelle
Links zu Hugging Face-Modellen
Beiträge der Community und Issue-Formulare
MIT-Lizenz für Open-Source-Nutzung
Beispiele für Handys, iPads und TV-Boxen
Repository für laufende Forschung und Entwicklung
Erste Schritte mit smolmaxxing
Repository klonen: Verwenden Sie `git clone`, um das smolmaxxing-Projekt auf Ihren lokalen Computer zu holen.
Dokumentation erkunden: Überprüfen Sie das Verzeichnis `docs/` und die `README.md` für einen Überblick über das Projekt, gerätespezifische Informationen und Installationsanweisungen.
Benchmarks überprüfen: Untersuchen Sie die Verzeichnisse `bench/` und `data/`, um die bestehende LLM-Leistung auf verschiedenen kleinen Geräten zu verstehen.
Abhängigkeiten installieren: Identifizieren und installieren Sie alle notwendigen Bibliotheken oder Werkzeuge, die für die Ausführung von LLMs auf Ihrem Zielgerät erforderlich sind.
Patches/Werkzeuge anwenden: Nutzen Sie die bereitgestellten Patches und Werkzeuge aus den Verzeichnissen `patches/` und `tools/`, um die LLM-Ausführung zu optimieren.
Experimente durchführen: Befolgen Sie die Richtlinien in `EXPERIMENT.md`, um Ihre eigenen LLM-Inferenztests auf kleinen Geräten durchzuführen.
Ergebnisse beitragen: Verwenden Sie das Issue-Formular `Submit your device` oder `CONTRIBUTING.md`, um Ihre Ergebnisse oder Codeverbesserungen zu teilen.
smolmaxxing's Anwendungsfälle
- Edge-KI-Entwicklung
- On-Device LLM-Inferenz
- Leistungsbenchmarking
- Ressourcenbeschränkte KI
- KI für IoT-Geräte
- Mobile KI-Anwendung








