Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

smolmaxxing

smolmaxxing ist ein GitHub-Projekt, das sich auf die Optimierung der Ausführung verschiedener großer Sprachmodelle (LLMs) auf ressourcenbeschränkten Geräten konzentriert. Es bietet Benchmarks, Werkzeuge und Dokumentation, um eine effiziente LLM-Inferenz auf kleinen Geräten wie Handys, iPads und TV-Boxen zu ermöglichen. Das Projekt zielt darauf ab, die Leistung und Kompatibilität über eine Vielzahl von Hardware zu maximieren und fortschrittliche KI auf alltäglichen Geräten zugänglich zu machen.

Repository ansehen
Teilen
Repository ansehen
Teilen

smolmaxxing ist ein Open-Source-GitHub-Repository, das sich der Erweiterung der Möglichkeiten widmet, große Sprachmodelle (LLMs) auf den kleinsten möglichen Geräten auszuführen. Die Kernmission des Projekts besteht darin, die Fähigkeit zu maximieren, verschiedene LLMs effizient auf Hardware bereitzustellen und auszuführen, die typischerweise als unterdimensioniert für solche Aufgaben angesehen wird, einschließlich Smartphones, Tablets und Smart-TV-Boxen.

Weiterlesen

Das Repository enthält eine umfassende Sammlung von Ressourcen, einschließlich Benchmarks, Daten, Dokumentation und Werkzeugen. Es zeigt Leistungskennzahlen für verschiedene LLMs, wie Qwen3-Next-80B-A3B und Qwen3.6-35B-A3B, die auf bestimmten Geräten wie einem OnePlus-Handy oder einer Xiaomi TV Box S ausgeführt werden. Das Projekt verfolgt sorgfältig die Leistung in Token pro Sekunde (tok/s) und demonstriert die Machbarkeit, Modelle mit 260K bis 9B Parametern auf diesen kompakten Geräten auszuführen.

smolmaxxing bietet einen strukturierten Ansatz für Experimente, mit speziellen Verzeichnissen für Assets, Benchmarks, Daten und Dokumentation. Es umfasst Patches und Werkzeuge, um den Optimierungsprozess zu erleichtern, sowie Screenshots, die den Fortschritt des Projekts veranschaulichen. Die Datei `README.md` dient als zentrales Hub und enthält eine Rangliste der leistungsstärksten Modelle pro Größenklasse sowie Links zu Modellen, die auf Hugging Face gehostet werden.

Dieses Projekt ist ideal für Entwickler, Forscher und Enthusiasten, die sich für Edge-KI, maschinelles Lernen auf Geräten und die Optimierung der LLM-Inferenz für energiearme Umgebungen interessieren. Es fördert die Zusammenarbeit mit Beiträgen von mehreren Entwicklern und enthält einen Leitfaden in `CONTRIBUTING.md` für diejenigen, die ihre Gerätebenchmarks oder Codeverbesserungen einreichen möchten. Die Datei `LICENSE` weist auf eine MIT-Lizenz hin, die die offene Nutzung und Modifikation fördert.

  • KategorieMLOps & Modell-Deployment
  • PreismodellOpen Source
  • BereitstellungCloud, Selbst gehostet
  • PlattformenWeb

  • Optimierte LLM-Inferenz auf kleinen Geräten

  • Benchmarks für verschiedene LLMs auf unterschiedlicher Hardware

  • Unterstützung für Modelle von 260K bis 9B Parametern

  • Leistungsüberwachung (Tokens pro Sekunde)

  • Dokumentation für gerätespezifische Optimierungen

  • Werkzeuge und Patches für die Bereitstellung von LLMs

  • Rangliste der leistungsstärksten Modelle

  • Links zu Hugging Face-Modellen

  • Beiträge der Community und Issue-Formulare

  • MIT-Lizenz für Open-Source-Nutzung

  • Beispiele für Handys, iPads und TV-Boxen

  • Repository für laufende Forschung und Entwicklung

  1. Repository klonen: Verwenden Sie `git clone`, um das smolmaxxing-Projekt auf Ihren lokalen Computer zu holen.

  2. Dokumentation erkunden: Überprüfen Sie das Verzeichnis `docs/` und die `README.md` für einen Überblick über das Projekt, gerätespezifische Informationen und Installationsanweisungen.

  3. Benchmarks überprüfen: Untersuchen Sie die Verzeichnisse `bench/` und `data/`, um die bestehende LLM-Leistung auf verschiedenen kleinen Geräten zu verstehen.

  4. Abhängigkeiten installieren: Identifizieren und installieren Sie alle notwendigen Bibliotheken oder Werkzeuge, die für die Ausführung von LLMs auf Ihrem Zielgerät erforderlich sind.

  5. Patches/Werkzeuge anwenden: Nutzen Sie die bereitgestellten Patches und Werkzeuge aus den Verzeichnissen `patches/` und `tools/`, um die LLM-Ausführung zu optimieren.

  6. Experimente durchführen: Befolgen Sie die Richtlinien in `EXPERIMENT.md`, um Ihre eigenen LLM-Inferenztests auf kleinen Geräten durchzuführen.

  7. Ergebnisse beitragen: Verwenden Sie das Issue-Formular `Submit your device` oder `CONTRIBUTING.md`, um Ihre Ergebnisse oder Codeverbesserungen zu teilen.

  • Edge-KI-Entwicklung
  • On-Device LLM-Inferenz
  • Leistungsbenchmarking
  • Ressourcenbeschränkte KI
  • KI für IoT-Geräte
  • Mobile KI-Anwendung

smolmaxxing Bewertungen

Wird geladen...

Beliebte KI-Tools wie smolmaxxing

MNN

KI-GitHub-Repos

MNN ist eine leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…MNN ist eine leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

BigMoeOnEdge

KI-GitHub-Repos

BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

trnrt

KI-GitHub-Repos

trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment

Platz 160 in MLOps & Modell-Deployment

Tool ansehen

KI-GitHub-Repos

Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment
Platz 160 in MLOps & Modell-Deployment

vLLM

KI-GitHub-Repos

vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

MLOps & Modell-Deployment

Platz 23 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

EmpfohlenMLOps & Modell-Deployment
Platz 23 in KI-GitHub-Repos

llama-modchip

KI-GitHub-Repos

llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

mlc-llm

KI-GitHub-Repos

mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

Soup

KI-GitHub-Repos

Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

AirLLM

KI-GitHub-Repos

AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment

Platz 73 in Machine Learning & Data Science

Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment
Platz 73 in Machine Learning & Data Science
1 von 8