Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

llama-modchip

KI-GitHub-ReposMLOps & Modell-DeploymentOpen Source · Linux, Windows

llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es unterstützt hohe Token-pro-Sekunde-Raten und ein 256K-Kontextfenster und integriert fortschrittliche Funktionen wie SwiGLU-H2 und Claude Code Restore für eine effiziente und zugängliche Bereitstellung und Experimentierung mit KI-Modellen.

Repository ansehen
Teilen
Repository ansehen
Teilen

llama-modchip ist ein Open-Source-GitHub-Projekt, das darauf abzielt, die Ausführung großer Sprachmodelle (LLMs) auf herkömmlicher CPU-Hardware zu optimieren, wobei speziell Systeme mit 64GB RAM und ohne dedizierte GPUs angesprochen werden. Das Projekt demonstriert die Fähigkeit, Modelle wie das 284B DeepSeek-V4-Flash mit weniger als 59GiB RAM auszuführen und beeindruckende Leistungskennzahlen wie 44,4 Tokens pro Sekunde (pp) und 9,1-14,7 Tokens pro Sekunde insgesamt zu erreichen. Es unterstützt auch 30B Mixture of Experts (MoE)-Modelle und liefert Geschwindigkeiten zwischen 25-111 Tokens pro Sekunde.

Weiterlesen

Die Kerninnovation von llama-modchip liegt in seiner Fähigkeit, CPU-Ressourcen effizient zu nutzen und eine kostengünstige und zugängliche Lösung für Forscher, Entwickler und Enthusiasten bereitzustellen, die möglicherweise keinen Zugang zu hochmodernen GPU-Infrastrukturen haben. Dies ist besonders bedeutend für Modelle, die ein großes Kontextfenster erfordern, da das Projekt bis zu 256K Kontext unterstützt und somit umfangreiche Konversations- oder Dokumentverarbeitungsfähigkeiten ermöglicht.

Über die reine Leistung hinaus integriert llama-modchip mehrere fortschrittliche Funktionen und Optimierungen. Dazu gehören SwiGLU-H2, eine hoch effiziente Aktivierungsfunktion, und Stockfish-PVS L3, was wahrscheinlich auf einen optimierten Suchalgorithmus oder eine Datenstruktur verweist, die die Denk- oder Verarbeitungsfähigkeiten des Modells verbessert. Das Projekt hebt auch eine „13ms Claude Code Restore“-Funktion hervor, die eine schnelle Wiederherstellung oder Integration von codebezogenen Funktionen andeutet, was potenziell die Entwicklungsabläufe oder die Codegenerierungsaufgaben verbessert.

Die Struktur des Repositories deutet auf eine laufende Entwicklung und einen Fokus auf verschiedene Aspekte der Modellbereitstellung und -optimierung hin. Verzeichnisse wie `apple-silicon` deuten auf spezifische Optimierungen für die M-Serie-Chips von Apple hin, während `benchmarks` und `docs` Leistungsdaten und detaillierte Erklärungen bereitstellen. Die Präsenz von `patches` und `speculative`-Ordnern weist auf kontinuierliche Verfeinerungs- und Sicherheitsverstärkungsmaßnahmen hin. Insgesamt zielt llama-modchip darauf ab, die Grenzen dessen, was mit CPU-LLM-Inferenz möglich ist, zu erweitern und fortschrittliche KI-Modelle breiter verfügbar zu machen.

  • KategorieMLOps & Modell-Deployment
  • PreismodellOpen Source
  • BereitstellungSelbst gehostet
  • PlattformenLinux, Windows

  • Führen Sie 284B DeepSeek-V4-Flash auf 64GB CPU aus

  • Erreichen Sie 44,4 Tokens/s pp für DeepSeek-V4-Flash

  • Unterstützen Sie 30B Mixture of Experts (MoE)-Modelle

  • Betrieb mit 256K Kontextfenster auf CPU

  • Nutzen Sie die SwiGLU-H2-Optimierung

  • Integrieren Sie Stockfish-PVS L3

  • Funktion 13ms Claude Code Restore

  • Optimiert für weniger als 59GiB RAM-Nutzung

  • Beinhaltet spezifische Optimierungen für Apple Silicon

  • Bietet detaillierte Benchmarks und Dokumentation

  • Bietet Sicherheitsverstärkungen und Patches

  • Unterstützt verschiedene Betriebssysteme (z.B. Fedora, Windows)

  1. Repository klonen: Verwenden Sie `git clone`, um das llama-modchip-Projekt von GitHub herunterzuladen.

  2. Dokumentation überprüfen: Konsultieren Sie die Dateien `README.md`, `ARCHITECTURE.md` und `FAQ.md` für detaillierte Anweisungen zur Einrichtung und Systemanforderungen.

  3. Abhängigkeiten installieren: Führen Sie das Skript `install.sh` aus oder folgen Sie den manuellen Anweisungen, um die erforderlichen Bibliotheken und Tools einzurichten.

  4. Umgebung konfigurieren: Passen Sie die Einstellungen für Ihre spezifische CPU-Architektur und RAM-Konfiguration gemäß der Dokumentation an.

  5. Modelle ausführen: Befolgen Sie die bereitgestellten Skripte oder Befehle, um DeepSeek-V4-Flash oder MoE-Modelle zu laden und auszuführen.

  6. Leistung überwachen: Nutzen Sie Benchmark-Tools im Repository, um die Token-pro-Sekunde-Raten und die Ressourcennutzung zu bewerten.

  • CPU-Only LLM-Inferenz
  • Speicherbeschränkte KI-Entwicklung
  • Verarbeitung mit hohem Kontextfenster
  • Effiziente Bereitstellung von MoE-Modellen
  • KI-Forschung und Experimentierung
  • Codegenerierung und -wiederherstellung

llama-modchip Bewertungen

Wird geladen...

Beliebte KI-Tools wie llama-modchip

BigMoeOnEdge

KI-GitHub-Repos

BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

Soup

KI-GitHub-Repos

Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

vLLM

KI-GitHub-Repos

vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

MLOps & Modell-Deployment

Platz 23 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

EmpfohlenMLOps & Modell-Deployment
Platz 23 in KI-GitHub-Repos

mlc-llm

KI-GitHub-Repos

mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…mlc-llm ist eine universelle LLM-Bereitstellungsengine, die maschinelles Lernen zur Optimierung des Bereitstellungsprozesses nutzt. Sie wurde entwickelt, um die Effizienz und…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

trnrt

KI-GitHub-Repos

trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment

Platz 160 in MLOps & Modell-Deployment

Tool ansehen

KI-GitHub-Repos

Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment
Platz 160 in MLOps & Modell-Deployment

AirLLM

KI-GitHub-Repos

AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment

Platz 73 in Machine Learning & Data Science

Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment
Platz 73 in Machine Learning & Data Science

LMDeploy

KI-GitHub-Repos

LMDeploy ist ein Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…

MLOps & Modell-Deployment

Platz 59 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…LMDeploy ist ein Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…

MLOps & Modell-Deployment
Platz 59 in KI-GitHub-Repos

FlashInfer

KI-GitHub-Repos

FlashInfer ist eine Kernelbibliothek, die für das Bereitstellen großer Sprachmodelle (LLMs) entwickelt wurde. Sie erleichtert die effiziente Bereitstellung und Verwaltung von LLMs…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Kernelbibliothek, die für das Bereitstellen großer Sprachmodelle (LLMs) entwickelt wurde. Sie erleichtert die effiziente Bereitstellung und Verwaltung von LLMs…FlashInfer ist eine Kernelbibliothek, die für das Bereitstellen großer Sprachmodelle (LLMs) entwickelt wurde. Sie erleichtert die effiziente Bereitstellung und Verwaltung von LLMs…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen
1 von 8