Zum Hauptinhalt springen
ToolPotion
KI-Berater
Einreichen

inferssd

KI-GitHub-ReposMLOps & Modell-DeploymentOpen Source · Windows, macOS

inferssd ist ein Open-Source-GitHub-Projekt, das entwickelt wurde, um große KI-Modelle auszuführen, die die Kapazität des RAM oder VRAM Ihres Systems überschreiten. Dies wird erreicht, indem Mixture-of-Experts (MoE)-Komponenten effizient direkt von SSD-Speicher gestreamt werden. Basierend auf dem llama.cpp-Framework ermöglicht inferssd die lokale Ausführung fortschrittlicher Modelle auf eingeschränkterer Hardware und macht leistungsstarke KI zugänglich, ohne umfangreiche Speicheraufrüstungen zu erfordern.

Repository ansehen
Teilen
Repository ansehen
Teilen

inferssd ist ein GitHub-Projekt, das sich darauf konzentriert, die Ausführung großer KI-Modelle zu ermöglichen, insbesondere solcher mit Mixture-of-Experts (MoE)-Architekturen, selbst wenn ihre Größe den verfügbaren RAM oder VRAM überschreitet. Die zentrale Innovation liegt in der Fähigkeit, MoE-Experten von SSD-Speicher zu streamen, wodurch die Festplatte effektiv als Erweiterung des Systemspeichers genutzt wird. Dieser Ansatz senkt die Hardwareanforderungen für die lokale Ausführung fortschrittlicher Modelle erheblich und macht sie einer breiteren Nutzer- und Systembasis zugänglich.

Weiterlesen

Das Projekt basiert auf der Grundlage von llama.cpp, einer Hochleistungs-Inferenz-Engine für große Sprachmodelle. Durch die Nutzung von llama.cpp profitiert inferssd von einer optimierten Basis für die Modellausführung, während es seine Fähigkeiten erweitert, um Modelle zu verarbeiten, die sonst zu groß für typische Consumer-Hardware wären. Dies ist besonders wertvoll für Forscher, Entwickler und Enthusiasten, die mit großen Modellen experimentieren oder diese bereitstellen möchten, ohne in teure, leistungsstarke GPUs oder große Mengen RAM investieren zu müssen.

Zu den wichtigsten Funktionen gehören ein effizientes Speichermanagement, das das Streaming von Modellkomponenten nach Bedarf priorisiert, anstatt das gesamte Modell auf einmal in den flüchtigen Speicher zu laden. Dieser dynamische Ladevorgang stellt sicher, dass nur die aktuell aktiven „Experten“ oder Modellsegmente im RAM/VRAM vorhanden sind, wodurch der Speicherbedarf minimiert wird. Das Projekt zeigt auch eine kontinuierliche Entwicklung, wobei aktuelle Commits Unterstützung für Windows-SSD-Inferenz auf Laptops und Optimierungen für verschiedene Hardwarekonfigurationen, einschließlich Unified-Memory-GPUs auf macOS, anzeigen.

inferssd zielt darauf ab, den Zugang zu großen KI-Modellen zu demokratisieren, indem es gängige Hardwarebeschränkungen überwindet. Seine Open-Source-Natur fördert die Beiträge der Gemeinschaft und die weitere Entwicklung und fördert Innovationen in der lokalen KI-Inferenz. Die Struktur des Projekts, mit klaren „Engine“- und „Framework“-Komponenten, deutet auf ein modulares Design hin, das zukünftige Erweiterungen und Integrationen mit verschiedenen Modellarchitekturen oder Hardwareplattformen erleichtern könnte.

  • KategorieMLOps & Modell-Deployment
  • PreismodellOpen Source
  • BereitstellungSelbst gehostet
  • PlattformenWindows, macOS

  • Führen Sie Modelle aus, die größer sind als RAM oder VRAM

  • Streamen Sie Mixture-of-Experts (MoE) von SSD

  • Basierend auf llama.cpp für effiziente Inferenz

  • Unterstützt die Ausführung großer KI-Modelle auf eingeschränkter Hardware

  • Optimiertes Speichermanagement für MoE-Modelle

  • Ermöglicht lokale Inferenz ohne umfangreiche Speicheraufrüstungen

  • Laufende Entwicklung mit aktuellen Commits

  • Unterstützung für Windows-SSD-Inferenz auf Laptops

  • Optimierungen für Unified-Memory-GPUs (z. B. macOS)

  • Modulare Architektur von 'Engine' und 'Framework'

  • Apache-2.0-Lizenz für die Open-Source-Nutzung

  • Öffentlich auf GitHub verfügbar für Zusammenarbeit

  1. Repository klonen: Verwenden Sie `git clone`, um das inferssd-Projekt von GitHub auf Ihren lokalen Computer herunterzuladen.

  2. Abhängigkeiten installieren: Befolgen Sie die Dokumentation des Projekts (z. B. in `docs` oder `README.md`), um die erforderlichen Build-Tools und Bibliotheken zu installieren, möglicherweise einschließlich CMake und spezifischer Compiler.

  3. Build konfigurieren: Nutzen Sie CMake, um den Build-Prozess zu konfigurieren, indem Sie Ihre Zielplattform und gewünschte Optionen angeben.

  4. Projekt kompilieren: Kompilieren Sie den Quellcode mit Ihrem gewählten Build-System (z. B. Make oder Visual Studio), um die inferssd-Executables zu erstellen.

  5. Modelle vorbereiten: Konvertieren oder beschaffen Sie MoE-Modelle, die mit llama.cpp und dem Streaming-Mechanismus von inferssd kompatibel sind, und stellen Sie sicher, dass sie korrekt für die SSD-Inferenz formatiert sind.

  6. Inferenz ausführen: Führen Sie die kompilierte inferssd-Anwendung mit Ihren vorbereiteten Modellen aus, sodass sie Experten von der SSD für die Inferenz streamt.

  7. Leistung überwachen: Beobachten Sie die Ressourcennutzung und die Inferenzgeschwindigkeit und passen Sie gegebenenfalls die Konfigurationen für optimale Leistung auf Ihrer spezifischen Hardware an.

  • Lokale LLM-Inferenz
  • MoE-Modellbereitstellung
  • KI-Forschung & -Entwicklung
  • Edge-KI-Anwendungen
  • Kosteneffektives KI-Prototyping

inferssd Bewertungen

Wird geladen...

Beliebte KI-Tools wie inferssd

BigMoeOnEdge

KI-GitHub-Repos

BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…BigMoeOnEdge ermöglicht das Ausführen von MoE-Modellen, die größer sind als Ihr RAM, auf verschiedenen Geräten, einschließlich Smartphones und Laptops. Es verwendet einen…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

llama-modchip

KI-GitHub-Repos

llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…llama-modchip ist ein GitHub-Projekt, das es Benutzern ermöglicht, große Sprachmodelle wie 284B DeepSeek-V4-Flash und 30B MoEs auf einem reinen 64GB-CPU ohne GPUs auszuführen. Es…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

vLLM

KI-GitHub-Repos

vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

MLOps & Modell-Deployment

Platz 22 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…vllm-project/vllm ist eine hochdurchsatz- und speichereffiziente Inferenz- und Servier-Engine, die für große Sprachmodelle (LLMs) entwickelt wurde. Sie optimiert die Leistung bei…

EmpfohlenMLOps & Modell-Deployment
Platz 22 in KI-GitHub-Repos

trnrt

KI-GitHub-Repos

trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment

Platz 160 in MLOps & Modell-Deployment

Tool ansehen

KI-GitHub-Repos

Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…trnrt ist eine Open-Source-LLM-Inferenz-Engine, die für AWS Trainium entwickelt wurde, bietet NKI-Megakernels und unterstützt einen Kontext von 1M-Token. Entwickelt von…

MLOps & Modell-Deployment
Platz 160 in MLOps & Modell-Deployment

Soup

KI-GitHub-Repos

Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…Soup ist ein GitHub-Repository, das das Fine-Tuning von großen Sprachmodellen (LLMs) mit einer einzigen YAML-Datei ermöglicht. Es nutzt Layer-Streaming, um ein Modell mit 8…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

MNN

KI-GitHub-Repos

MNN ist eine leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…

MLOps & Modell-Deployment
Tool ansehen

KI-GitHub-Repos

Leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…MNN ist eine leistungsstarke, leichtgewichtige Inferenz-Engine, die von Alibaba entwickelt wurde. Sie ist darauf ausgelegt, LLMs und Edge-AI-Anwendungen auf Geräten zu optimieren…

MLOps & Modell-Deployment
Top 250 KI-GitHub-Repos ansehen

LMDeploy

KI-GitHub-Repos

LMDeploy ist ein Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…

MLOps & Modell-Deployment

Platz 59 in KI-GitHub-Repos

Tool ansehen

KI-GitHub-Repos

Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…LMDeploy ist ein Toolkit, das für die Komprimierung, Bereitstellung und den Betrieb großer Sprachmodelle (LLMs) entwickelt wurde. Es bietet Entwicklern die notwendigen Werkzeuge,…

MLOps & Modell-Deployment
Platz 59 in KI-GitHub-Repos

AirLLM

KI-GitHub-Repos

AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment

Platz 72 in Machine Learning & Data Science

Tool ansehen

KI-GitHub-Repos

GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…AirLLM ist ein GitHub-Projekt, das die Inferenz von 70 Milliarden Parametern mit einer einzigen 4GB GPU ermöglicht. Es wurde entwickelt, um die Leistung großer Sprachmodelle auf…

MLOps & Modell-Deployment
Platz 72 in Machine Learning & Data Science
1 von 8