Beschreibung
Kann ich KI lokal ausführen? ist ein kostenloses Online-Tool, das Benutzern hilft, herauszufinden, welche lokalen großen Sprachmodelle (LLMs) ihre Hardware unterstützen kann. Mit diesem browserbasierten Kompatibilitätsprüfer können Benutzer ihre GPU, Mac oder CPU auswählen oder erkennen und eine Schätzung erhalten, welche offenen Gewichtsmodelle in den Speicher passen. Das Tool bietet Einblicke, wie viel VRAM oder einheitlicher Speicher jedes Modell bei einer bestimmten Quantisierung und Kontextlänge benötigt, sowie eine geschätzte Geschwindigkeit in Tokens pro Sekunde.
Weiterlesen
Das Tool ist besonders nützlich für diejenigen, die KI-Modelle lokal ausführen möchten, ohne Software installieren oder ein Konto erstellen zu müssen. Es funktioniert vollständig im Browser, sodass die Rohdaten der GPU privat bleiben und nicht hochgeladen werden. Benutzer können Anforderungen wie VRAM, Speicher, Quantisierung und Kontextlänge mit ihren Hardwarefähigkeiten vergleichen, um informierte Entscheidungen darüber zu treffen, welche Modelle heruntergeladen und ausgeführt werden sollen.
Kann ich KI lokal ausführen? umfasst einen Katalog von 55 offenen Textgenerierungsmodellen von 12 Herausgebern, einschließlich beliebter Modelle wie Llama, Qwen, Gemma und GPT-OSS. Das Tool bietet ein Passungsurteil und eine Speicherschätzung für jedes Modell sowie erwartete Geschwindigkeitsbereiche und bereit zum Kopieren von Ausführungsbefehlen, wo verfügbar. Der Katalog wird regelmäßig aktualisiert, um neue Modelle einzuschließen und bestehende Einträge mit offiziellen Modellkarten erneut zu überprüfen.
Das Tool bietet auch detaillierte Erklärungen zu Quantisierungsoptionen wie Q4, Q5, Q8, BF16, FP8 und NVFP4, um Benutzern zu helfen, die Speichertrade-offs und die hardware-spezifische Präzisionsunterstützung zu verstehen. Es ist als Planungstool konzipiert, das Schätzungen anstelle von genauen Messungen bereitstellt, und ermutigt die Benutzer, enge Passungen zu testen, bevor sie sich auf sie für kritische Aufgaben verlassen.
- KategorieMachine-Learning-Plattformen
- PreismodellKostenlos
- BereitstellungBrowserbasiert
- PlattformenWeb
Kann ich KI lokal ausführen?'s Kernfunktionen
Browserbasierter Kompatibilitätsprüfer
Schätzt VRAM- und Speicheranforderungen
Unterstützt GPU-, Mac- und CPU-Erkennung
Bietet Quantisierungs- und Kontextlängenoptionen
Bietet geschätzte Geschwindigkeit in Tokens pro Sekunde
Keine Installation oder Konto erforderlich
Katalog von 55 offenen Modellen
Bereit zum Kopieren von Ausführungsbefehlen
Wie verwendet man Kann ich KI lokal ausführen??
Wählen oder erkennen Sie Ihre Hardware: Wählen Sie Ihre GPU, Mac oder CPU.
Stellen Sie Quantisierung und Kontext ein: Passen Sie diese Einstellungen für Ihr Modell an.
Überprüfen Sie Passung und Speicherschätzungen: Überprüfen Sie, welche Modelle zu Ihrer Hardware passen.
Kopieren Sie Ausführungsbefehle: Verwenden Sie die bereitgestellten Befehle, um Modelle lokal auszuführen.
Kann ich KI lokal ausführen?'s Anwendungsfälle
- Modellkompatibilitätsprüfung
- VRAM- und Speicherschätzung
- Quantisierungsanalyse
- Geschwindigkeitsschätzung
- Lokale Ausführung von KI-Modellen








