Beschreibung
LiquidAI LFM2.5-2.6B ist Teil der LFM2.5-Familie, einer Reihe hybrider Modelle, die für die Bereitstellung auf Geräten entwickelt wurden. Basierend auf der LFM2-Architektur verfügt es über ein Kontextfenster von 128K und agentisches Post-Training, was es wettbewerbsfähig macht mit Modellen, die viermal so groß sind, in der Nutzung von Werkzeugen, der Befolgung von Anweisungen und mehrstufigen agentischen Aufgaben.
Weiterlesen
Das Modell bietet effiziente Inferenzfähigkeiten und erreicht 220 Tokens pro Sekunde auf einem Apple M5 Max und 113 Tokens pro Sekunde auf einer AMD Ryzen-CPU, alles innerhalb eines Speicherbedarfs von unter 2,5 GB. Es handelt sich um ein allgemeines Textmodell mit 2,69 Milliarden Parametern, 30 Schichten und einer Vokabulargröße von 128.000. Das Modell unterstützt eine breite Palette von Sprachen, darunter Englisch, Arabisch, Chinesisch, Französisch und mehr.
LFM2.5-2.6B ist in verschiedenen Formaten erhältlich, wie dem Basis-Modell für das Fine-Tuning, einem quantisierten Format für die CPU-Inferenz und einem ONNX Runtime-Format für die plattformübergreifende Bereitstellung. Es ist für eine schnelle Inferenz auf Apple Silicon unter Verwendung des MLX-Frameworks optimiert und unterstützt spekulative Dekodierung für schnellere Ausgaben.
Das Modell wird für agentische Arbeitslasten, Werkzeugnutzung, Datenextraktion und Arbeitsabläufe mit langem Kontext empfohlen, obwohl es nicht ideal für agentisches Codieren und wissensintensive Aufgaben ist. Es unterstützt Funktionsaufrufe in agentischen Arbeitsabläufen, was eine nahtlose Integration in bestehende Systeme ermöglicht. Fine-Tuning wird empfohlen, um optimale Ergebnisse für spezifische Anwendungsfälle zu erzielen.
LFM2.5-2.6B wurde gegen andere Modelle unter 10B benchmarked und zeigt wettbewerbsfähige Leistungen in verschiedenen Metriken. Seine effiziente Architektur ermöglicht eine schnelle CPU- und GPU-Inferenz, was es für eine Vielzahl von Anwendungen geeignet macht.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb, macOS, Windows
LiquidAI LFM2.5-2.6B im Überblick
Hybrides Modell für die Bereitstellung auf Geräten
128K Kontextfenster
Agentisches Post-Training
Effiziente Inferenz
2,69 Milliarden Parameter
Unterstützt mehrere Sprachen
In verschiedenen Formaten erhältlich
Optimiert für Apple Silicon
Erste Schritte mit LiquidAI LFM2.5-2.6B
Zugriff auf die Modellseite: Besuchen Sie die Hugging Face-Website
Authentifizieren: Melden Sie sich bei Ihrem Hugging Face-Konto an
Konfigurieren: Richten Sie das Modell für Ihren spezifischen Anwendungsfall ein
Eingabeaufforderungen senden: Verwenden Sie das Modell für Inferenz oder agentische Arbeitsabläufe
LiquidAI LFM2.5-2.6B's Anwendungsfälle
- Agentische Arbeitsabläufe
- Datenextraktion
- Werkzeugnutzung
- Aufgaben mit langem Kontext
- Plattformübergreifende Bereitstellung
