Beschreibung
Flide ist eine fortschrittliche Inferenzinfrastruktur, die speziell entwickelt wurde, um Jev-Stil Entscheidungsmodelle zu beschleunigen. Die zentrale Innovation besteht in der Fähigkeit, exakte Zustandsaufteilungen durchzuführen, sodass ein einzelner Eingabestatus für mehrere Fragen in einem Vorwärtsdurchlauf verarbeitet werden kann. Das bedeutet, dass der Zustand nur einmal gelesen und dann effizient aufgeteilt wird, wodurch sichergestellt wird, dass jede Frage die präzise Antwort erhält, die sie erhalten würde, wenn sie isoliert gestellt würde.
Weiterlesen
Diese einzigartige Architektur bietet erhebliche Leistungsgewinne, wobei Flide eine bis zu 9,5-mal schnellere Inferenz im Vergleich zu weit verbreiteten Serving-Engines wie vLLM und SGLang demonstriert. Der Leistungsunterschied wird noch deutlicher, wenn die Anzahl der Fragen, die mit einem bestimmten Zustand verbunden sind, zunimmt. Beispielsweise erreicht Flide mit 64 Fragen auf einem 2k-Token-Zustand eine 9,5-fache Beschleunigung und einen 2,2-fachen höheren Durchsatz mit 64 Clients.
Neben der Geschwindigkeit priorisiert Flide die Genauigkeit und bleibt innerhalb von 1,1 Punkten eines float32-Referenzwerts, was es zu einer der genauesten Engines macht, die verfügbar sind. Es unterstützt eine Vielzahl von Modellen, einschließlich Chat-Modellen, die auf Qwen3.5 und Gemma 4 basieren, sowie OneJev-Modellen. Flide verarbeitet auch hybride Modelle, bei denen Gated DeltaNet-Schichten sicherstellen, dass jede Frage vom exakten Zustand des gemeinsamen Kontexts ausgeht. Das System bietet eine `--batch-invariant`-Option, die garantiert, dass eine Anfrage die gleichen Bits unabhängig davon liefert, wie sie gebündelt ist.
Die Installation erfolgt unkompliziert über pip, und es unterstützt das Serving mit vorgefertigten Kernen für verschiedene NVIDIA GPUs, einschließlich A40, A10, RTX 30, H100 und H200. Flide bietet die gleiche `/v1/systemone` API wie vLLM und SGLang und liefert Wahrscheinlichkeiten für jede Option in der Antwort. Es unterstützt multimodale Eingaben, einschließlich Text, Bilder und Videos, abhängig vom zugrunde liegenden Modell. Funktionen wie FP8-Quantisierung für Qwen3.5 auf Ada, Hopper und Blackwell GPUs sowie ein Sitzungs-Cache zum Fortsetzen von Agentenzuständen erweitern seine Fähigkeiten.
- KategorieMLOps & Modell-Deployment
- BereitstellungSelbst gehostet
- PlattformenWeb
Flide's Kernfunktionen
Exakte Zustandsaufteilung: Verarbeitet einen Zustand für alle Fragen in einem einzigen Vorwärtsdurchlauf.
Beschleunigte Inferenz: Bis zu 9,5-mal schneller als andere Serving-Engines.
Hoher Durchsatz: Erreicht einen 2,2-fachen Durchsatz mit 64 Clients bei bestimmten Benchmarks.
Nähe zur Float32-Referenz: Bleibt innerhalb von 1,1 Punkten einer float32-Referenz für Genauigkeit.
Batch-Invarianz: Gewährleistet konsistente Ergebnisse unabhängig von der Bündelung mit `--batch-invariant`.
ForkAttention-Mechanismus: Jede Frage liest ihren Zustand an Ort und Stelle, als ob sie allein gestellt würde.
Genau bei hybriden Modellen: Unterstützt Gated DeltaNet-Schichten für präzise Kontextverarbeitung.
Einheitliche Stream-Verarbeitung: Führt Anfragen als einen einzigen Token-Stream aus, der von CUDA-Grafiken wiedergegeben wird.
vLLM/SGLang-kompatible API: Verwendet den `/v1/systemone` API-Standard.
Vorgefertigte Kerne: Optimiert für NVIDIA A40, A10, RTX 30, H100 und H200 GPUs.
Modell-Rückgrate: Unterstützt Qwen3.5 (0,8B, 2B, 4B, 9B, 27B) und Gemma 4 (E2B, E4B, 12B, 26B-A4B, 31B).
Multimodale Eingaben: Verarbeitet Text-, Bild- und Videoeingaben.
FP8-Quantisierung: Führt Qwen3.5 in FP8 auf Ada, Hopper und Blackwell GPUs aus.
Sitzungs-Cache: Beibehaltung früherer Zustände für Agenten zum Fortsetzen (z.B. `--session-cache-gb 40`).
Frontend-Prozesse: Unterstützt das Ausführen von HTTP, Rendering und Tokenisierung in separaten Prozessen für viele Clients.
Wie verwendet man Flide?
Flide installieren: Verwenden Sie pip, um das Flide-Paket zu installieren.
Server starten: Führen Sie `flide serve` aus, um den Inferenzserver zu starten, optional mit Angabe von `--host`.
Modelle konfigurieren: Servieren Sie Chat-Modelle wie Qwen3.5 oder Gemma 4 direkt oder kombinieren Sie Open-Jev-Adapter.
Anfragen senden: Interagieren Sie mit dem Server über die `/v1/systemone` API, um Zustände und Fragen zu senden.
Multimodale Eingaben verarbeiten: Fügen Sie Bildpfade im Zustand hinzu und senden Sie Medien für Modelle, die Bilder unterstützen.
Flide's Anwendungsfälle
- Beschleunigte Entscheidungsmodelle
- Multimodale Inferenz
- Konsistente Batch-Verarbeitung
- Agentenzustandsverwaltung
- Hochleistungs-LLM-Serving
- Forschung & Entwicklung








