Beschreibung
Mage-Flow-Turbo-Native-Inference ist ein tragbarer nativer Inferenz- und Bereitstellungs-Stack für das Mage-Flow-Turbo-Bilddiffusionsmodell. Das Repository trainiert oder ändert keine Modellgewichte: Die Python-Schicht kümmert sich um Konfiguration, Modell- und Laufzeit-Identitätsüberprüfung, CLI- und REST-Orchestrierung, Lebenszyklussteuerung, Telemetrie und Beweissammlung, während die tatsächliche Bildgenerierung über die native stable-diffusion.cpp sd-cli-Laufzeit und nicht über eine PyTorch- oder Transformers-Inferenzschleife erfolgt.
Weiterlesen
Version 1.0.0 bietet zwei Modellprofile über dieselbe native Laufzeit an. Das kanonische q8-reference-Profil kombiniert GGUF Q8_0-Diffusionsgewichte mit einem Qwen3-VL-4B GGUF-Textencoder und einem SafeTensors VAE. Das bf16-safetensors-Profil verwendet BF16 SafeTensors-Diffusionsgewichte mit demselben Textencoder und VAE. Beide Profile laufen sowohl auf CPU als auch auf CUDA (dem cuda0-Gerät), und die Identität jeder Modellkomponente wird vor der tatsächlichen Inferenz mit ihrem SHA-256-Hash sowie einem festgelegten nativen Laufzeit-Commit überprüft.
Eine mageflow-native CLI überprüft, erstellt und führt jedes Profil aus, und eine lokale REST-API, die standardmäßig an 127.0.0.1 gebunden ist, bietet Gesundheits- und Bereitschaftsprüfungen, einen Service-Info-Endpunkt, einen Endpunkt zur Bildgenerierung und einen Endpunkt zum Abrufen generierter PNG-Artefakte.
Das Projekt veröffentlicht ein strenges 2x2-Benchmark-Protokoll, das beide Modellprofile auf CPU und auf Kaggle T4/T4x2 GPUs vergleicht, wobei ein fester Prompt, Seed, Schrittanzahl und CFG-Wert sowie eine Auflösungsmatrix von 512 bis 1024 Pixeln verwendet werden. Die Ergebnisse werden als checksum-geschützte Beweise aufgezeichnet, die an die genaue Quellrevision, Modellidentitäten und Laufzeit-Commits gebunden sind, anstatt als einfache Zahlen eingefügt zu werden, und ein öffentliches Kaggle-Notebook sowie dokumentierte Kaggle-Dataset- und Modellidentitäten ermöglichen es anderen, dieselben Durchläufe auf jedem Beschleuniger zu reproduzieren.
Das Projekt richtet sich an Entwickler, die eine reproduzierbare, benchmarkte Möglichkeit suchen, das Mage-Flow-Turbo-Modell auf CPU oder CUDA auszuführen, ohne einen vollständigen Python-ML-Stack aufzubauen. Es wird unter der MIT-Lizenz veröffentlicht und ist kostenlos nutzbar. Es enthält keine anime-spezifischen Inhalte, Voreinstellungen oder Tools; es ist ein allgemeiner nativer Inferenz-Stack für das zugrunde liegende Modell.
- KategorieKI-Bildgeneratoren
- PreismodellOpen Source
- BereitstellungSelbst gehostet
- PlattformenWeb
Mage-Flow-Turbo-Native-Inference's Kernfunktionen
Native stable-diffusion.cpp sd-cli-Ausführung anstelle einer PyTorch/Transformers-Inferenzschleife
Zwei unterstützte Modellprofile: Q8 GGUF-Diffusion (kanonisch/standard) und BF16 SafeTensors-Diffusion
CPU- und CUDA (cuda0)-Backends für beide Modellprofile
SHA-256-Identitätsüberprüfung der Modellgewichte und der nativen Laufzeit vor der Inferenz
mageflow-native CLI zur Überprüfung, Erstellung und Ausführung der Laufzeit
Lokale REST-API mit Gesundheitsprüfungen und einem POST-Endpunkt zur Bildgenerierung
Veröffentlichtes strenges 2x2 CPU vs. Kaggle T4/T4x2-Benchmark-Protokoll mit einem festen Prompt und einer Auflösungsmatrix
Öffentliches Kaggle-Notebook und dokumentierte Dataset/Modellidentitäten zur Reproduktion von Benchmark-Durchläufen
Strukturierte Beweissammlung von Quellrevision, Modellidentitäten, Laufzeit-Commit und Generierungsmetadaten
Erste Schritte mit Mage-Flow-Turbo-Native-Inference
Installieren Sie lokal: Führen Sie pip install -e . in einer Python-Umgebung unter Linux aus.
Bauen Sie die Laufzeit: Führen Sie mageflow-native runtime build mit dem cpu- oder cuda-Backend aus.
Überprüfen Sie das Profil: Führen Sie mageflow-native doctor mit Ihrem gewählten Manifest aus, um Modell- und Laufzeitidentitäten zu überprüfen.
Generieren Sie ein Bild: Rufen Sie mageflow-native verify auf oder senden Sie eine Anfrage an den lokalen /v1/images/generate REST-Endpunkt.
Reproduzieren Sie Benchmarks: Öffnen Sie das Kaggle-Notebook und fügen Sie die passenden Laufzeit-Dataset- und Modellidentitäten für Ihren Beschleuniger hinzu.
Mage-Flow-Turbo-Native-Inference's Anwendungsfälle
- Lokale Bildgenerierung
- CPU vs. GPU-Benchmarking
- Selbstgehostete Bild-API
