Description
Mage-Flow-Turbo-Native-Inference est une pile d'inférence et de déploiement native portable pour le modèle de diffusion d'images Mage-Flow-Turbo. Le dépôt ne forme ni ne modifie les poids du modèle : sa couche Python gère la configuration, la vérification de l'identité du modèle et du runtime, l'orchestration CLI et REST, le contrôle du cycle de vie, la télémétrie et la collecte de preuves, tandis que la génération d'images réelle s'effectue via le runtime sd-cli stable-diffusion.cpp natif plutôt qu'une boucle d'inférence PyTorch ou Transformers.
Lire la suite
La version 1.0.0 propose deux profils de modèle via ce même runtime natif. Le profil de référence canonique q8 associe les poids de diffusion GGUF Q8_0 avec un encodeur de texte GGUF Qwen3-VL-4B et un VAE SafeTensors. Le profil bf16-safetensors utilise des poids de diffusion BF16 SafeTensors avec le même encodeur de texte et VAE. Les deux profils fonctionnent sur CPU ainsi que sur CUDA (le dispositif cuda0), et l'identité de chaque composant du modèle est vérifiée par rapport à son hachage SHA-256, ainsi qu'à un commit de runtime natif épinglé, avant que l'inférence réelle ne se produise.
Une CLI mageflow-native vérifie, construit et exécute chaque profil, et une API REST locale, qui se lie par défaut à 127.0.0.1, expose des vérifications de santé et de disponibilité, un point de terminaison d'informations sur le service, un point de terminaison de génération d'images, et un point de terminaison pour récupérer les artefacts PNG générés.
Le projet publie un protocole de benchmark strict 2x2 comparant les deux profils de modèle sur CPU et sur les GPU Kaggle T4/T4x2, en utilisant un prompt fixe, une graine, un nombre d'étapes et une valeur CFG, ainsi qu'une matrice de résolution de 512 à 1024 pixels. Les résultats sont enregistrés comme des preuves protégées par des sommes de contrôle liées à la révision source exacte, aux identités des modèles et au commit du runtime, plutôt que collés sous forme de chiffres bruts, et un carnet Kaggle public plus des identités de Dataset et de Modèle documentées permettent à d'autres de reproduire les mêmes exécutions sur n'importe quel accélérateur.
Le projet est conçu pour les développeurs qui souhaitent une manière reproductible et benchmarkée d'exécuter le modèle Mage-Flow-Turbo sur CPU ou CUDA sans avoir à mettre en place une pile ML Python complète. Il est publié sous la licence MIT et est gratuit à utiliser. Il n'a pas de contenu, de préréglages ou d'outils spécifiques à l'anime ; c'est une pile d'inférence native générale pour le modèle sous-jacent.
- CatégorieGénérateurs d'images IA
- Modèle tarifaireOpen source
- DéploiementAuto-hébergé
- PlateformesWeb
Fonctionnalités principales de Mage-Flow-Turbo-Native-Inference
Exécution sd-cli stable-diffusion.cpp native au lieu d'une boucle d'inférence PyTorch/Transformers
Deux profils de modèle pris en charge : diffusion Q8 GGUF (canonique/par défaut) et diffusion BF16 SafeTensors
Backends CPU et CUDA (cuda0) pour les deux profils de modèle
Vérification d'identité SHA-256 des poids du modèle et du runtime natif avant l'inférence
CLI mageflow-native pour vérifier, construire et exécuter le runtime
API REST locale avec vérifications de santé et un point de terminaison POST pour la génération d'images
Protocole de benchmark strict 2x2 CPU contre Kaggle T4/T4x2 publié avec un prompt fixe et une matrice de résolution
Carnet Kaggle public et identités de Dataset/Modèle documentées pour reproduire les exécutions de benchmark
Enregistrement structuré des preuves de révision source, d'identités de modèle, de commit de runtime et de métadonnées de génération
Premiers pas avec Mage-Flow-Turbo-Native-Inference
Installer localement : Exécutez pip install -e . dans un environnement Python sur Linux.
Construire le runtime : Exécutez mageflow-native runtime build avec le backend cpu ou cuda.
Vérifier le profil : Exécutez mageflow-native doctor avec votre manifeste choisi pour vérifier les identités du modèle et du runtime.
Générer une image : Appelez mageflow-native verify, ou envoyez une requête au point de terminaison REST local /v1/images/generate.
Reproduire les benchmarks : Ouvrez le carnet Kaggle et attachez le Dataset et les modèles de runtime correspondants pour votre accélérateur.
Cas d'utilisation de Mage-Flow-Turbo-Native-Inference
- Génération d'images locale
- Benchmarking CPU contre GPU
- API d'image auto-hébergée
