Описание
Mage-Flow-Turbo-Native-Inference — это портативный стек нативного вывода и развертывания для модели диффузии изображений Mage-Flow-Turbo. Репозиторий не обучает и не модифицирует веса модели: его Python-слой обрабатывает конфигурацию, проверку идентичности модели и runtime, оркестрацию CLI и REST, управление жизненным циклом, телеметрию и сбор доказательств, в то время как фактическая генерация изображений происходит через нативный runtime stable-diffusion.cpp sd-cli, а не через цикл вывода PyTorch или Transformers.
Читать далее
Версия 1.0.0 поставляет два профиля модели через тот же нативный runtime. Канонический профиль q8-reference сочетает веса диффузии GGUF Q8_0 с текстовым кодировщиком Qwen3-VL-4B GGUF и VAE SafeTensors. Профиль bf16-safetensors использует веса диффузии BF16 SafeTensors с тем же текстовым кодировщиком и VAE. Оба профиля работают как на CPU, так и на CUDA (устройство cuda0), и идентичность каждого компонента модели проверяется по его SHA-256 хешу, вместе с зафиксированным коммитом нативного runtime, прежде чем произойдет реальный вывод.
CLI mageflow-native проверяет, строит и запускает каждый профиль, а локальный REST API, который по умолчанию связывается с 127.0.0.1, предоставляет проверки состояния и готовности, конечную точку service-info, конечную точку генерации изображений и конечную точку для получения сгенерированных артефактов PNG.
Проект публикует строгий протокол бенчмаркинга 2x2, сравнивающий оба профиля модели на CPU и на GPU Kaggle T4/T4x2, используя фиксированный запрос, семя, количество шагов и значение CFG, а также матрицу разрешения от 512 до 1024 пикселей. Результаты записываются как защищенные контрольной суммой доказательства, связанные с точной ревизией исходного кода, идентичностями модели и коммитом runtime, а не просто как обычные числа, и публичный ноутбук Kaggle плюс задокументированные идентичности Dataset и Model позволяют другим воспроизводить те же запуски на любом ускорителе.
Проект создан для разработчиков, которые хотят воспроизводимый, проверенный способ запуска модели Mage-Flow-Turbo на CPU или CUDA без необходимости разворачивать полный стек ML на Python. Он выпущен под лицензией MIT и бесплатен для использования. В нем нет контента, предустановок или инструментов, специфичных для аниме; это общий стек нативного вывода для основной модели.
- КатегорияИИ-генераторы изображений
- Модель ценообразованияОткрытый код
- РазвёртываниеНа своём сервере
- ПлатформыВеб
Основные функции Mage-Flow-Turbo-Native-Inference
Выполнение нативного stable-diffusion.cpp sd-cli вместо цикла вывода PyTorch/Transformers
Два поддерживаемых профиля модели: диффузия Q8 GGUF (канонический/по умолчанию) и диффузия BF16 SafeTensors
Бэкенды CPU и CUDA (cuda0) для обоих профилей модели
Проверка идентичности весов модели и нативного runtime по SHA-256 перед выводом
CLI mageflow-native для проверки, сборки и запуска runtime
Локальный REST API с проверками состояния и конечной точкой POST для генерации изображений
Опубликованный строгий протокол бенчмаркинга 2x2 CPU против Kaggle T4/T4x2 с фиксированным запросом и матрицей разрешения
Публичный ноутбук Kaggle и задокументированные идентичности Dataset/Model для воспроизведения результатов бенчмарка
Структурированная запись доказательств ревизии исходного кода, идентичностей модели, коммита runtime и метаданных генерации
Начало работы с Mage-Flow-Turbo-Native-Inference
Установите локально: выполните pip install -e . в среде Python на Linux.
Постройте runtime: выполните mageflow-native runtime build с бэкендом cpu или cuda.
Проверьте профиль: выполните mageflow-native doctor с вашим выбранным манифестом для проверки идентичностей модели и runtime.
Сгенерируйте изображение: вызовите mageflow-native verify или отправьте запрос на локальную конечную точку REST /v1/images/generate.
Воспроизведите бенчмарки: откройте ноутбук Kaggle и прикрепите соответствующий Dataset и модели runtime для вашего ускорителя.
Варианты использования Mage-Flow-Turbo-Native-Inference
- Локальная генерация изображений
- Бенчмаркинг CPU против GPU
- Самостоятельно размещенный API для изображений
