描述
Mage-Flow-Turbo-Native-Inference 是一个便携式本地推理和部署栈,用于 Mage-Flow-Turbo 图像扩散模型。该代码库不训练或修改模型权重:其 Python 层处理配置、模型和运行时身份验证、CLI 和 REST 协调、生命周期控制、遥测和证据收集,而实际的图像生成通过本地 stable-diffusion.cpp sd-cli 运行时进行,而不是通过 PyTorch 或 Transformers 推理循环。
阅读更多
版本 1.0.0 通过相同的本地运行时提供两种模型配置。规范的 q8-reference 配置将 GGUF Q8_0 扩散权重与 Qwen3-VL-4B GGUF 文本编码器和 SafeTensors VAE 配对。bf16-safetensors 配置使用 BF16 SafeTensors 扩散权重,配合相同的文本编码器和 VAE。两个配置都可以在 CPU 和 CUDA(cuda0 设备)上运行,并且每个模型组件的身份在实际推理发生之前会根据其 SHA-256 哈希进行检查,以及固定的本地运行时提交。
mageflow-native CLI 验证、构建并运行每个配置,本地 REST API 默认绑定到 127.0.0.1,提供健康和准备检查、服务信息端点、图像生成端点以及检索生成的 PNG 产物的端点。
该项目发布了严格的 2x2 基准协议,比较两种模型配置在 CPU 和 Kaggle T4/T4x2 GPU 上的性能,使用固定的提示、种子、步骤计数和 CFG 值,以及从 512 到 1024 像素的分辨率矩阵。结果作为与确切源修订、模型身份和运行时提交相关联的校验和保护证据记录,而不是简单的数字粘贴,并且公开的 Kaggle 笔记本加上记录的 Kaggle 数据集和模型身份使其他人能够在任何加速器上重现相同的运行。
该项目旨在为希望在 CPU 或 CUDA 上以可重复、基准化的方式运行 Mage-Flow-Turbo 模型的开发人员提供解决方案,而无需搭建完整的 Python ML 栈。它在 MIT 许可证下发布,免费使用。它没有特定于动漫的内容、预设或工具;它是一个通用的本地推理栈,适用于基础模型。
- 类别AI 图像生成器
- 定价模式开源
- 部署自托管
- 平台网页版
Mage-Flow-Turbo-Native-Inference的核心功能
本地 stable-diffusion.cpp sd-cli 执行,而不是 PyTorch/Transformers 推理循环
支持两种模型配置:Q8 GGUF 扩散(规范/默认)和 BF16 SafeTensors 扩散
两个模型配置的 CPU 和 CUDA(cuda0)后端
推理前对模型权重和本地运行时进行 SHA-256 身份验证
mageflow-native CLI 用于验证、构建和运行运行时
本地 REST API 提供健康检查和图像生成的 POST 端点
发布严格的 2x2 CPU 与 Kaggle T4/T4x2 基准协议,使用固定提示和分辨率矩阵
公开的 Kaggle 笔记本和记录的数据集/模型身份,用于重现基准运行
结构化证据记录源修订、模型身份、运行时提交和生成元数据
Mage-Flow-Turbo-Native-Inference入门
本地安装:在 Linux 的 Python 环境中运行 pip install -e .
构建运行时:运行 mageflow-native runtime build,选择 cpu 或 cuda 后端。
验证配置:运行 mageflow-native doctor,使用您选择的清单检查模型和运行时身份。
生成图像:调用 mageflow-native verify,或向本地 /v1/images/generate REST 端点发送请求。
重现基准:打开 Kaggle 笔记本,并附加与您的加速器匹配的运行时数据集和模型。
Mage-Flow-Turbo-Native-Inference的使用案例
- 本地图像生成
- CPU 与 GPU 基准测试
- 自托管图像 API







