Descrição
Mage-Flow-Turbo-Native-Inference é uma pilha de inferência e implantação nativa portátil para o modelo de difusão de imagem Mage-Flow-Turbo. O repositório não treina nem modifica pesos de modelo: sua camada em Python lida com configuração, verificação de identidade do modelo e do tempo de execução, orquestração de CLI e REST, controle de ciclo de vida, telemetria e coleta de evidências, enquanto a geração real de imagens ocorre através do tempo de execução sd-cli nativo stable-diffusion.cpp em vez de um loop de inferência PyTorch ou Transformers.
Ler mais
A versão 1.0.0 oferece dois perfis de modelo através desse mesmo tempo de execução nativo. O perfil de referência canônica q8 emparelha pesos de difusão GGUF Q8_0 com um codificador de texto GGUF Qwen3-VL-4B e um VAE SafeTensors. O perfil bf16-safetensors utiliza pesos de difusão BF16 SafeTensors com o mesmo codificador de texto e VAE. Ambos os perfis funcionam em CPU e também em CUDA (o dispositivo cuda0), e a identidade de cada componente do modelo é verificada em relação ao seu hash SHA-256, juntamente com um commit de tempo de execução nativo fixo, antes que a inferência real ocorra.
Uma CLI mageflow-native verifica, constrói e executa cada perfil, e uma API REST local, que se vincula a 127.0.0.1 por padrão, expõe verificações de saúde e prontidão, um endpoint de informações do serviço, um endpoint de geração de imagens e um endpoint para recuperar artefatos PNG gerados.
O projeto publica um protocolo de benchmark rigoroso 2x2 comparando ambos os perfis de modelo em CPU e em GPUs Kaggle T4/T4x2, usando um prompt fixo, semente, contagem de passos e valor CFG, e uma matriz de resolução de 512 até 1024 pixels. Os resultados são registrados como evidências protegidas por checksum ligadas à revisão exata da fonte, identidades de modelo e commit de tempo de execução, em vez de serem colados como números simples, e um notebook público do Kaggle, além de identidades documentadas de Dataset e Modelo do Kaggle, permitem que outros reproduzam as mesmas execuções em qualquer acelerador.
O projeto é construído para desenvolvedores que desejam uma maneira reprodutível e com benchmark para executar o modelo Mage-Flow-Turbo em CPU ou CUDA sem precisar configurar uma pilha completa de ML em Python. Ele é lançado sob a licença MIT e é gratuito para uso. Não possui conteúdo, predefinições ou ferramentas específicas de anime; é uma pilha de inferência nativa geral para o modelo subjacente.
- CategoriaGeradores de imagens com IA
- Modelo de preçosCódigo aberto
- ImplantaçãoAuto-hospedado
- PlataformasWeb
Recursos principais de Mage-Flow-Turbo-Native-Inference
Execução nativa sd-cli stable-diffusion.cpp em vez de um loop de inferência PyTorch/Transformers
Dois perfis de modelo suportados: difusão Q8 GGUF (canônico/padrão) e difusão BF16 SafeTensors
Backends CPU e CUDA (cuda0) para ambos os perfis de modelo
Verificação de identidade SHA-256 dos pesos do modelo e do tempo de execução nativo antes da inferência
CLI mageflow-native para verificar, construir e executar o tempo de execução
API REST local com verificações de saúde e um endpoint POST para geração de imagens
Protocolo de benchmark rigoroso 2x2 CPU vs. Kaggle T4/T4x2 publicado com um prompt fixo e matriz de resolução
Notebook público do Kaggle e identidades documentadas de Dataset/Modelo para reproduzir execuções de benchmark
Registro estruturado de evidências da revisão da fonte, identidades de modelo, commit de tempo de execução e metadados de geração
Primeiros passos com Mage-Flow-Turbo-Native-Inference
Instalar localmente: Execute pip install -e . em um ambiente Python no Linux.
Construir o tempo de execução: Execute mageflow-native runtime build com o backend cpu ou cuda.
Verificar o perfil: Execute mageflow-native doctor com seu manifesto escolhido para verificar identidades de modelo e tempo de execução.
Gerar uma imagem: Chame mageflow-native verify ou envie uma solicitação para o endpoint REST local /v1/images/generate.
Reproduzir benchmarks: Abra o notebook do Kaggle e anexe o Dataset e os Modelos de tempo de execução correspondentes para seu acelerador.
Casos de uso de Mage-Flow-Turbo-Native-Inference
- Geração de imagem local
- Benchmarking CPU vs. GPU
- API de imagem auto-hospedada
