설명
Mage-Flow-Turbo-Native-Inference는 Mage-Flow-Turbo 이미지 확산 모델을 위한 휴대 가능한 네이티브 추론 및 배포 스택입니다. 이 저장소는 모델 가중치를 훈련하거나 수정하지 않으며, Python 레이어는 구성, 모델 및 런타임 신원 확인, CLI 및 REST 오케스트레이션, 생애 주기 제어, 원격 측정 및 증거 수집을 처리합니다. 실제 이미지 생성은 PyTorch 또는 Transformers 추론 루프 대신 네이티브 stable-diffusion.cpp sd-cli 런타임을 통해 실행됩니다.
더 읽기
버전 1.0.0은 동일한 네이티브 런타임을 통해 두 가지 모델 프로필을 제공합니다. 표준 q8-reference 프로필은 GGUF Q8_0 확산 가중치를 Qwen3-VL-4B GGUF 텍스트 인코더 및 SafeTensors VAE와 쌍으로 제공합니다. bf16-safetensors 프로필은 동일한 텍스트 인코더 및 VAE와 함께 BF16 SafeTensors 확산 가중치를 사용합니다. 두 프로필 모두 CPU와 CUDA( cuda0 장치)에서 실행되며, 실제 추론이 발생하기 전에 모든 모델 구성 요소의 신원은 SHA-256 해시와 고정된 네이티브 런타임 커밋에 대해 확인됩니다.
mageflow-native CLI는 각 프로필을 확인하고, 빌드하며 실행하며, 기본적으로 127.0.0.1에 바인딩되는 로컬 REST API는 상태 및 준비성 검사, 서비스 정보 엔드포인트, 이미지 생성 엔드포인트 및 생성된 PNG 아티팩트를 검색하는 엔드포인트를 제공합니다.
이 프로젝트는 고정된 프롬프트, 시드, 단계 수 및 CFG 값, 그리고 512에서 1024픽셀까지의 해상도 매트릭스를 사용하여 CPU와 Kaggle T4/T4x2 GPU에서 두 모델 프로필을 비교하는 엄격한 2x2 벤치마크 프로토콜을 게시합니다. 결과는 일반 숫자로 붙여넣는 대신 정확한 소스 수정, 모델 신원 및 런타임 커밋에 연결된 체크섬 보호 증거로 기록됩니다. 공개 Kaggle 노트북과 문서화된 Kaggle 데이터셋 및 모델 신원은 다른 사람들이 동일한 실행을 재현할 수 있도록 합니다.
이 프로젝트는 전체 Python ML 스택을 구축하지 않고도 CPU 또는 CUDA에서 Mage-Flow-Turbo 모델을 실행할 수 있는 재현 가능하고 벤치마크된 방법을 원하는 개발자를 위해 구축되었습니다. MIT 라이센스 하에 출시되며 무료로 사용할 수 있습니다. 애니메이션 전용 콘텐츠, 프리셋 또는 도구는 없으며, 기본 모델을 위한 일반적인 네이티브 추론 스택입니다.
- 카테고리AI 이미지 생성기
- 요금제오픈소스
- 배포셀프 호스팅
- 플랫폼웹
Mage-Flow-Turbo-Native-Inference의 핵심 기능
PyTorch/Transformers 추론 루프 대신 네이티브 stable-diffusion.cpp sd-cli 실행
지원되는 두 가지 모델 프로필: Q8 GGUF 확산(표준/기본) 및 BF16 SafeTensors 확산
두 모델 프로필 모두에 대한 CPU 및 CUDA(cuda0) 백엔드
추론 전에 모델 가중치 및 네이티브 런타임의 SHA-256 신원 확인
런타임을 확인하고 빌드하며 실행하기 위한 mageflow-native CLI
이미지 생성을 위한 POST 엔드포인트와 상태 검사를 포함한 로컬 REST API
고정된 프롬프트 및 해상도 매트릭스를 사용한 엄격한 2x2 CPU 대 Kaggle T4/T4x2 벤치마크 프로토콜 게시
벤치마크 실행을 재현하기 위한 공개 Kaggle 노트북 및 문서화된 데이터셋/모델 신원
소스 수정, 모델 신원, 런타임 커밋 및 생성 메타데이터의 구조화된 증거 기록
Mage-Flow-Turbo-Native-Inference 시작하기
로컬 설치: Linux의 Python 환경에서 pip install -e .를 실행합니다.
런타임 빌드: cpu 또는 cuda 백엔드로 mageflow-native runtime build를 실행합니다.
프로필 확인: 선택한 매니페스트로 mageflow-native doctor를 실행하여 모델 및 런타임 신원을 확인합니다.
이미지 생성: mageflow-native verify를 호출하거나 로컬 /v1/images/generate REST 엔드포인트에 요청을 보냅니다.
벤치마크 재현: Kaggle 노트북을 열고 가속기에 맞는 런타임 데이터셋 및 모델을 연결합니다.
Mage-Flow-Turbo-Native-Inference의 사용 사례
- 로컬 이미지 생성
- CPU 대 GPU 벤치마킹
- 자체 호스팅 이미지 API
