説明
Mage-Flow-Turbo-Native-Inferenceは、Mage-Flow-Turbo画像拡散モデルのためのポータブルなネイティブ推論およびデプロイメントスタックです。このリポジトリはモデルの重みをトレーニングしたり変更したりすることはなく、Pythonレイヤーが設定、モデルおよびランタイムのアイデンティティ検証、CLIおよびRESTのオーケストレーション、ライフサイクル管理、テレメトリーおよび証拠収集を処理します。実際の画像生成は、PyTorchやTransformersの推論ループではなく、ネイティブなstable-diffusion.cpp sd-cliランタイムを介して実行されます。
続きを読む
バージョン1.0.0は、同じネイティブランタイムを介して2つのモデルプロファイルを提供します。標準的なq8-referenceプロファイルは、GGUF Q8_0拡散重みをQwen3-VL-4B GGUFテキストエンコーダーおよびSafeTensors VAEと組み合わせています。bf16-safetensorsプロファイルは、同じテキストエンコーダーおよびVAEを使用してBF16 SafeTensors拡散重みを利用します。両方のプロファイルはCPUおよびCUDA(cuda0デバイス)で動作し、実際の推論が行われる前に、各モデルコンポーネントのアイデンティティがSHA-256ハッシュと、固定されたネイティブランタイムのコミットと照合されます。
mageflow-native CLIは、各プロファイルを検証、ビルド、実行し、デフォルトで127.0.0.1にバインドされるローカルREST APIは、ヘルスチェックおよびレディネスチェック、サービス情報エンドポイント、画像生成エンドポイント、生成されたPNGアーティファクトを取得するためのエンドポイントを公開します。
このプロジェクトは、固定されたプロンプト、シード、ステップ数、CFG値、および512から1024ピクセルまでの解像度マトリックスを使用して、CPUおよびKaggle T4/T4x2 GPU上で両方のモデルプロファイルを比較する厳密な2x2ベンチマークプロトコルを公開します。結果は、単なる数値として貼り付けられるのではなく、正確なソースリビジョン、モデルのアイデンティティ、およびランタイムコミットに結びついたチェックサム保護された証拠として記録され、公開されたKaggleノートブックと文書化されたKaggleデータセットおよびモデルのアイデンティティにより、他の人が同じ実行をいずれのアクセラレーターでも再現できるようにします。
このプロジェクトは、完全なPython MLスタックを立ち上げることなく、CPUまたはCUDA上でMage-Flow-Turboモデルを再現可能でベンチマークされた方法で実行したい開発者のために構築されています。MITライセンスの下でリリースされており、自由に使用できます。アニメ特有のコンテンツ、プリセット、ツールはなく、基盤となるモデルのための一般的なネイティブ推論スタックです。
- カテゴリーAI画像生成ツール
- 料金モデルオープンソース
- デプロイセルフホスト
- プラットフォームWeb
Mage-Flow-Turbo-Native-Inferenceの主要機能
PyTorch/Transformersの推論ループの代わりにネイティブなstable-diffusion.cpp sd-cli実行
サポートされている2つのモデルプロファイル:Q8 GGUF拡散(標準/デフォルト)およびBF16 SafeTensors拡散
両方のモデルプロファイルのためのCPUおよびCUDA(cuda0)バックエンド
推論前のモデル重みとネイティブランタイムのSHA-256アイデンティティ検証
ランタイムの検証、ビルド、実行のためのmageflow-native CLI
画像生成のためのPOSTエンドポイントとヘルスチェックを備えたローカルREST API
固定されたプロンプトと解像度マトリックスを使用した厳密な2x2 CPU対Kaggle T4/T4x2ベンチマークプロトコルの公開
ベンチマーク実行を再現するための公開Kaggleノートブックおよび文書化されたデータセット/モデルのアイデンティティ
ソースリビジョン、モデルのアイデンティティ、ランタイムコミットおよび生成メタデータの構造化された証拠記録
Mage-Flow-Turbo-Native-Inferenceをはじめる
ローカルにインストール:LinuxのPython環境でpip install -e .を実行します。
ランタイムをビルド:cpuまたはcudaバックエンドでmageflow-native runtime buildを実行します。
プロファイルを検証:選択したマニフェストでmageflow-native doctorを実行してモデルとランタイムのアイデンティティを確認します。
画像を生成:mageflow-native verifyを呼び出すか、ローカルの/v1/images/generate RESTエンドポイントにリクエストを送信します。
ベンチマークを再現:Kaggleノートブックを開き、アクセラレーターに対応するランタイムデータセットとモデルを添付します。
Mage-Flow-Turbo-Native-Inferenceの使用例
- ローカル画像生成
- CPU対GPUベンチマーキング
- 自己ホスト型画像API







