メインコンテンツへスキップ
ToolPotion
AI アドバイザー
送信(無料)

StyleSwin: Transformer-based GAN

AI GitHub リポジトリAIモデルとLLMオープンソース · Web

StyleSwinは、高解像度画像生成のために設計されたTransformerベースの敵対的生成ネットワーク(GAN)です。Swin Transformerと新しいダブルアテンションメカニズムを活用し、計算効率とモデリング能力のバランスを取り、最大1024x1024の解像度で優れた結果を達成します。

リポジトリを見る
共有
リポジトリを見る
共有

StyleSwinは、CVPR 2022で発表された高解像度画像合成のためのTransformerベースの敵対的生成ネットワーク(GAN)の公式実装です。本プロジェクトは、純粋なTransformerの生成モデリングにおける可能性を探求し、Transformerがまだ高解像度画像生成においてConvNetの性能に匹敵していないという課題に対処します。

続きを読む

StyleSwinの主な革新はそのアーキテクチャにあり、スタイルベースのフレームワーク内でSwin Transformerを利用しています。効率とモデリング能力の両方を向上させるために、「ダブルアテンション」メカニズムを導入しています。このアプローチは、ローカルウィンドウとシフトウィンドウのコンテキストを同時に考慮し、画像生成品質の向上につながります。さらに、StyleSwinは、ウィンドウベースのTransformerではしばしば失われる絶対位置情報を組み込んでおり、生成プロセスに大きく貢献します。

このモデルは高解像度へのスケーラビリティを考慮して設計されており、粗いジオメトリと細かい構造の両方がTransformerの表現力から恩恵を受けます。対処される主要な課題の1つは、高解像度合成中に発生するブロッキングアーティファクトです。これは、ブロック単位で動作するローカルアテンションが空間的整合性を乱すことによって発生する可能性があります。StyleSwinは、スペクトル的な不一致を検査するウェーブレットディスクリミネーターを採用することで、これらのアーティファクトを効果的に抑制します。

広範な実験により、StyleSwinは既存のTransformerベースのGAN、特に1024x1024のような高解像度において優れていることが示されています。CelebA-HQ 1024x1024ではStyleGANを上回り、FFHQ 1024x1024では同等の性能を達成しており、複雑なトレーニング戦略を必要とせずに高解像度画像生成におけるTransformerの可能性を強調しています。

リポジトリには、画像サンプルの生成、FIDスコアの評価、およびFFHQ、CelebA-HQ、LSUN Churchなどのさまざまなデータセットでの新しいモデルのトレーニングのためのコードが含まれています。また、さまざまなデータセットと解像度で生成された画像の低いFIDスコアを示す定量的結果も含まれています。プロジェクトは、なりすましへの悪用に対する注意喚起と、公正なデータ慣行の奨励を通じて、責任あるAIの考慮事項を強調しています。

  • カテゴリーAIモデルとLLM
  • 料金モデルオープンソース
  • デプロイクラウド, セルフホスト
  • プラットフォームWeb

  • TransformerベースのGANアーキテクチャ

  • 最大1024x1024の高解像度画像生成

  • Swin Transformerの統合

  • ローカルおよびシフトウィンドウコンテキストのためのダブルアテンションメカニズム

  • 絶対位置情報の組み込み

  • アーティファクト抑制のためのウェーブレットディスクリミネーター

  • 高解像度へのスケーラビリティ

  • 先行するTransformerベースGANを上回る性能

  • 高解像度におけるStyleGANと同等の性能

  • CVPR 2022論文の公式実装

  1. モデルへのアクセス: GitHubリポジトリをクローンします。

  2. 環境設定: `pip install -r requirements.txt` を使用して依存関係をインストールします。

  3. サンプル生成: 提供されているPythonスクリプトを使用して、事前学習済みモデルで画像サンプルを生成します。

  4. FID評価: 評価スクリプトを実行して、FIDスコアを使用して生成された画像の品質を評価します。

  5. モデルトレーニング: データセットを準備し、FFHQ、CelebA-HQ、またはLSUN Churchのトレーニングスクリプトを使用します。

  6. メモリへの適応: 16GBメモリのGPUでトレーニングするために `--use_checkpoint` を追加します。

  • 高解像度画像合成
  • Transformerベースの生成モデル
  • GANの研究開発
  • 芸術的な画像作成
  • データセット拡張

Microsoft の製品

StyleSwin: Transformer-based GAN のレビュー

読み込み中...

StyleSwin: Transformer-based GAN に似た人気のAIツール

StyleGAN-XL

AI GitHub リポジトリ

StyleGAN-XLは、大規模で多様なデータセットから高解像度画像を生成するためのAIモデルです。StyleGANアーキテクチャを拡張し、画像合成の品質と多様性を向上させます。このプロジェクトでは、トレーニング、サンプル生成、画像反転および編集のためのコードを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

大規模で多様なデータセットから高解像度画像を生成するためのAIモデルです。StyleGANアーキテクチャを拡張し、画像合成の品質と多様性を向上させます。このプロジェクトでは、トレーニング、サンプル生成、画像反転および編集のためのコードを提供します。StyleGAN-XLは、大規模で多様なデータセットから高解像度画像を生成するためのAIモデルです。StyleGANアーキテクチャを拡張し、画像合成の品質と多様性を向上させます。このプロジェクトでは、トレーニング、サンプル生成、画像反転および編集のためのコードを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

DM-GAN

AI GitHub リポジトリ

DM-GANは、テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。DM-GANは、テキストから画像への合成のためのDynamic Memory Generative Adversarial NetworksのPyTorch実装です。このリポジトリは、CVPR2019の論文に基づいた、テキスト説明からの画像生成のためのコード、事前学習済みモデル、および評価スクリプトを提供します。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

SNGAN Projection

AI GitHub リポジトリ

この GitHub リポジトリは、条件付き画像生成のための公式 Chainer 実装を提供します。敵対的生成ネットワーク(GAN)にスペクトル正規化とプロジェクション識別器を活用しています。ImageNet、犬、猫の画像などのデータセットでの学習、評価、画像生成のためのコードを含みます。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

この GitHub リポジトリは、条件付き画像生成のための公式 Chainer 実装を提供します。敵対的生成ネットワーク(GAN)にスペクトル正規化とプロジェクション識別器を活用しています。ImageNet、犬、猫の画像などのデータセットでの学習、評価、画像生成のためのコードを含みます。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

StyleGAN3

AI モデル

StyleGAN3は、生成器内の信号処理を全面的に見直すことで、エイリアシングのない(alias-free)敵対的生成ネットワークを導入します。この革新により、「テクスチャスティッキング」が解消され、ビデオやアニメーションのより一貫性のある合成が可能になります。このモデルはStyleGAN2のFIDを達成しつつ、サブピクセルスケールでも平行移動と回転に対して…

AIモデルとLLM
ツールを見る

AI モデル

生成器内の信号処理を全面的に見直すことで、エイリアシングのない(alias-free)敵対的生成ネットワークを導入します。この革新により、「テクスチャスティッキング」が解消され、ビデオやアニメーションのより一貫性のある合成が可能になります。このモデルはStyleGAN2のFIDを達成しつつ、サブピクセルスケールでも平行移動と回転に対して…StyleGAN3は、生成器内の信号処理を全面的に見直すことで、エイリアシングのない(alias-free)敵対的生成ネットワークを導入します。この革新により、「テクスチャスティッキング」が解消され、ビデオやアニメーションのより一貫性のある合成が可能になります。このモデルはStyleGAN2のFIDを達成しつつ、サブピクセルスケールでも平行移動と回転に対して…

AIモデルとLLM
AI モデル トップ5を見る

StyleGAN3は、信号処理を全面的に見直すことで「テクスチャースティッキング」を排除した敵対的生成ネットワークです。これにより、並進および回転の等変性を実現し、ビデオやアニメーションのより一貫性のある合成を可能にします。このモデルは、動的なビジュアルコンテンツの詳細の一貫性を向上させます。

AIモデルとLLM
ツールを見る

StyleGAN3は、信号処理を全面的に見直すことで「テクスチャースティッキング」を排除した敵対的生成ネットワークです。これにより、並進および回転の等変性を実現し、ビデオやアニメーションのより一貫性のある合成を可能にします。このモデルは、動的なビジュアルコンテンツの詳細の一貫性を向上させます。

AIモデルとLLM
AI モデル トップ5を見る

ESRGAN

AI GitHub リポジトリ

ESRGANは、視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。

AIモデルとLLMメディア・エンターテインメント
ツールを見る

AI GitHub リポジトリ

視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。ESRGANは、視覚的な詳細と品質を向上させるための高度なAIモデルで、画像の超解像に特化しています。PIRMチャレンジの知覚的超解像部門で優勝し、さまざまなアプリケーションで画像の明瞭さと解像度を向上させるために使用されています。

AIモデルとLLMメディア・エンターテインメント
AI GitHub リポジトリ トップ250を見る

RepVGG

AI GitHub リポジトリ

RepVGGは、ImageNetで高い精度を達成する、強力かつシンプルなConvNetアーキテクチャです。VGGスタイルの設計に再パラメータ化技術を採用し、効率的な推論を可能にします。このプロジェクトでは、事前学習済みモデル、トレーニングコード、および様々なコンピュータビジョンタスクのためのサンプルを提供しています。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

ImageNetで高い精度を達成する、強力かつシンプルなConvNetアーキテクチャです。VGGスタイルの設計に再パラメータ化技術を採用し、効率的な推論を可能にします。このプロジェクトでは、事前学習済みモデル、トレーニングコード、および様々なコンピュータビジョンタスクのためのサンプルを提供しています。RepVGGは、ImageNetで高い精度を達成する、強力かつシンプルなConvNetアーキテクチャです。VGGスタイルの設計に再パラメータ化技術を採用し、効率的な推論を可能にします。このプロジェクトでは、事前学習済みモデル、トレーニングコード、および様々なコンピュータビジョンタスクのためのサンプルを提供しています。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る

HiFi-GAN 音声合成

AI GitHub リポジトリ

HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。

AIモデルとLLM
ツールを見る

AI GitHub リポジトリ

効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。HiFi-GANは、効率的かつ高忠実度の音声合成を実現する敵対的生成ネットワークです。オーディオ内の周期的なパターンをモデル化してサンプル品質を向上させ、高速で人間のような品質を達成します。このモデルは、単一話者、未知の話者、エンドツーエンド合成をサポートし、CPU向けの小型フットプリント版も提供しています。

AIモデルとLLM
AI GitHub リポジトリ トップ250を見る
1 / 8