説明
Pathways Autoregressive Text-to-ImageモデルであるPartiは、テキスト記述からフォトリアルな画像を生成するための新しいアプローチです。テキストから画像への生成をシーケンス・ツー・シーケンスモデリング問題として捉え、機械翻訳との類似性を引き出し、大規模言語モデルの進歩、特にデータとモデルサイズの拡大によって解き放たれた恩恵を受けています。PartiはViT-VQGAN画像トークナイザーを使用して画像を離散トークンのシーケンスに変換し、これらのシーケンスを高品質で視覚的に多様な画像に再構築することを可能にします。
続きを読む
このモデルは、エンコーダー・デコーダーが200億パラメータまでスケールアップするにつれて、一貫した品質の向上が見られます。Partiは、MS-COCOベンチマークにおいて、最先端のゼロショットFIDスコア7.23、ファインチューニング済みFIDスコア3.22を達成しました。その有効性は、新しくリリースされたPartiPromptsベンチマークで分析されたように、多様なカテゴリと課題に及びます。PartiPromptsは、モデルの多様な側面における能力を測定するために設計された、1600以上の英語プロンプトの包括的なコレクションです。
Partiは、世界の知識を正確に反映し、多数の参加者やオブジェクトの複雑なディテールとインタラクションを構成し、特定の画像フォーマットとスタイルに従う必要がある、長くて複雑なプロンプトを処理することに優れています。モデルの能力は、抽象的な概念に基づいた画像を生成し、世界の知識を組み込み、特定の視点をレンダリングし、画像内にテキストや記号を生成する能力に明らかです。この研究では、否定や不在の指示の処理など、限界と将来の改善点も強調されています。
Lingvoを使用して実装され、TPU v4ハードウェア上でGSPMDでスケールされたPartiのアーキテクチャは、大幅なスケーリングを可能にします。3億5000万から200億パラメータまでのモデル間の比較は、モデルの能力と出力画像の品質における実質的な改善を示しています。人間の評価者は、特に画像のリアリズム、品質、テキストと画像の整合性において、より大きなモデルを一貫して好みました。200億パラメータモデルは、抽象的な推論、世界の知識、特定の視点、およびテキストと記号のレンダリングを必要とするプロンプトにおいて、特に強みを示しています。
Partiは創造性と視覚コミュニケーションにエキサイティングな可能性を提供しますが、この研究は、トレーニングデータ内のバイアスによる有害なステレオタイプや表現のエンコードの可能性を含む、重大なリスクを認識しています。他のテキスト画像モデルと同様に、Partiは西洋のバイアスを反映し、特定の背景を過小評価する可能性があります。ディープフェイクを作成し、誤情報を拡散する可能性も懸念されています。これらのリスクのため、Google Researchは、さらなる安全対策なしにPartiモデル、コード、またはデータを一般公開しないことを決定しました。代わりに、リリースされた画像にPartiウォーターマークを付け、バイアスの測定、緩和戦略、および責任あるアプリケーションの探求におけるアーティストとの連携に焦点を当てる予定です。
- カテゴリーAIモデルとLLM
- デプロイクラウド
- プラットフォームWeb
Parti: Pathways Autoregressive Text-to-Image Modelのハイライト
自己回帰型テキスト画像生成
高忠実度フォトリアル画像生成
複雑な構図を伴うコンテンツリッチな合成をサポート
大規模言語モデルの進歩を活用
シーケンス・ツー・シーケンスモデリングアプローチ
画像トークン化にViT-VQGANを使用
最大200億パラメータまでスケーラブルなアーキテクチャ
MS-COCOで最先端のFIDスコアを達成
多様なプロンプトカテゴリと難易度側面で効果的
抽象的なプロンプトと世界の知識を処理
特定の視点とテキスト/記号をレンダリング
Lingvoで実装され、TPU v4でGSPMDでスケール
Parti: Pathways Autoregressive Text-to-Image Modelをはじめる
モデルへのアクセス: Partiに関する研究論文とその結果を理解する。
機能の探索: モデルのパフォーマンスを評価するために、例示的なプロンプトと生成された画像を確認する。
ベンチマーク結果の分析: FIDスコアとPartiPromptsベンチマークでのパフォーマンスを調べる。
限界の理解: 特定された失敗モードと改善の余地を把握する。
責任ある使用の検討: テキスト画像モデルに関連する倫理的考慮事項とリスクを認識する。
データカードの確認: データ収集とモデル開発の実践に関する情報にアクセスする。
Parti: Pathways Autoregressive Text-to-Image Modelの使用例
- フォトリアルな画像生成
- 複雑なシーン合成
- 世界の知識統合
- 抽象概念の視覚化
- 芸術的スタイルの模倣
- テキストと記号のレンダリング
- クリエイティブコンテンツ作成








