Deskripsi
Parti, model Pathways Autoregressive Text-to-Image, adalah pendekatan baru untuk menghasilkan gambar fotorealistik dari deskripsi tekstual. Model ini membingkai generasi teks-ke-gambar sebagai masalah pemodelan sekuens-ke-sekuens, menarik paralel dengan terjemahan mesin dan mendapat manfaat dari kemajuan dalam model bahasa besar, terutama yang dibuka dengan menskalakan data dan ukuran model. Parti menggunakan tokenizer gambar ViT-VQGAN untuk mengubah gambar menjadi urutan token diskrit, memungkinkannya merekonstruksi urutan ini menjadi gambar berkualitas tinggi dan beragam secara visual.
Baca Selengkapnya
Model ini menunjukkan peningkatan kualitas yang konsisten seiring dengan penskalaan encoder-decoder-nya hingga 20 miliar parameter. Parti telah mencapai skor FID zero-shot terbaik di kelasnya yaitu 7,23 dan skor FID yang disesuaikan (finetuned) sebesar 3,22 pada benchmark MS-COCO. Efektivitasnya mencakup berbagai kategori dan tantangan, sebagaimana dianalisis pada benchmark PartiPrompts yang baru dirilis, sebuah koleksi holistik dari lebih dari 1600 prompt bahasa Inggris yang dirancang untuk mengukur kemampuan model di berbagai aspek.
Parti unggul dalam menangani prompt yang panjang dan kompleks yang memerlukan refleksi akurat dari pengetahuan dunia, komposisi banyak partisipan dan objek dengan detail dan interaksi yang halus, serta kepatuhan pada format dan gaya gambar tertentu. Kemampuan model ini terlihat dalam kemampuannya untuk menghasilkan gambar berdasarkan konsep abstrak, menggabungkan pengetahuan dunia, merender perspektif tertentu, dan bahkan menghasilkan teks dan simbol di dalam gambar. Penelitian ini juga menyoroti keterbatasan dan area untuk perbaikan di masa depan, seperti penanganan negasi dan indikasi ketiadaan.
Dikembangkan menggunakan Lingvo dan diskalakan dengan GSPMD pada perangkat keras TPU v4, arsitektur Parti memungkinkan penskalaan yang signifikan. Perbandingan antara model mulai dari 350 juta hingga 20 miliar parameter menunjukkan peningkatan substansial dalam kemampuan model dan kualitas gambar keluaran. Evaluator manusia secara konsisten lebih memilih model yang lebih besar, terutama untuk realisme gambar, kualitas, dan keselarasan teks-gambar. Model 20 miliar parameter menunjukkan kekuatan khusus dalam prompt yang memerlukan penalaran abstrak, pengetahuan dunia, sudut pandang spesifik, dan rendering teks serta simbol.
Meskipun Parti menawarkan kemungkinan menarik untuk kreativitas dan komunikasi visual, penelitian ini mengakui risiko yang signifikan, termasuk potensi pengkodean stereotip berbahaya dan representasi karena bias dalam data pelatihan. Mirip dengan model teks-ke-gambar lainnya, Parti dapat mencerminkan bias Barat dan kurang mewakili latar belakang tertentu. Potensi untuk membuat deepfake dan menyebarkan misinformasi juga menjadi perhatian. Karena risiko ini, Google Research telah memutuskan untuk tidak merilis model, kode, atau data Parti secara publik tanpa pengamanan lebih lanjut. Sebaliknya, mereka menyediakan watermark Parti pada gambar yang dirilis dan berencana untuk fokus pada pengukuran bias, strategi mitigasi, dan koordinasi dengan seniman untuk mengeksplorasi aplikasi yang bertanggung jawab.
- KategoriModel AI & LLM
- PenerapanCloud
- PlatformWeb
Sorotan Parti: Model Teks-ke-Gambar Autoregresif Pathways
Generasi teks-ke-gambar autoregresif
Generasi gambar fotorealistik dengan fidelitas tinggi
Mendukung sintesis kaya konten dengan komposisi kompleks
Memanfaatkan kemajuan model bahasa besar
Pendekatan pemodelan sekuens-ke-sekuens
Menggunakan ViT-VQGAN untuk tokenisasi gambar
Arsitektur yang dapat diskalakan hingga 20 miliar parameter
Mencapai skor FID terbaik di kelasnya pada MS-COCO
Efektif di berbagai kategori prompt dan aspek kesulitan
Menangani prompt abstrak dan pengetahuan dunia
Merender perspektif dan teks/simbol spesifik
Diimplementasikan dalam Lingvo dan diskalakan dengan GSPMD pada TPU v4
Memulai dengan Parti: Model Teks-ke-Gambar Autoregresif Pathways
Akses model: Pahami makalah penelitian dan temuan tentang Parti.
Jelajahi kemampuan: Tinjau contoh prompt dan gambar yang dihasilkan untuk mengukur kinerja model.
Analisis hasil benchmark: Periksa skor FID dan kinerja pada benchmark PartiPrompts.
Pahami keterbatasan: Biasakan diri dengan mode kegagalan yang teridentifikasi dan area untuk perbaikan.
Pertimbangkan penggunaan yang bertanggung jawab: Waspadai pertimbangan etis dan risiko yang terkait dengan model teks-ke-gambar.
Tinjau kartu data: Akses informasi tentang praktik pengumpulan data dan pengembangan model.
Kasus Penggunaan Parti: Model Teks-ke-Gambar Autoregresif Pathways
- Generasi Gambar Fotorealistik
- Sintesis Adegan Kompleks
- Integrasi Pengetahuan Dunia
- Visualisasi Konsep Abstrak
- Emulasi Gaya Artistik
- Rendering Teks dan Simbol
- Pembuatan Konten Kreatif
