Parti: Pathways Autoregressive Text-to-Image Model

Dieses Modell zeigt konsistente Qualitätsverbesserungen, wenn seine Encoder-Decoder-Architektur auf bis zu 20 Milliarden Parameter skaliert wird. Parti hat auf dem MS-COCO-Benchmark branchenführende Zero-Shot-FID-Werte von 7,23 und Finetuned-FID-Werte von 3,22 erzielt. Seine Effektivität erstreckt sich über eine breite Palette von Kategorien und Herausforderungen, wie auf dem neu veröffentlichten PartiPrompts-Benchmark analysiert, einer umfassenden Sammlung von über 1600 englischen Prompts, die entwickelt wurden, um die Fähigkeiten des Modells in verschiedenen Aspekten zu messen.

Parti zeichnet sich durch die Verarbeitung langer, komplexer Prompts aus, die eine genaue Wiedergabe von Weltwissen, die Komposition zahlreicher Teilnehmer und Objekte mit feingranularen Details und Interaktionen sowie die Einhaltung spezifischer Bildformate und Stile erfordern. Die Fähigkeiten des Modells zeigen sich in seiner Fähigkeit, Bilder basierend auf abstrakten Konzepten zu generieren, Weltwissen zu integrieren, spezifische Perspektiven darzustellen und sogar Text und Symbole innerhalb von Bildern zu produzieren. Die Forschung hebt auch Einschränkungen und Bereiche für zukünftige Verbesserungen hervor, wie z. B. die Handhabung von Negation und die Angabe von Abwesenheit.

Entwickelt mit Lingvo und skaliert mit GSPMD auf TPU v4-Hardware, ermöglicht die Architektur von Parti eine signifikante Skalierung. Vergleiche zwischen Modellen im Bereich von 350 Millionen bis 20 Milliarden Parametern zeigen erhebliche Verbesserungen der Modellfähigkeiten und der Ausgabebildqualität. Menschliche Bewerter bevorzugten durchweg größere Modelle, insbesondere in Bezug auf Bildrealismus, Qualität und Text-Bild-Abgleich. Das Modell mit 20 Milliarden Parametern zeigt besondere Stärken bei Prompts, die abstraktes Denken, Weltwissen, spezifische Blickwinkel sowie die Darstellung von Text und Symbolen erfordern.

Während Parti spannende Möglichkeiten für Kreativität und visuelle Kommunikation bietet, erkennt die Forschung erhebliche Risiken an, darunter das Potenzial zur Kodierung schädlicher Stereotypen und Darstellungen aufgrund von Verzerrungen in den Trainingsdaten. Ähnlich wie andere Text-zu-Bild-Modelle kann Parti westliche Verzerrungen widerspiegeln und bestimmte Hintergründe unterrepräsentieren. Das Potenzial zur Erstellung von Deepfakes und zur Verbreitung von Fehlinformationen ist ebenfalls ein Problem. Aufgrund dieser Risiken hat Google Research beschlossen, die Parti-Modelle, den Code oder die Daten ohne weitere Sicherheitsvorkehrungen nicht öffentlich freizugeben. Stattdessen stellen sie ein Parti-Wasserzeichen auf veröffentlichten Bildern bereit und planen, sich auf die Messung von Verzerrungen, Minderungsstrategien und die Koordinierung mit Künstlern zur Erforschung verantwortungsvoller Anwendungen zu konzentrieren.