Descripción
Parti, el modelo Autoregresivo de Texto a Imagen de Pathways, es un enfoque novedoso para generar imágenes fotorrealistas a partir de descripciones textuales. Enmarca la generación de texto a imagen como un problema de modelado de secuencia a secuencia, estableciendo paralelismos con la traducción automática y beneficiándose de los avances en modelos de lenguaje grandes, particularmente aquellos desbloqueados por la escalabilidad de los datos y el tamaño de los modelos. Parti utiliza el tokenizador de imágenes ViT-VQGAN para convertir imágenes en secuencias de tokens discretos, lo que le permite reconstruir estas secuencias en imágenes de alta calidad y visualmente diversas.
Leer más
Este modelo demuestra mejoras constantes en la calidad a medida que su codificador-decodificador escala hasta 20 mil millones de parámetros. Parti ha logrado puntuaciones FID de vanguardia en modo zero-shot de 7.23 y puntuaciones FID ajustadas (finetuned) de 3.22 en el benchmark MS-COCO. Su efectividad abarca una amplia variedad de categorías y desafíos, según se analiza en el recién lanzado benchmark PartiPrompts, una colección holística de más de 1600 prompts en inglés diseñados para medir las capacidades del modelo en diversos aspectos.
Parti sobresale en el manejo de prompts largos y complejos que requieren una reflexión precisa del conocimiento del mundo, la composición de numerosos participantes y objetos con detalles e interacciones finas, y la adherencia a formatos y estilos de imagen específicos. Las capacidades del modelo son evidentes en su habilidad para generar imágenes basadas en conceptos abstractos, incorporar conocimiento del mundo, representar perspectivas específicas e incluso producir texto y símbolos dentro de las imágenes. La investigación también destaca limitaciones y áreas para futuras mejoras, como el manejo de la negación y las indicaciones de ausencia.
Desarrollado utilizando Lingvo y escalado con GSPMD en hardware TPU v4, la arquitectura de Parti permite una escalabilidad significativa. Las comparaciones entre modelos que van desde 350 millones hasta 20 mil millones de parámetros muestran mejoras sustanciales en las capacidades del modelo y la calidad de las imágenes de salida. Los evaluadores humanos prefirieron consistentemente modelos más grandes, particularmente en cuanto a realismo de imagen, calidad y alineación texto-imagen. El modelo de 20 mil millones de parámetros muestra una fortaleza particular en prompts que requieren razonamiento abstracto, conocimiento del mundo, puntos de vista específicos y la representación de texto y símbolos.
Si bien Parti ofrece posibilidades emocionantes para la creatividad y la comunicación visual, la investigación reconoce riesgos significativos, incluido el potencial de codificar estereotipos y representaciones dañinas debido a sesgos en los datos de entrenamiento. Similar a otros modelos de texto a imagen, Parti puede reflejar sesgos occidentales y subrepresentar ciertos orígenes. El potencial para crear deepfakes y propagar desinformación también es una preocupación. Debido a estos riesgos, Google Research ha decidido no liberar públicamente los modelos, el código o los datos de Parti sin salvaguardias adicionales. En su lugar, proporcionan una marca de agua de Parti en las imágenes publicadas y planean centrarse en la medición de sesgos, estrategias de mitigación y la coordinación con artistas para explorar aplicaciones responsables.
- CategoríaModelos de IA y LLM
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de Parti: Modelo Autoregresivo de Texto a Imagen de Pathways
Generación autoregresiva de texto a imagen
Generación de imágenes fotorrealistas de alta fidelidad
Soporta síntesis rica en contenido con composiciones complejas
Aprovecha los avances de los modelos de lenguaje grandes
Enfoque de modelado de secuencia a secuencia
Utiliza ViT-VQGAN para la tokenización de imágenes
Arquitectura escalable hasta 20 mil millones de parámetros
Logra puntuaciones FID de vanguardia en MS-COCO
Efectivo en diversas categorías de prompts y aspectos de dificultad
Maneja prompts abstractos y conocimiento del mundo
Representa perspectivas específicas y texto/símbolos
Implementado en Lingvo y escalado con GSPMD en TPU v4
Primeros pasos con Parti: Modelo Autoregresivo de Texto a Imagen de Pathways
Acceder al modelo: Comprender el artículo de investigación y sus hallazgos sobre Parti.
Explorar capacidades: Revisar ejemplos de prompts e imágenes generadas para evaluar el rendimiento del modelo.
Analizar resultados de benchmarks: Examinar las puntuaciones FID y el rendimiento en el benchmark PartiPrompts.
Comprender limitaciones: Familiarizarse con los modos de fallo identificados y las áreas de mejora.
Considerar el uso responsable: Ser consciente de las consideraciones éticas y los riesgos asociados con los modelos de texto a imagen.
Revisar la ficha de datos: Acceder a información sobre la recopilación de datos y las prácticas de desarrollo del modelo.
Casos de uso de Parti: Modelo Autoregresivo de Texto a Imagen de Pathways
- Generación de Imágenes Fotorrealistas
- Síntesis de Escenas Complejas
- Integración de Conocimiento del Mundo
- Visualización de Conceptos Abstractos
- Emulación de Estilo Artístico
- Representación de Texto y Símbolos
- Creación de Contenido Creativo
