Descrição
Parti, o modelo Pathways Autoregressive Text-to-Image, é uma abordagem inovadora para gerar imagens fotorrealistas a partir de descrições textuais. Ele enquadra a geração de texto para imagem como um problema de modelagem de sequência para sequência, traçando paralelos com a tradução automática e beneficiando-se dos avanços em modelos de linguagem grandes, particularmente aqueles desbloqueados pelo escalonamento de dados e tamanhos de modelo. Parti utiliza o tokenizador de imagem ViT-VQGAN para converter imagens em sequências de tokens discretos, permitindo-lhe reconstruir essas sequências em imagens de alta qualidade e visualmente diversas.
Ler mais
Este modelo demonstra melhorias consistentes de qualidade à medida que seu codificador-decodificador escala para 20 bilhões de parâmetros. Parti alcançou pontuações FID de última geração em zero-shot de 7,23 e pontuações FID ajustadas de 3,22 no benchmark MS-COCO. Sua eficácia abrange uma ampla variedade de categorias e desafios, conforme analisado no recém-lançado benchmark PartiPrompts, uma coleção holística de mais de 1600 prompts em inglês projetados para medir as capacidades do modelo em diversos aspectos.
Parti se destaca no manuseio de prompts longos e complexos que exigem reflexão precisa do conhecimento do mundo, composição de numerosos participantes e objetos com detalhes e interações granulares, e adesão a formatos e estilos de imagem específicos. As capacidades do modelo são evidentes em sua habilidade de gerar imagens com base em conceitos abstratos, incorporar conhecimento do mundo, renderizar perspectivas específicas e até mesmo produzir texto e símbolos dentro de imagens. A pesquisa também destaca limitações e áreas para melhorias futuras, como o manuseio de negação e indicações de ausência.
Desenvolvido usando Lingvo e escalado com GSPMD em hardware TPU v4, a arquitetura do Parti permite um escalonamento significativo. Comparações entre modelos que variam de 350 milhões a 20 bilhões de parâmetros mostram melhorias substanciais nas capacidades do modelo e na qualidade da imagem de saída. Avaliadores humanos preferiram consistentemente modelos maiores, particularmente para realismo de imagem, qualidade e alinhamento texto-imagem. O modelo de 20 bilhões de parâmetros mostra força particular em prompts que exigem raciocínio abstrato, conhecimento do mundo, pontos de vista específicos e a renderização de texto e símbolos.
Embora o Parti ofereça possibilidades empolgantes para criatividade e comunicação visual, a pesquisa reconhece riscos significativos, incluindo o potencial de codificar estereótipos prejudiciais e representações devido a vieses nos dados de treinamento. Semelhante a outros modelos de texto para imagem, o Parti pode refletir vieses ocidentais e sub-representar certos históricos. O potencial de criação de deepfakes e propagação de desinformação também é uma preocupação. Devido a esses riscos, o Google Research decidiu não liberar os modelos, código ou dados do Parti publicamente sem salvaguardas adicionais. Em vez disso, eles fornecem uma marca d'água do Parti em imagens liberadas e planejam focar na medição de vieses, estratégias de mitigação e coordenação com artistas para explorar aplicações responsáveis.
- CategoriaModelos de IA e LLMs
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de Parti: Modelo Autoregressivo de Texto para Imagem Pathways
Geração autorregressiva de texto para imagem
Geração de imagem fotorrealista de alta fidelidade
Suporta síntese rica em conteúdo com composições complexas
Aproveita avanços em modelos de linguagem grandes
Abordagem de modelagem de sequência para sequência
Utiliza ViT-VQGAN para tokenização de imagem
Arquitetura escalável até 20 bilhões de parâmetros
Alcança pontuações FID de última geração no MS-COCO
Eficaz em diversas categorias de prompts e aspectos de dificuldade
Lida com prompts abstratos e conhecimento do mundo
Renderiza perspectivas específicas e texto/símbolos
Implementado em Lingvo e escalado com GSPMD em TPU v4
Primeiros passos com Parti: Modelo Autoregressivo de Texto para Imagem Pathways
Acessar modelo: Entender o artigo de pesquisa e suas descobertas sobre o Parti.
Explorar capacidades: Revisar exemplos de prompts e imagens geradas para avaliar o desempenho do modelo.
Analisar resultados de benchmark: Examinar pontuações FID e desempenho no benchmark PartiPrompts.
Compreender limitações: Familiarizar-se com os modos de falha identificados e áreas para melhoria.
Considerar uso responsável: Estar ciente das considerações éticas e riscos associados a modelos de texto para imagem.
Revisar data card: Acessar informações sobre coleta de dados e práticas de desenvolvimento de modelos.
Casos de uso de Parti: Modelo Autoregressivo de Texto para Imagem Pathways
- Geração de Imagens Fotorrealistas
- Síntese de Cenas Complexas
- Integração de Conhecimento do Mundo
- Visualização de Conceitos Abstratos
- Emulação de Estilo Artístico
- Renderização de Texto e Símbolos
- Criação de Conteúdo Criativo
