Flamingo

A interface inovadora do modelo aceita um prompt composto por imagens, vídeos e texto intercalados, e então gera saídas de linguagem correspondentes. Este mecanismo de entrada e saída multimodal permite que o Flamingo compreenda e responda a informações visuais e textuais complexas simultaneamente. Ao fornecer alguns pares de exemplos de entradas visuais e respostas de texto desejadas dentro de seu prompt, os usuários podem guiar o Flamingo para responder a perguntas sobre novas imagens ou vídeos, direcionando efetivamente o modelo para resolver uma tarefa multimodal específica sem qualquer treinamento adicional.

O Flamingo atinge desempenho de ponta em aprendizado few-shot em uma ampla gama de tarefas multimodais abertas. Em 16 tarefas de benchmark, superou todas as abordagens anteriores de aprendizado few-shot quando fornecido com apenas quatro exemplos por tarefa. Em vários casos, o desempenho do Flamingo superou métodos que foram especificamente ajustados para cada tarefa e utilizaram ordens de magnitude mais dados. Isso torna a modelagem avançada de linguagem visual acessível a não especialistas para aplicação imediata a novos desafios.

Arquiteturalmente, o Flamingo funde modelos de linguagem grandes pré-treinados e congelados com representações visuais poderosas. Componentes inovadores são integrados entre esses módulos, e todo o sistema é treinado em um conjunto de dados grande e diversificado de dados multimodais provenientes da web, evitando a necessidade de anotações específicas de aprendizado de máquina. O modelo é construído sobre o modelo de linguagem Chinchilla 70B parâmetros do Google, resultando em um VLM de 80B parâmetros. Após seu treinamento inicial, o Flamingo pode ser facilmente adaptado a várias tarefas de visão através de aprendizado few-shot simples, eliminando a necessidade de ajuste fino específico da tarefa.

Além de seu desempenho em benchmarks, o Flamingo demonstra impressionantes capacidades qualitativas, incluindo diálogo multimodal pronto para uso. O modelo foi testado para considerações éticas, como legendagem de imagens relacionadas a gênero e cor da pele, e avaliação da toxicidade do texto gerado usando a Perspective API do Google. Embora os resultados iniciais sejam promissores, o DeepMind enfatiza a necessidade crítica de mais pesquisas sobre os riscos éticos de sistemas multimodais antes da implantação generalizada. As aplicações potenciais do Flamingo são vastas, variando de auxiliar indivíduos com deficiência visual a aprimorar a identificação de conteúdo online prejudicial, abrindo caminho para interações de IA mais intuitivas e benéficas.