Flamingo

La innovadora interfaz del modelo acepta un prompt compuesto por imágenes, videos y texto intercalados, y luego genera las salidas de lenguaje correspondientes. Este mecanismo de entrada y salida multimodal permite a Flamingo comprender y responder a información visual y textual compleja simultáneamente. Al proporcionar algunos pares de ejemplo de entradas visuales y respuestas de texto deseadas dentro de su prompt, los usuarios pueden guiar a Flamingo para responder preguntas sobre nuevas imágenes o videos, dirigiendo efectivamente el modelo hacia la resolución de una tarea multimodal específica sin ningún entrenamiento adicional.

Flamingo logra un rendimiento de vanguardia en el aprendizaje few-shot en una amplia gama de tareas multimodales abiertas. En 16 tareas de referencia, superó a todos los enfoques de aprendizaje few-shot anteriores cuando se le proporcionaron tan solo cuatro ejemplos por tarea. En varios casos, el rendimiento de Flamingo superó a métodos que fueron ajustados específicamente para cada tarea y utilizaron órdenes de magnitud más datos. Esto hace que el modelado avanzado de lenguaje visual sea accesible para no expertos para su aplicación inmediata a nuevos desafíos.

Arquitectónicamente, Flamingo fusiona modelos de lenguaje grandes preentrenados y congelados con representaciones visuales potentes. Se integran componentes novedosos entre estos módulos, y todo el sistema se entrena en un conjunto de datos grande y diverso de datos multimodales obtenidos de la web, evitando la necesidad de anotaciones específicas de aprendizaje automático. El modelo se basa en el modelo de lenguaje Chinchilla de 70 mil millones de parámetros de Google, lo que resulta en un VLM de 80 mil millones de parámetros. Después de su entrenamiento inicial, Flamingo se puede adaptar fácilmente a diversas tareas de visión a través de un simple aprendizaje few-shot, eliminando la necesidad de ajuste fino específico de la tarea.

Más allá de su rendimiento de referencia, Flamingo demuestra impresionantes capacidades cualitativas, incluido el diálogo multimodal listo para usar. El modelo ha sido probado para consideraciones éticas, como la subtitulación de imágenes relacionadas con el género y el color de piel, y la evaluación de la toxicidad del texto generado utilizando la API Perspective de Google. Si bien los resultados iniciales son prometedores, DeepMind enfatiza la necesidad crítica de una mayor investigación sobre los riesgos éticos de los sistemas multimodales antes de su implementación generalizada. Las aplicaciones potenciales de Flamingo son vastas, desde ayudar a personas con discapacidad visual hasta mejorar la identificación de contenido dañino en línea, allanando el camino para interacciones de IA más intuitivas y beneficiosas.