Flamingo

Die innovative Schnittstelle des Modells akzeptiert einen Prompt, der aus verschachtelten Bildern, Videos und Text besteht, und generiert dann entsprechende Sprachausgaben. Dieser multimodale Ein- und Ausgabemechanismus ermöglicht es Flamingo, komplexe visuelle und textuelle Informationen gleichzeitig zu verstehen und darauf zu reagieren. Durch die Bereitstellung einiger Beispielpaare von visuellen Eingaben und gewünschten Textantworten innerhalb seines Prompts können Benutzer Flamingo anleiten, Fragen zu neuen Bildern oder Videos zu beantworten und das Modell effektiv auf die Lösung einer spezifischen multimodalen Aufgabe zu lenken, ohne weiteres Training.

Flamingo erzielt Spitzenleistungen im Few-Shot-Learning über eine breite Palette von offenen multimodalen Aufgaben. Bei 16 Benchmark-Aufgaben übertraf es alle bisherigen Few-Shot-Learning-Ansätze, wenn nur vier Beispiele pro Aufgabe bereitgestellt wurden. In mehreren Fällen übertrafen die Ergebnisse von Flamingo Methoden, die speziell für jede Aufgabe feinabgestimmt wurden und um Größenordnungen mehr Daten nutzten. Dies macht fortschrittliches visuelles Sprachmodellieren für Nicht-Experten zugänglich, um es sofort auf neue Herausforderungen anzuwenden.

Architektonisch verschmilzt Flamingo vortrainierte, eingefrorene große Sprachmodelle mit leistungsstarken visuellen Repräsentationen. Neue Komponenten werden zwischen diesen Modulen integriert, und das gesamte System wird auf einem großen, vielfältigen Datensatz multimodaler Daten aus dem Web trainiert, wodurch die Notwendigkeit von spezifischen Machine-Learning-Annotationen entfällt. Das Modell basiert auf Googles Chinchilla 70B-Parameter-Sprachmodell und ergibt ein VLM mit 80B Parametern. Nach seinem initialen Training kann Flamingo durch einfaches Few-Shot-Learning leicht an verschiedene visuelle Aufgaben angepasst werden, wodurch die Notwendigkeit einer aufgabenbezogenen Feinabstimmung entfällt.

Über seine Benchmark-Leistung hinaus zeigt Flamingo beeindruckende qualitative Fähigkeiten, einschließlich sofortiger multimodaler Dialoge. Das Modell wurde auf ethische Aspekte getestet, wie z. B. die Beschriftung von Bildern, die sich auf Geschlecht und Hautfarbe beziehen, und die Bewertung der Toxizität generierter Texte mithilfe der Perspective API von Google. Während die ersten Ergebnisse vielversprechend sind, betont DeepMind die kritische Notwendigkeit weiterer Forschung zu den ethischen Risiken multimodaler Systeme vor einer breiten Einführung. Die potenziellen Anwendungen von Flamingo sind vielfältig und reichen von der Unterstützung sehbehinderter Personen bis hin zur Verbesserung der Identifizierung schädlicher Online-Inhalte, was den Weg für intuitivere und vorteilhaftere KI-Interaktionen ebnet.