Beschreibung
Phi-4-Reasoning-Vision-15B ist ein kompaktes, offenes multimodales Reasoning-Modell, das von Microsoft entwickelt wurde und auf dem Phi-4-Reasoning-Sprachmodell-Rückgrat sowie dem SigLIP-2-Vision-Encoder basiert. Dieses Modell nutzt eine Mid-Fusion-Architektur, bei der der Vision-Encoder Bilder in visuelle Tokens umwandelt, die dann in den Einbettungsraum des Sprachmodells projiziert werden. Dieser innovative Ansatz kombiniert die Stärken beider vortrainierter Komponenten, während die Trainings- und Inferenzkosten überschaubar bleiben.
Weiterlesen
Das Modell ist in der Lage, Text und Bilder zu verarbeiten, mit einer Kontextlänge von 16.384 Tokens. Es wurde mit Supervised Fine-Tuning (SFT) auf einem sorgfältig kuratierten Datensatz trainiert, der sowohl reasoning- als auch nicht-reasoning-Daten umfasst. Dies ermöglicht es Phi-4-Reasoning-Vision-15B, erweitertes Denken für komplexe Aufgaben wie mathematisches und wissenschaftliches Reasoning durchzuführen, während es auch direkte Inferenz für wahrnehmungsorientierte Aufgaben wie Bildunterschriftenerstellung und Objekterkennung bewältigt.
Phi-4-Reasoning-Vision-15B ist besonders effektiv in speicher- oder rechenbeschränkten Umgebungen, was es ideal für allgemeine multimodale KI-Systeme macht. Zu den Hauptanwendungsfällen gehören wissenschaftliches und mathematisches Reasoning über visuelle Eingaben sowie Aufgaben für Computerbenutzeragenten, die das Interpretieren von Bildschirminhalten und das Lokalisieren von GUI-Elementen umfassen. Das Modell ist auch in der Lage, allgemeine multimodale Aufgaben wie Bildunterschriftenerstellung, visuelle Fragenbeantwortung und optische Zeichenerkennung durchzuführen.
Das Training des Modells umfasste 240 NVIDIA B200 GPUs über einen Zeitraum von vier Tagen, mit einem Fokus auf Sicherheit und Ausrichtung. Es beinhaltet einen Sicherheitsansatz nach dem Training, der eine Mischung aus Open-Source- und intern generierten synthetischen Datensätzen umfasst, um ein angemessenes Verhalten im Umgang mit schädlichen Inhalten sicherzustellen. Entwicklern wird geraten, die Einschränkungen des Modells, insbesondere in Hochrisikoszenarien, zu berücksichtigen und verantwortungsvolle KI-Praktiken bei der Integration in Anwendungen anzuwenden.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Phi-4-reasoning-vision-15B im Überblick
Modelltyp: Multimodal
API verfügbar: Ja
Lizenz: MIT
Parameter: 15B
Kontextlänge: 16.384 Tokens
Trainings-GPUs: 240
Trainingszeit: 4 Tage
Feinabstimmung Unterstützung: Ja
Multimodal: Ja
Erste Schritte mit Phi-4-reasoning-vision-15B
Modellzugang: Besuchen Sie die Hugging Face-Seite für Phi-4-Reasoning-Vision-15B.
Authentifizierung: Richten Sie Ihr Hugging Face-Konto für den API-Zugang ein.
Umgebung einrichten: Stellen Sie sicher, dass Ihr System die technischen Anforderungen erfüllt.
Integration über API: Verwenden Sie die bereitgestellte API-Dokumentation, um das Modell in Ihre Anwendung zu integrieren.
Optimierung: Feinabstimmung des Modells basierend auf Ihrem spezifischen Anwendungsfall.
Phi-4-reasoning-vision-15B's Anwendungsfälle
- Wissenschaftliches Reasoning
- Aufgaben für Computerbenutzeragenten
- Bildunterschriftenerstellung
- Visuelle Fragenbeantwortung
- Optische Zeichenerkennung
