Description
Phi-4-Reasoning-Vision-15B est un modèle de raisonnement multimodal à poids ouverts compact développé par Microsoft, basé sur le modèle de langage Phi-4-Reasoning et l'encodeur de vision SigLIP-2. Ce modèle utilise une architecture de fusion intermédiaire, où l'encodeur de vision convertit les images en jetons visuels, qui sont ensuite projetés dans l'espace d'incorporation du modèle de langage. Cette approche innovante combine les forces des deux composants préentraînés tout en maintenant des coûts d'entraînement et d'inférence gérables.
Lire la suite
Le modèle est capable de traiter du texte et des images, avec une longueur de contexte de 16 384 jetons. Il a été entraîné en utilisant un affinement supervisé (SFT) sur un ensemble de données soigneusement sélectionné qui comprend à la fois des données de raisonnement et des données non liées au raisonnement. Cela permet à Phi-4-Reasoning-Vision-15B d'effectuer un raisonnement en chaîne prolongé pour des tâches complexes, telles que le raisonnement mathématique et scientifique, tout en gérant également l'inférence directe pour des tâches axées sur la perception comme la légende d'images et la détection d'objets.
Phi-4-Reasoning-Vision-15B est particulièrement efficace dans des environnements limités en mémoire ou en calcul, ce qui le rend idéal pour des systèmes IA multimodaux à usage général. Ses principaux cas d'utilisation incluent le raisonnement scientifique et mathématique sur des entrées visuelles, ainsi que des tâches d'agent d'utilisation informatique impliquant l'interprétation du contenu de l'écran et la localisation des éléments de l'interface graphique. Le modèle est également capable de tâches multimodales générales telles que la légende d'images, la réponse à des questions visuelles et la reconnaissance optique de caractères.
L'entraînement du modèle a impliqué 240 GPU NVIDIA B200 sur une période de quatre jours, avec un accent sur la sécurité et l'alignement. Il intègre une approche de sécurité post-entraînement qui comprend un mélange d'ensembles de données synthétiques générés en interne et en open source pour garantir un comportement approprié en réponse à un contenu nuisible. Les développeurs sont conseillés de prendre en compte les limitations du modèle, en particulier dans des scénarios à haut risque, et d'appliquer des pratiques d'IA responsables lors de son intégration dans des applications.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de Phi-4-reasoning-vision-15B
Type de modèle : Multimodal
API disponible : Oui
Licence : MIT
Paramètres : 15B
Longueur de contexte : 16 384 jetons
GPU d'entraînement : 240
Temps d'entraînement : 4 jours
Support de l'affinement : Oui
Multimodal : Oui
Premiers pas avec Phi-4-reasoning-vision-15B
Accéder au modèle : Visitez la page Hugging Face pour Phi-4-Reasoning-Vision-15B.
Authentifier : Configurez votre compte Hugging Face pour l'accès à l'API.
Configurer l'environnement : Assurez-vous que votre système répond aux exigences techniques.
Intégrer via l'API : Utilisez la documentation API fournie pour intégrer le modèle dans votre application.
Optimiser : Affinez le modèle en fonction de votre cas d'utilisation spécifique.
Cas d'utilisation de Phi-4-reasoning-vision-15B
- Raisonnement scientifique
- Tâches d'agent d'utilisation informatique
- Légende d'images
- Réponse à des questions visuelles
- Reconnaissance optique de caractères
