Description
Microsoft Research a présenté Phi-2, une avancée significative dans le domaine des petits modèles de langage (SLM). Ce modèle de 2,7 milliards de paramètres présente des capacités remarquables de raisonnement et de compréhension du langage, le positionnant comme un leader parmi les modèles de langage de base de moins de 13 milliards de paramètres. Phi-2 atteint des performances de pointe sur divers benchmarks, égalant ou dépassant souvent les modèles jusqu'à 25 fois plus grands que lui. Cette amélioration des performances est attribuée à des techniques innovantes de mise à l'échelle des modèles et à une curation méticuleuse des données d'entraînement.
Le développement de Phi-2 s'appuie sur les modèles précédents de la suite Phi, notamment Phi-1 et Phi-1.5. Alors que Phi-1 excellait dans la programmation Python, Phi-1.5 démontrait des performances comparables à celles de modèles cinq fois plus grands en matière de raisonnement de bon sens et de compréhension du langage. Phi-2 affine davantage ces capacités en intégrant les connaissances de Phi-1.5 dans une architecture plus grande, accélérant la convergence de l'entraînement et améliorant les scores des benchmarks.
Une idée clé derrière le succès de Phi-2 est le rôle essentiel de la qualité des données d'entraînement. Microsoft Research a adopté une approche axée sur des données de "qualité textbook", intégrant des ensembles de données synthétiques conçus pour enseigner le raisonnement de bon sens, les connaissances générales, la science, les activités quotidiennes et la théorie de l'esprit. Ceci est complété par des données web soigneusement filtrées, sélectionnées pour leur valeur éducative et la qualité de leur contenu. Le modèle est basé sur l'architecture Transformer, entraîné sur 1,4 trillion de tokens issus de multiples passages sur un mélange de jeux de données synthétiques et web pour des tâches de NLP et de codage.
Phi-2 est disponible dans le catalogue de modèles d'Azure AI Studio, favorisant la recherche et le développement. Bien qu'il n'ait pas subi d'apprentissage par renforcement à partir de retours humains (RLHF) ni de fine-tuning d'instructions, Phi-2 présente un meilleur comportement en matière de toxicité et de biais par rapport à certains modèles open-source alignés. Ceci est cohérent avec les observations faites sur Phi-1.5, attribuées aux techniques de curation de données personnalisées.
La taille compacte de Phi-2 en fait une excellente plateforme pour les chercheurs explorant des domaines tels que l'interprétabilité mécaniste, les améliorations de sécurité et l'expérimentation de fine-tuning sur diverses tâches. Ses performances sur des benchmarks complexes, y compris Big Bench Hard, le raisonnement de bon sens, la compréhension du langage, les mathématiques et le codage, rivalisent ou surpassent des modèles plus grands comme Mistral 7B et les modèles Llama-2, et rivalisent même avec Gemini Nano 2.
Points forts de Modèle de Langage Phi-2
2,7 milliards de paramètres
Performances de pointe pour les modèles de moins de 13 milliards de paramètres
Surpasse les modèles jusqu'à 25 fois plus grands sur des benchmarks complexes
Capacités avancées de raisonnement et de compréhension du langage
Entraîné sur des données de "qualité textbook" et des données web curatées
Architecture basée sur Transformer
Objectif de prédiction du mot suivant
Entraîné sur 1,4 trillion de tokens
Disponible dans le catalogue de modèles Azure AI Studio
Démontre de solides performances sans RLHF ni fine-tuning d'instructions
Présente une toxicité et des biais inférieurs par rapport à certains modèles alignés
Idéal pour la recherche, l'interprétabilité et les expériences de fine-tuning
Premiers pas avec Modèle de Langage Phi-2
Accéder au modèle : Localisez Phi-2 dans le catalogue de modèles d'Azure AI Studio.
Authentification : Configurez les identifiants d'authentification nécessaires pour les services Azure AI.
Configuration de l'environnement : Configurez votre environnement de développement avec les bibliothèques et SDK requis.
Intégration via API : Utilisez les points d'accès API fournis pour envoyer des prompts et recevoir les sorties du modèle.
Expérimentation : Commencez le fine-tuning ou menez des expériences de recherche en utilisant les capacités du modèle.
Cas d'utilisation de Modèle de Langage Phi-2
- Exploration de la recherche
- Expériences de fine-tuning
- Tâches de raisonnement
- Compréhension du langage
- Raisonnement de bon sens
