Description
Solar Pro Preview Instruct est un modèle de langage de pointe (LLM) développé pour s'adapter à un seul GPU avec 22 milliards de paramètres. Ce modèle démontre des performances exceptionnelles, surpassant les modèles de moins de 30 milliards de paramètres et rivalisant avec ceux plus de trois fois sa taille, comme Llama 3.1 avec 70 milliards de paramètres. Le modèle est construit en utilisant une version améliorée de la méthode d'up-scaling en profondeur, augmentant un modèle Phi-3-moyen de 14 milliards à 22 milliards de paramètres, optimisé pour un GPU avec 80 Go de VRAM.
Lire la suite
La stratégie d'entraînement et le jeu de données pour Solar Pro Preview ont été soigneusement élaborés, entraînant des améliorations significatives des performances par rapport au modèle Phi-3-moyen, en particulier sur des benchmarks comme MMLU-Pro et IFEval, qui évaluent les capacités de connaissance et de suivi des instructions d'un modèle. Bien qu'il s'agisse d'une version préliminaire, il se distingue déjà par son efficacité et sa capacité, avec des plans pour la sortie officielle de Solar Pro en novembre 2024, qui inclura un support linguistique élargi et des fenêtres de contexte plus longues.
Solar Pro Preview est spécifiquement conçu pour les tâches de suivi des instructions et les engagements conversationnels, utilisant le modèle ChatML pour des performances optimales. Ce modèle est disponible en tant qu'API dans la console Upstage, offrant diverses méthodes d'intégration. Malgré ses limitations actuelles en matière de couverture linguistique et de longueur de contexte, Solar Pro Preview est prêt pour un développement et une amélioration supplémentaires.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesWeb
Points forts de Solar Pro Preview Instruct
22 milliards de paramètres
Compatibilité avec un seul GPU
Performances supérieures aux modèles de moins de 30 milliards de paramètres
Comparable aux modèles de plus de 70 milliards de paramètres
Méthode d'up-scaling en profondeur améliorée
Optimisé pour 80 Go de VRAM
Ajusté pour les tâches conversationnelles
Disponible en tant qu'API dans la console Upstage
Premiers pas avec Solar Pro Preview Instruct
Accéder à la page : Visitez la page du modèle Hugging Face
Charger le modèle : Utilisez le code d'inférence fourni
Configurer l'environnement : Configurez le GPU avec 80 Go de VRAM
Intégrer : Utilisez l'API dans la console Upstage
Ajuster : Appliquez le modèle ChatML pour les tâches
Cas d'utilisation de Solar Pro Preview Instruct
- IA Conversationnelle
- Suivi des Instructions
- Tests de Benchmark
- Intégration API
- Recherche sur les Modèles de Langage
