Description
SmolLM3 est un modèle de langage de 3 milliards de paramètres développé pour faire progresser les capacités des petits modèles en intelligence artificielle. Il est conçu pour prendre en charge le raisonnement en mode double et est multilingue, prenant en charge nativement six langues : anglais, français, espagnol, allemand, italien et portugais. Le modèle est entièrement ouvert, avec des poids ouverts et des détails de formation complets, y compris des mélanges de données publiques et des configurations d'entraînement.
L'architecture de SmolLM3 est un transformateur uniquement décodeur utilisant GQA et NoPE avec un ratio de 3:1. Il a été préentraîné sur 11,2 trillions de tokens en utilisant un curriculum par étapes qui incluait des données web, de code, de mathématiques et de raisonnement. L'entraînement postérieur a impliqué un entraînement intermédiaire sur 140 milliards de tokens de raisonnement, suivi d'un ajustement supervisé et d'un alignement via l'Optimisation de Préférence Ancrée (APO).
SmolLM3 est optimisé pour le raisonnement hybride et prend en charge le traitement de longs contextes, entraîné sur un contexte de 64k et capable de gérer jusqu'à 128k tokens en utilisant l'extrapolation YARN. Le modèle peut être déployé en utilisant vLLM et SGLang, compatible avec les API au format OpenAI. Il prend également en charge l'appel d'outils, permettant l'intégration avec divers outils via des appels de fonctions XML ou Python.
Pour l'inférence locale, SmolLM3 peut être utilisé avec llama.cpp, ONNX, MLX, MLC et ExecuTorch. Des points de contrôle quantifiés sont disponibles pour un déploiement efficace. Les performances du modèle ont été évaluées à travers divers benchmarks, démontrant de solides résultats dans les tâches de Q&A multilingues, de programmation compétitive et de suivi d'instructions.
SmolLM3 est un outil précieux pour les développeurs et les chercheurs cherchant à tirer parti de l'IA pour des tâches de raisonnement multilingues et complexes. Cependant, les utilisateurs doivent être conscients que le contenu généré peut ne pas toujours être factuellement exact ou exempt de biais présents dans les données d'entraînement.
Points forts de Modèle de Langage SmolLM3
Modèle de langage de 3 milliards de paramètres
Prend en charge le raisonnement en mode double
Multilingue : 6 langues
Traitement de longs contextes jusqu'à 128k tokens
Modèle ouvert avec des poids ouverts
Modèle d'instruction optimisé pour le raisonnement hybride
Prise en charge de l'appel d'outils
Compatible avec vLLM et SGLang
Premiers pas avec Modèle de Langage SmolLM3
Accéder à la page : Visitez la page du modèle Hugging Face
Charger le modèle : Utilisez transformers v4.53.0 ou la dernière version de vllm
Configurer l'environnement : Définir les paramètres d'échantillonnage et la longueur du contexte
Intégrer : Utilisez l'appel d'outils avec des fonctions XML ou Python
Ajuster : Appliquer un ajustement supervisé et un alignement
Cas d'utilisation de Modèle de Langage SmolLM3
- Q&A multilingue
- Raisonnement hybride
- Intégration d'outils
- Traitement de longs contextes
- Suivi d'instructions
