Description
Le projet StableLM, hébergé sur GitHub par Stability AI, représente un effort significatif dans le développement de grands modèles de langage (LLM) open-source. Ce dépôt sert de hub central pour la recherche et le développement continus de la série StableLM, constamment mis à jour avec de nouveaux checkpoints de modèles et des avancées.
Lire la suite
À la base, StableLM vise à fournir des modèles de langage puissants et accessibles à la communauté de l'IA. Le projet a publié plusieurs modèles notables, dont StableLM-3B-4E1T, un modèle de 3 milliards de paramètres pré-entraîné sous un régime multi-époques pour étudier l'impact des tokens répétés sur les performances. Ce modèle a été entraîné sur 1 trillion de tokens pendant 4 époques, s'inspirant de la recherche sur la mise à l'échelle des modèles de langage contraints par les données. Son architecture est un transformeur uniquement décodeur, similaire à LLaMA, avec des modifications spécifiques comme les Rotary Position Embeddings et LayerNorm.
Les itérations ultérieures incluent les modèles StableLM-Alpha v2, disponibles en tailles de 3B et 7B paramètres. Ces modèles intègrent des améliorations architecturales telles que SwiGLU et utilisent des sources de données de plus haute qualité, améliorant considérablement les performances en aval. Les données d'entraînement pour ces modèles comprennent un mélange filtré de jeux de données open-source tels que Falcon RefinedWeb, RedPajama-Data, The Pile et StarCoder, avec un fort accent sur le texte web. La longueur du contexte pour ces modèles est de 4096 tokens.
Stability AI a également développé StableVicuna, un fine-tuning RLHF de Vicuna-13B, visant à créer un chatbot LLM RLHF open-source. En raison de la licence non commerciale de LLaMA, les poids de StableVicuna sont publiés sous forme de deltas par rapport au modèle original.
Le dépôt fournit des ressources pour les développeurs afin de démarrer, y compris des guides de démarrage rapide et des exemples de code pour exécuter l'inférence avec des modèles comme StableLM-Tuned-Alpha-7B sur Hugging Face. Le projet encourage l'implication de la communauté, recherchant des contributions pour le portage de llama.cpp et l'intégration avec Open Assistant pour la collecte de données de feedback. Il est conseillé aux utilisateurs que, comme pour tout LLM pré-entraîné, les réponses peuvent varier en qualité et pourraient potentiellement inclure du contenu offensant, ce qui devrait s'améliorer avec le développement continu et le feedback de la communauté.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de StableLM
Dépôt de développement de modèles de langage open-source
Héberge la série de modèles de langage StableLM
Mise à jour continue avec de nouveaux checkpoints
Inclut des modèles comme StableLM-3B-4E1T
Présente les modèles StableLM-Alpha v2 (3B et 7B)
Fournit StableVicuna, un fine-tuning RLHF
Offre des rapports techniques et des aperçus de modèles
Inclut des exemples de code pour l'inférence
Encourage les contributions et le feedback de la communauté
Modèles disponibles sous licences CC BY-SA-4.0 et CC BY-NC-SA-4.0
Code sous licence Apache License 2.0
Premiers pas avec StableLM
Cloner : Clonez le dépôt sur votre machine locale.
Installer les dépendances : Installez les bibliothèques et frameworks nécessaires.
Télécharger le modèle : Obtenez les checkpoints de modèles StableLM souhaités depuis Hugging Face.
Configurer : Configurez l'environnement et les paramètres pour l'inférence ou le fine-tuning.
Exécuter : Lancez les scripts fournis pour l'inférence ou l'utilisation personnalisée du modèle.
Intégrer : Intégrez les modèles dans vos applications ou projets de recherche.
Cas d'utilisation de StableLM
- Recherche sur les modèles de langage
- Développement de chatbots IA
- Génération de texte
- Compréhension du langage naturel
- Fine-tuning pour des tâches spécifiques
- Développement d'IA open-source
