Description
OpenLLaMA représente une avancée significative dans les grands modèles de langage open-source, offrant une reproduction sous licence permissive de LLaMA de Meta AI. Développé par openlm-research, ce projet vise à démocratiser l'accès à des modèles de langage puissants en fournissant des poids et des méthodologies d'entraînement accessibles.
Lire la suite
Le projet publie une série de modèles, incluant des versions avec 3B, 7B et 13B paramètres, tous entraînés sur un trillion de tokens. Ces modèles sont conçus pour être des substituts directs aux modèles LLaMA originaux dans les implémentations existantes. Le projet fournit des poids au format PyTorch, compatible avec la bibliothèque Hugging Face transformers, et au format JAX pour une utilisation avec le framework EasyLM.
La méthodologie d'entraînement d'OpenLLaMA suit de près le papier original de LLaMA, utilisant la même architecture de modèle, la même longueur de contexte, les mêmes étapes d'entraînement, le même calendrier de taux d'apprentissage et le même optimiseur. La distinction clé réside dans les jeux de données utilisés : les modèles v1 sont entraînés sur le jeu de données RedPajama, tandis que les modèles v2 intègrent un mélange du jeu de données Falcon refined-web, du jeu de données StarCoder et de parties du jeu de données RedPajama (Wikipedia, ArXiv, Books, StackExchange). Cet engagement envers des jeux de données ouverts assure la transparence et la reproductibilité.
Le projet met l'accent sur l'évaluation et la comparaison, présentant des résultats par rapport à LLaMA et GPT-J sur un large éventail de tâches à l'aide de lm-evaluation-harness. Les modèles OpenLLaMA démontrent des performances comparables, et dans certains cas supérieures, à leurs homologues. L'équipe de développement a également abordé des problèmes potentiels, tels que les configurations de tokenizer affectant les tâches de génération de code, recommandant les modèles v2 pour de telles applications.
OpenLLaMA est sous licence Apache 2.0, favorisant une adoption et une modification larges. Le projet est un effort collaboratif, avec des contributions de Berkeley AI Research et le soutien du programme Google TPU Research Cloud. Cette initiative permet aux chercheurs et aux développeurs de construire et d'innover avec des modèles de langage de pointe.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Fonctionnalités principales de OpenLLaMA
Reproduction open-source sous licence permissive de LLaMA de Meta AI
Disponible en tailles de 3B, 7B et 13B paramètres
Entraîné sur 1T de tokens
Poids disponibles aux formats PyTorch et JAX
Compatible avec les bibliothèques Hugging Face transformers et le framework EasyLM
Suit l'architecture et les hyperparamètres d'entraînement originaux de LLaMA
Utilise des jeux de données ouverts comme RedPajama, Falcon refined-web et StarCoder
Performances comparables à LLaMA et GPT-J originaux
Licence Apache 2.0 pour une utilisation large
Inclut des résultats d'évaluation et des comparaisons
Tokenizer conçu pour fusionner plusieurs espaces vides, similaire à T5
Premiers pas avec OpenLLaMA
Accéder aux poids du modèle : Téléchargez les poids PyTorch ou JAX depuis Hugging Face Hub ou les dépôts EasyLM.
Configurer l'environnement : Installez les bibliothèques nécessaires telles que transformers, PyTorch ou JAX.
Charger le tokenizer : Utilisez LlamaTokenizer ou AutoTokenizer avec `use_fast=False` pour éviter d'éventuels problèmes de tokenisation.
Charger le modèle : Instanciez LlamaForCausalLM depuis Hugging Face transformers ou l'équivalent dans EasyLM.
Intégrer via API : Utilisez le modèle chargé pour la génération de texte, l'inférence ou les tâches de fine-tuning.
Évaluer les performances : Employez lm-evaluation-harness pour le benchmarking, en assurant une utilisation correcte du tokenizer.
Cas d'utilisation de OpenLLaMA
- Génération de texte
- Compréhension du langage
- Reproduction de modèles
- Recherche et développement
- Développement de chatbots
- Génération de code
