Description
Code Llama est la famille de modèles de langage de grande taille de Meta, spécialisée dans le code, créée en prenant Llama 2 et en l'entraînant davantage sur des ensembles de données spécifiques au code. Il est conçu pour la synthèse et la compréhension du code général : générer du code et des explications en langage naturel sur le code à partir de requêtes, compléter du code partiel et remplir du code en fonction du contexte environnant.
Lire la suite
La famille se décline en trois tailles de paramètres (7B, 13B et 34B, avec une taille de 70B ajoutée ultérieurement) et trois variantes à chaque taille : le modèle de base Code Llama pour la synthèse et la compréhension du code général, Code Llama - Python, ajusté spécifiquement pour Python, et Code Llama - Instruct, ajusté pour le suivi d'instructions et une utilisation plus sûre dans les applications d'assistance au code. Les modèles sont des transformateurs auto-régressifs qui prennent des entrées textuelles et produisent des sorties textuelles, entraînés par Meta entre janvier et juillet 2023 sur un ensemble de données fixe et hors ligne ; ce sont des versions statiques plutôt que des mises à jour continues. Les capacités documentées des modèles incluent la complétion de code, le remplissage, l'interaction par instruction et chat, et la spécialisation Python, avec une couverture linguistique incluant Python, C++, Java, PHP, TypeScript (JavaScript), C# et Bash.
Cette organisation Hugging Face emballe les modèles au format Transformers pour un chargement facile avec les bibliothèques transformers et accelerate ; le propre dépôt officiel de Meta est hébergé séparément sous son organisation Meta Llama. Avant de télécharger, les modèles peuvent être essayés via des démos hébergées : le Code Llama Playground pour le modèle de base 13B, Code Llama Chat pour le modèle ajusté aux instructions 13B, et une version ajustée aux instructions 34B disponible via Hugging Chat.
Code Llama et ses variantes sont sous licence de la licence commerciale personnalisée de Meta et sont destinés à un usage commercial et de recherche en anglais et dans les langages de programmation pris en charge ; une utilisation en dehors de ce cadre, ou en violation de la politique d'utilisation acceptable de Meta, est hors du champ d'application de la licence.
Code Llama s'adresse aux développeurs et chercheurs construisant des applications de génération de code, de complétion ou d'assistance au codage qui souhaitent une alternative ouverte et auto-hébergée à une API de génération de code fermée.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Points forts de Code Llama
Génération de code et explication en langage naturel du code à partir de requêtes
Complétion de code et remplissage basé sur le contexte environnant
Variantes Instruct suivant les instructions pour une assistance au codage de style chat
Variantes spécialisées pour Python ajustées spécifiquement pour ce langage
Disponible en tailles de paramètres 7B, 13B, 34B et 70B
Couvre Python, C++, Java, PHP, TypeScript/JavaScript, C#, Bash et plus
Distribué sous forme de points de contrôle au format Hugging Face Transformers pour chaque taille et variante
Démos hébergées (Playground, Chat, Hugging Chat) pour essayer les modèles avant de les télécharger
Premiers pas avec Code Llama
Choisir une taille et une variante : Choisissez une taille de paramètre (7B, 13B, 34B ou 70B) et une variante (de base, Python ou Instruct) pour votre tâche.
Installer la bibliothèque : Installez les packages transformers et accelerate de Hugging Face.
Charger le modèle : Téléchargez le point de contrôle codellama/* choisi depuis Hugging Face.
Essayez d'abord une démo : Testez le Code Llama Playground, Code Llama Chat ou la démo Hugging Chat avant de déployer le vôtre.
Interroger le modèle : Demandez une génération de code, une complétion, un remplissage ou une explication en langage naturel.
Vérifiez la licence : Consultez la licence commerciale de Meta et la politique d'utilisation acceptable avant une utilisation en production.
Cas d'utilisation de Code Llama
- Génération de code
- Complétion et remplissage de code
- Assistance au codage par chat
- Développement spécifique à Python
