Description
HuggingFaceH4/zephyr-7b-beta est un modèle linguistique de 7 milliards de paramètres, une version affinée de mistralai/Mistral-7B-v0.1. Il a été entraîné à l'aide de l'optimisation directe par préférence (DPO) sur un mélange de jeux de données publiquement disponibles et synthétiques. Cette approche, qui implique la suppression de l'alignement inhérent au jeu de données, a conduit à une amélioration des performances sur des benchmarks tels que MT-Bench et AlpacaEval, positionnant Zephyr-7B-β comme une IA conversationnelle très performante.
Lire la suite
Le modèle est principalement conçu pour les tâches en langue anglaise et est publié sous la licence MIT. Son architecture est de type GPT, et il a été affiné sur divers dialogues synthétiques générés par ChatGPT, puis aligné à l'aide du DPOTrainer de la bibliothèque 🤗 TRL sur le jeu de données openbmb/UltraFeedback. Ce jeu de données comprend 64 000 invites et les complétions de modèles correspondantes classées par GPT-4, contribuant à l'utilité du modèle.
Zephyr-7B-β démontre de solides performances, se classant comme le meilleur modèle de chat 7B sur MT-Bench et AlpacaEval lors de sa sortie. Il obtient des résultats compétitifs par rapport à des modèles ouverts plus importants comme Llama2-Chat-70B sur plusieurs catégories de MT-Bench. Cependant, les performances du modèle sur des tâches complexes telles que le codage et les mathématiques peuvent être inférieures à celles des modèles propriétaires, indiquant des domaines pour la recherche et le développement futurs.
Bien que Zephyr-7B-β soit apte aux applications de chat, il est important de noter ses limitations. Il n'a pas subi le même alignement de sécurité ou le même filtrage en boucle que des modèles comme ChatGPT, ce qui signifie qu'il peut générer du texte problématique s'il y est invité. Les utilisateurs doivent être conscients de ce potentiel de génération de sorties indésirables. La base du modèle, mistralai/Mistral-7B-v0.1, probablement entraînée sur un mélange de données web, de livres et de code, contribue à ses larges capacités.
L'intégration avec Zephyr-7B-β peut être réalisée à l'aide de la fonction `pipeline()` de la bibliothèque 🤗 Transformers. Le modèle prend en charge le templating de chat pour une entrée conversationnelle structurée. L'exemple fourni démontre comment configurer le modèle pour la génération de texte, y compris les messages système et utilisateur, et comment formater l'invite pour une interaction optimale.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de HuggingFaceH4/zephyr-7b-beta
Affiné à partir de Mistral-7B-v0.1
Entraîné à l'aide de l'optimisation directe par préférence (DPO)
Support principalement de la langue anglaise
7 milliards de paramètres
Hautes performances sur les benchmarks MT-Bench et AlpacaEval
Adapté aux applications de chat
Publication open-source sous licence MIT
Peut générer du texte problématique lorsqu'il y est invité
Prend en charge le templating de chat pour l'entrée conversationnelle
Premiers pas avec HuggingFaceH4/zephyr-7b-beta
Accéder au modèle : Charger le modèle HuggingFaceH4/zephyr-7b-beta à l'aide de la bibliothèque Transformers.
Configurer l'environnement : Installer les bibliothèques nécessaires comme transformers et accelerate.
Intégrer via API : Utiliser la fonction `pipeline()` pour les tâches de génération de texte.
Formater l'entrée : Utiliser le modèle de chat du tokenizer du modèle pour structurer les messages conversationnels.
Générer du texte : Fournir des invites formatées au pipeline pour les réponses du modèle.
Optimiser la sortie : Ajuster les paramètres de génération comme `max_new_tokens`, `temperature`, `top_k`, et `top_p`.
Cas d'utilisation de HuggingFaceH4/zephyr-7b-beta
- IA Conversationnelle
- Développement de Chatbots
- Génération de Texte
- Assistance Linguistique
- Évaluation de Benchmarks
