Description
SpanBERT est un modèle d'IA avancé développé par Facebook Research, conçu pour améliorer les techniques de pré-entraînement en se concentrant sur la représentation et la prédiction de segments de texte. Ce dépôt fournit le code et les modèles nécessaires aux chercheurs et aux développeurs pour utiliser et évaluer les capacités de SpanBERT.
Lire la suite
Le projet propose des modèles pré-entraînés en versions de base et large, avec casse. Ces modèles partagent la même configuration que BERT mais intègrent des schémas de masquage et des objectifs d'entraînement distincts, comme détaillé dans l'article associé. Le modèle SpanBERT (base & avec casse) présente une architecture à 12 couches avec 768 unités cachées et 12 têtes, totalisant 110 millions de paramètres. Le modèle SpanBERT plus grand (large & avec casse) dispose d'une architecture à 24 couches, 1024 unités cachées, 16 têtes et 340 millions de paramètres. Ces modèles sont conçus pour une intégration transparente, adoptant le format des modèles BERT de HuggingFace, permettant une substitution aisée.
Ce dépôt comprend un code complet pour le fine-tuning de SpanBERT sur une variété de tâches de traitement automatique du langage naturel (NLP). Des scripts spécifiques sont fournis pour le fine-tuning sur les jeux de données de réponse aux questions SQuAD 1.1 et SQuAD 2.0, TACRED pour l'extraction de relations, et les benchmarks MRQA qui englobent des jeux de données tels que NewsQA, TriviaQA, SearchQA, HotpotQA et NaturalQuestions. De plus, le code pour le fine-tuning sur les tâches GLUE, comme RTE, est disponible. Pour les tâches de résolution de coréférences, une implémentation TensorFlow distincte est liée.
Des benchmarks de performance sont présentés, démontrant les résultats supérieurs de SpanBERT par rapport à BERT sur les jeux de données SQuAD 1.1, SQuAD 2.0, Coref et TACRED. Par exemple, SpanBERT (large) atteint un score F1 de 94,6 sur SQuAD 1.1 et 88,7 sur SQuAD 2.0, surpassant BERT (large). Le projet facilite également le téléchargement de modèles fine-tunés pour des tâches en aval, simplifiant le processus d'adoption pour les utilisateurs.
SpanBERT est publié sous la licence CC-BY-NC 4.0, qui s'applique au code et aux modèles pré-entraînés. Cela le rend accessible pour la recherche et le développement non commerciaux. Le dépôt encourage les contributions et fournit des informations de contact pour les demandes et le support.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud, Auto-hébergé
- PlateformesWeb
Fonctionnalités principales de SpanBERT
Modèles SpanBERT pré-entraînés (base et large, avec casse)
Code pour utiliser et évaluer SpanBERT
Scripts de fine-tuning pour SQuAD 1.1 et SQuAD 2.0
Scripts de fine-tuning pour l'extraction de relations TACRED
Scripts de fine-tuning pour les jeux de données MRQA (NewsQA, TriviaQA, etc.)
Scripts de fine-tuning pour les tâches GLUE (RTE)
Compatibilité avec les formats de modèles BERT de HuggingFace
Code de fine-tuning pour la résolution de coréférences disponible
Benchmarks de performance par rapport à BERT
Modèles fine-tunés téléchargeables pour les tâches en aval
Implémentation de l'article SpanBERT : Improving Pre-training by Representing and Predicting Spans
Premiers pas avec SpanBERT
Accéder au code : Cloner le dépôt GitHub de SpanBERT.
Configurer l'environnement : Installer les dépendances requises, y compris Apex (un commit spécifique est recommandé).
Charger les modèles pré-entraînés : Utiliser les scripts fournis pour charger les modèles SpanBERT de base ou large avec casse.
Fine-tuner les modèles : Exécuter les scripts Python fournis pour des tâches telles que SQuAD, TACRED, MRQA ou GLUE.
Intégrer via API : Adapter l'utilisation du modèle pour des applications personnalisées, en tirant parti de la compatibilité HuggingFace.
Évaluer les performances : Exécuter les scripts d'évaluation pour mesurer les performances du modèle sur des tâches NLP spécifiques.
Télécharger les modèles fine-tunés : Utiliser les scripts fournis pour obtenir les modèles pré-entraînés pour les tâches en aval.
Cas d'utilisation de SpanBERT
- Réponse aux questions
- Extraction de relations
- Résolution de coréférences
- Compréhension du langage naturel
- Prédiction de segments de texte
- Recherche et développement
- Évaluation de benchmarks
