Description
Le modèle google/bigbird-roberta-base est une architecture de transformeur avancée conçue pour surmonter les limitations de longueur de séquence des modèles BERT traditionnels. Il y parvient grâce à un nouveau mécanisme d'attention éparse par blocs, qui lui permet de traiter des séquences beaucoup plus longues, jusqu'à 4096 jetons, avec un coût computationnel considérablement réduit par rapport aux mécanismes d'attention standard.
Lire la suite
Ce modèle a été pré-entraîné sur un corpus diversifié de langue anglaise, incluant Books, CC-News, Stories et Wikipedia, en utilisant un objectif de modélisation du langage masqué (MLM). Il utilise le même vocabulaire sentencepiece que RoBERTa, qui a été initialement emprunté à GPT2. La procédure d'entraînement a impliqué la division des documents de plus de 4096 jetons et la concaténation des documents plus courts, avec 15 % des jetons masqués pour la prédiction, et le modèle a été démarré à partir du checkpoint de RoBERTa.
L'attention éparse de BigBird est théoriquement comprise comme gérant les capacités d'un transformeur complet tout en étant plus efficace. Cela le rend particulièrement efficace pour les tâches impliquant des contextes très longs, tels que la résumé de longs documents et la réponse aux questions avec des entrées textuelles étendues. L'équipe Hugging Face a fourni une carte de modèle pour ce modèle, car l'équipe de publication originale ne l'a pas fait.
Les utilisateurs peuvent intégrer ce modèle dans leurs flux de travail PyTorch en utilisant la bibliothèque transformers de Hugging Face. Le modèle peut être instancié dans son mode éparse par blocs par défaut ou configuré avec une attention complète. Des options de personnalisation pour la taille des blocs et le nombre de blocs aléatoires sont également disponibles, permettant un fine-tuning de son mécanisme d'attention pour des besoins computationnels et de performance spécifiques. L'architecture et les capacités du modèle en font un outil puissant pour les chercheurs et les développeurs travaillant avec des données textuelles de longue forme.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de google/bigbird-roberta-base
Architecture de transformeur étendue pour des séquences plus longues
Mécanisme d'attention éparse par blocs
Gère des séquences jusqu'à 4096 jetons
Pré-entraîné sur des données en langue anglaise
Objectif de modélisation du langage masqué (MLM)
Atteint des résultats de pointe sur des tâches de longues séquences
Calcul efficace par rapport à l'attention standard
Démarré à partir du checkpoint RoBERTa
Types d'attention personnalisables (éparse par blocs, complète)
Taille de bloc et nombre de blocs aléatoires ajustables
Premiers pas avec google/bigbird-roberta-base
Accéder au modèle : Importer BigBirdModel depuis la bibliothèque transformers.
Configurer l'environnement : S'assurer que PyTorch est installé.
Instancier le modèle : Charger le checkpoint 'google/bigbird-roberta-base'.
Configurer l'attention : Spécifier optionnellement 'attention_type', 'block_size' et 'num_random_blocks'.
Tokeniser le texte : Utiliser un tokenizer pour préparer le texte d'entrée.
Générer la sortie : Passer l'entrée encodée au modèle pour l'extraction de caractéristiques.
Cas d'utilisation de google/bigbird-roberta-base
- Résumé de longs documents
- QA avec contexte étendu
- Analyse de texte
- Extraction d'informations
- Compréhension de documents
