Beschreibung
SpanBERT ist ein fortschrittliches KI-Modell, das von Facebook Research entwickelt wurde und darauf abzielt, Pre-Training-Techniken zu verbessern, indem es sich auf die Darstellung und Vorhersage von Textspans konzentriert. Dieses Repository stellt den notwendigen Code und die Modelle für Forscher und Entwickler zur Verfügung, um die Fähigkeiten von SpanBERT zu nutzen und zu evaluieren.
Weiterlesen
Das Projekt bietet vortrainierte Modelle in den Versionen Base und Large (cased). Diese Modelle teilen die gleiche Konfiguration wie BERT, integrieren jedoch unterschiedliche Maskierungsverfahren und Trainingsziele, wie im zugehörigen Paper detailliert beschrieben. Das SpanBERT (Base & Cased) Modell verfügt über eine 12-Schichten-Architektur mit 768 Hidden Units und 12 Heads, was insgesamt 110 Millionen Parametern entspricht. Das größere SpanBERT (Large & Cased) Modell bietet eine 24-Schichten-Architektur, 1024 Hidden Units, 16 Heads und 340 Millionen Parameter. Diese Modelle sind für eine nahtlose Integration konzipiert und übernehmen das Format von HuggingFace BERT-Modellen, was einen einfachen Austausch ermöglicht.
Dieses Repository enthält umfassenden Code für das Fine-Tuning von SpanBERT für eine Vielzahl von Natural Language Processing (NLP)-Aufgaben. Spezifische Skripte sind für das Fine-Tuning auf den Fragebeantwortungs-Datensätzen SQuAD 1.1 und SQuAD 2.0, TACRED für die Relationserkennung und MRQA-Benchmarks, die Datensätze wie NewsQA, TriviaQA, SearchQA, HotpotQA und NaturalQuestions umfassen, verfügbar. Zusätzlich ist Code für das Fine-Tuning auf GLUE-Aufgaben, wie RTE, vorhanden. Für Coreferenzlösungsaufgaben ist eine separate TensorFlow-Implementierung verlinkt.
Leistungsbenchmarks werden präsentiert und zeigen die überlegenen Ergebnisse von SpanBERT im Vergleich zu BERT auf den Datensätzen SQuAD 1.1, SQuAD 2.0, Coref und TACRED. Beispielsweise erreicht SpanBERT (Large) einen F1-Score von 94,6 auf SQuAD 1.1 und 88,7 auf SQuAD 2.0 und übertrifft damit BERT (Large). Das Projekt erleichtert auch den Download von feinabgestimmten Modellen für nachgelagerte Aufgaben und vereinfacht so den Einführungsprozess für Benutzer.
SpanBERT wird unter der CC-BY-NC 4.0 Lizenz veröffentlicht, die sowohl für den Code als auch für die vortrainierten Modelle gilt. Dies macht es für die nicht-kommerzielle Forschung und Entwicklung zugänglich. Das Repository ermutigt zu Beiträgen und stellt Kontaktinformationen für Anfragen und Support bereit.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
SpanBERT's Kernfunktionen
Vortrainierte SpanBERT-Modelle (Base und Large, Cased)
Code zur Nutzung und Evaluierung von SpanBERT
Fine-Tuning-Skripte für SQuAD 1.1 und SQuAD 2.0
Fine-Tuning-Skripte für TACRED Relationserkennung
Fine-Tuning-Skripte für MRQA-Datensätze (NewsQA, TriviaQA, etc.)
Fine-Tuning-Skripte für GLUE-Aufgaben (RTE)
Kompatibilität mit HuggingFace BERT-Modellformaten
Code für Coreferenzlösungs-Fine-Tuning verfügbar
Leistungsbenchmarks im Vergleich zu BERT
Herunterladbare feinabgestimmte Modelle für nachgelagerte Aufgaben
Implementierung des Papers "SpanBERT: Improving Pre-training by Representing and Predicting Spans"
Erste Schritte mit SpanBERT
Codezugriff: Klonen Sie das SpanBERT GitHub-Repository.
Umgebung einrichten: Installieren Sie die erforderlichen Abhängigkeiten, einschließlich Apex (spezifischer Commit empfohlen).
Vortrainierte Modelle laden: Nutzen Sie die bereitgestellten Skripte, um Base- oder Large-Cased-SpanBERT-Modelle zu laden.
Modelle feinabstimmen: Führen Sie die bereitgestellten Python-Skripte für Aufgaben wie SQuAD, TACRED, MRQA oder GLUE aus.
Integration über API: Passen Sie die Modellnutzung für benutzerdefinierte Anwendungen an und nutzen Sie die HuggingFace-Kompatibilität.
Leistung evaluieren: Führen Sie die Evaluationsskripte aus, um die Modellleistung bei spezifischen NLP-Aufgaben zu bewerten.
Feinabgestimmte Modelle herunterladen: Verwenden Sie die bereitgestellten Skripte, um vortrainierte Modelle für nachgelagerte Aufgaben zu erhalten.
SpanBERT's Anwendungsfälle
- Fragebeantwortung
- Relationserkennung
- Coreferenzlösung
- Natürliches Sprachverständnis
- Textspan-Vorhersage
- Forschung und Entwicklung
- Benchmark-Evaluierung
