Beschreibung
Das BERT (Bidirectional Encoder Representations from Transformers)-Projekt stellt vortrainierte Modelle für Aufgaben der natürlichen Sprachverarbeitung bereit. Zu seinen Angeboten gehören mehrsprachige Modelle, die für eine Vielzahl von Sprachen entwickelt wurden und sprachübergreifendes Verständnis und Anwendungen ermöglichen. Derzeit sind zwei primäre mehrsprachige Modelle verfügbar: BERT-Base, Multilingual Cased (Neu, empfohlen) und BERT-Base, Multilingual Uncased (Orig, nicht empfohlen).
Weiterlesen
Das BERT-Base, Multilingual Cased-Modell unterstützt 104 Sprachen und verfügt über eine 12-Schichten-Architektur mit 768 Hidden Units, 12 Attention Heads und 110 Millionen Parametern. Dieses Modell wird aufgrund seiner verbesserten Normalisierung für viele Sprachen, insbesondere für solche mit nicht-lateinischen Alphabeten, empfohlen. Bei der Verwendung dieses Modells ist es entscheidend, `--do_lower_case=false` in den Ausführungsskripten zu setzen. Das Multilingual Uncased-Modell, das 102 Sprachen mit der gleichen Architektur unterstützt, wird für neue Projekte nicht empfohlen.
Für chinesische Sprachaufgaben ist auch ein dediziertes BERT-Base, Chinese-Modell verfügbar, das vereinfachtes und traditionelles Chinesisch unterstützt. Obwohl die mehrsprachigen Modelle Chinesisch enthalten, kann ein reines Chinesisch-Modell für die chinesisch-spezifische Feinabstimmung bessere Ergebnisse liefern. Die Leistung dieser Modelle wurde auf dem XNLI-Datensatz, einer sprachübergreifenden Aufgabe zur Schlussfolgerung natürlicher Sprache, bewertet. Die Ergebnisse deuten darauf hin, dass einzelne Sprachmodelle für Sprachen mit vielen Ressourcen mehrsprachigen Modellen überlegen sein mögen, aber letztere eine praktische Lösung für eine breite Sprachabdeckung bieten, ohne dass zahlreiche einzelne Sprachmodelle gepflegt werden müssen.
Die Feinabstimmung der mehrsprachigen BERT-Modelle erfordert keine wesentlichen API-Änderungen. Möglicherweise sind jedoch Aktualisierungen des `BasicTokenizer` für die Tokenisierung chinesischer Zeichen erforderlich. Die Modelle können mithilfe bereitgestellter Skripte wie `run_classifier.py`, das zur Unterstützung von Datensätzen wie XNLI aktualisiert wurde, in Arbeitsabläufe integriert werden. Die Datenstichprobenstrategie für das Vortraining umfasste eine exponentiell geglättete Gewichtung von Wikipedia-Daten, um Sprachen mit vielen und wenigen Ressourcen auszugleichen und eine bessere Darstellung für alle zu gewährleisten. Die Tokenisierung verwendet ein gemeinsames WordPiece-Vokabular mit spezifischer Behandlung für CJK-Sprachen, um das Fehlen von Leerzeichen zu berücksichtigen. Das mehrsprachige Modell lässt bewusst Sprachmarker weg, um Zero-Shot-Lernfähigkeiten zu ermöglichen.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
BERT Multilinguale Modelle im Überblick
Unterstützt 104 Sprachen (Multilingual Cased)
Unterstützt 102 Sprachen (Multilingual Uncased)
12-Schichten-Transformer-Architektur
768 Hidden Units
12 Attention Heads
110 Millionen Parameter
Multilingual Cased-Modell empfohlen für verbesserte Normalisierung
Zero-Shot-Lernfähigkeit
Unterstützung für Feinabstimmung für spezifische Aufgaben
Vortrainiert auf Wikipedia-Daten
Gemeinsames WordPiece-Vokabular
Verarbeitet CJK-Sprachen mit Zeichen-Tokenisierung
Open-Source TensorFlow-Code verfügbar
Erste Schritte mit BERT Multilinguale Modelle
Modellzugriff: Laden Sie vortrainierte mehrsprachige BERT-Modelle herunter.
Umgebung einrichten: Installieren Sie TensorFlow und notwendige Abhängigkeiten.
Integration über API: Laden Sie Modelle und Tokenizer mit bereitgestellten Bibliotheken.
Daten vorbereiten: Formatieren Sie Ihre mehrsprachigen Textdaten für Training oder Inferenz.
Feinabstimmung: Passen Sie das Modell an spezifische Downstream-Aufgaben wie Klassifizierung oder Fragebeantwortung an.
Inferenz ausführen: Verwenden Sie das feinabgestimmte Modell zur Verarbeitung neuer Textdaten.
Leistung bewerten: Beurteilen Sie die Modellgenauigkeit auf relevanten mehrsprachigen Benchmarks.
BERT Multilinguale Modelle's Anwendungsfälle
- Sprachübergreifende Klassifizierung
- Mehrsprachige Sentiment-Analyse
- Zero-Shot sprachübergreifende Übertragung
- Bewertung maschineller Übersetzung
- Mehrsprachige Fragebeantwortung
- Sprachübergreifende Informationssuche
- Schlussfolgerung natürlicher Sprache
