Beschreibung
Jina Embeddings v3 ist ein ausgeklügeltes mehrsprachiges Text-Einbettungsmodell, das von Jina AI entwickelt wurde. Es wurde entwickelt, um eine breite Palette von Anwendungen der natürlichen Sprachverarbeitung (NLP) abzudecken. Das Modell basiert auf der Jina-XLM-RoBERTa-Architektur und integriert Rotary Position Embeddings (RoPE), wodurch es in der Lage ist, lange Eingabesequenzen von bis zu 8192 Tokens zu verarbeiten. Diese Fähigkeit ist besonders vorteilhaft für Anwendungen, die umfangreiche Textverarbeitung erfordern.
Das Modell verfügt über fünf LoRA-Adapter, die eine effiziente Generierung von aufgabenspezifischen Einbettungen ermöglichen. Benutzer können Einbettungen für verschiedene Aufgaben anpassen, einschließlich Abrufanfragen, Passageeinbettungen, Clustering, Klassifizierung und Textabgleich. Diese Flexibilität macht Jina Embeddings v3 geeignet für asymmetrische Abrufaufgaben, Clustering- und Re-Ranking-Anwendungen, Klassifizierungsaufgaben und Aufgaben, die die Ähnlichkeit von Texten quantifizieren.
Jina Embeddings v3 unterstützt Matryoshka-Einbettungen und bietet flexible Einbettungsgrößen von 32 bis 1024. Diese Funktion ermöglicht es Benutzern, Einbettungen zu kürzen, um spezifischen Anwendungsbedürfnissen gerecht zu werden. Das Modell ist für 30 Sprachen optimiert, darunter Arabisch, Chinesisch, Englisch, Französisch, Deutsch, Hindi, Japanisch, Koreanisch und Spanisch.
Ein bemerkenswertes Update im Modell ist die Behebung eines Fehlers in der Encode-Funktion, die eine konsistente Normalisierung der gekürzten Einbettungen gewährleistet. Benutzern wird geraten, Mean Pooling anzuwenden, wenn sie das Modell integrieren, da dieser Ansatz hochwertige Satz-Einbettungen liefert. Das Modell kann über die Jina Embedding API oder direkt über das Transformers-Paket verwendet werden.
Jina Embeddings v3 ist kompatibel mit GPUs, die FlashAttention-2 unterstützen, wie Ampere-, Ada- oder Hopper-GPUs. Es ist unter CC BY-NC 4.0 lizenziert, wobei kommerzielle Nutzungsanfragen an Jina AI gerichtet werden. Das Modell hat eine signifikante Nutzung erfahren, mit über 2 Millionen Downloads im letzten Monat, und ist auf den Plattformen AWS und Azure gelistet.
Jina Embeddings v3 im Überblick
Mehrsprachige Unterstützung für 30 Sprachen
Erweiterte Sequenzlänge von bis zu 8192 Tokens
Aufgabenspezifische Einbettungen mit LoRA-Adaptern
Matryoshka-Einbettungen für flexible Größen
Mean Pooling für hochwertige Satz-Einbettungen
Kompatibilität mit FlashAttention-2 GPUs
Unterstützung für Fine-Tuning mit SentenceTransformerTrainer
ONNX-Inferenz für effiziente Verarbeitung
Fehlerbehebung für die Normalisierung der Encode-Funktion
Lizenz CC BY-NC 4.0
Erste Schritte mit Jina Embeddings v3
Zugriffsseite: Besuchen Sie huggingface.co/jinaai/jina-embeddings-v3
Modell laden: Verwenden Sie AutoModel.from_pretrained
Umgebung konfigurieren: Stellen Sie die GPU-Kompatibilität sicher
Integrieren: Wenden Sie Mean Pooling für Einbettungen an
Fine-Tuning: Verwenden Sie SentenceTransformerTrainer für Aufgaben
Jina Embeddings v3's Anwendungsfälle
- Textabruf
- Textklassifizierung
- Clustering
- Textabgleich
- Mehrsprachige Verarbeitung
