Description
Jina Embeddings v3 est un modèle d'embedding textuel multilingue sophistiqué développé par Jina AI. Il est conçu pour répondre à un large éventail d'applications de traitement du langage naturel (NLP). Le modèle est basé sur l'architecture Jina-XLM-RoBERTa et intègre des Rotary Position Embeddings (RoPE), lui permettant de gérer de longues séquences d'entrée allant jusqu'à 8192 tokens. Cette capacité est particulièrement bénéfique pour les applications nécessitant un traitement textuel étendu.
Le modèle dispose de cinq adaptateurs LoRA, permettant la génération efficace d'embeddings spécifiques aux tâches. Les utilisateurs peuvent personnaliser les embeddings pour diverses tâches, y compris les requêtes de récupération, les embeddings de passages, le clustering, la classification et la correspondance de texte. Cette flexibilité rend Jina Embeddings v3 adapté aux tâches de récupération asymétrique, aux applications de clustering et de re-ranking, aux tâches de classification et aux tâches qui quantifient la similarité textuelle.
Jina Embeddings v3 prend en charge les Matryoshka Embeddings, offrant des tailles d'embedding flexibles allant de 32 à 1024. Cette fonctionnalité permet aux utilisateurs de tronquer les embeddings pour répondre aux besoins spécifiques des applications. Le modèle est optimisé pour 30 langues, y compris l'arabe, le chinois, l'anglais, le français, l'allemand, l'hindi, le japonais, le coréen et l'espagnol, entre autres.
Une mise à jour notable du modèle est la résolution d'un bug dans la fonction d'encodage, garantissant une normalisation cohérente des embeddings tronqués. Les utilisateurs sont conseillés d'appliquer le mean pooling lors de l'intégration du modèle, car cette approche produit des embeddings de phrases de haute qualité. Le modèle peut être utilisé via l'API Jina Embedding ou directement via le package Transformers.
Jina Embeddings v3 est compatible avec les GPU prenant en charge FlashAttention-2, tels que les GPU Ampere, Ada ou Hopper. Il est sous licence CC BY-NC 4.0, avec les demandes d'utilisation commerciale dirigées vers Jina AI. Le modèle a connu une utilisation significative, avec plus de 2 millions de téléchargements le mois dernier, et est répertorié sur les plateformes AWS et Azure.
Points forts de Jina Embeddings v3
Support multilingue pour 30 langues
Longueur de séquence étendue jusqu'à 8192 tokens
Embeddings spécifiques aux tâches avec adaptateurs LoRA
Matryoshka Embeddings pour des tailles flexibles
Mean pooling pour des embeddings de phrases de haute qualité
Compatibilité avec les GPU FlashAttention-2
Support de fine-tuning avec SentenceTransformerTrainer
Inférence ONNX pour un traitement efficace
Correction de bug pour la normalisation de la fonction d'encodage
Licence CC BY-NC 4.0
Premiers pas avec Jina Embeddings v3
Accéder à la page : Visitez huggingface.co/jinaai/jina-embeddings-v3
Charger le modèle : Utilisez AutoModel.from_pretrained
Configurer l'environnement : Assurez-vous de la compatibilité GPU
Intégrer : Appliquez le mean pooling pour les embeddings
Fine-tuner : Utilisez SentenceTransformerTrainer pour les tâches
Cas d'utilisation de Jina Embeddings v3
- Récupération de texte
- Classification de texte
- Clustering
- Correspondance de texte
- Traitement multilingue
