Description
EmbeddingGemma 2 est un modèle d'embedding multimodal avancé créé par Google DeepMind. Il intègre des entrées de texte, d'images, de vidéo et d'audio dans un espace vectoriel unique de 768 dimensions, ce qui le rend adapté à diverses applications telles que la recherche, la classification et le clustering.
Lire la suite
Le modèle comprend 740 millions de paramètres, dont un backbone textuel de 270 millions de paramètres et des encodeurs de vision et d'audio modulaires.
Conçu pour fonctionner efficacement sur du matériel grand public, EmbeddingGemma 2 fournit des représentations sémantiques à faible latence pour des applications sur appareil. Il prend en charge plus de 100 langues et montre une amélioration de 14 % des tâches de code par rapport à son prédécesseur. Le modèle dispose de l'apprentissage de représentation Matryoshka, permettant des embeddings tronqués pour réduire les coûts de stockage tout en maintenant la qualité.
EmbeddingGemma 2 offre une empreinte flexible, permettant aux développeurs de charger uniquement les modalités nécessaires à leur cas d'utilisation. Il prend en charge une fenêtre contextuelle de 8 192 tokens, capable de traiter un contenu audio ou vidéo étendu. Le modèle utilise des représentations orientées tâches, optimisant les embeddings pour diverses tâches grâce à des préfixes d'instructions textuelles légers.
L'architecture du modèle comprend 24 couches, une dimension cachée de 2048 et une taille de vocabulaire de 262 144. Il emploie des réseaux feedforward à portes avec activation GELU et pooling moyen. EmbeddingGemma 2 a été évalué sur plusieurs benchmarks, montrant des améliorations significatives dans les tâches d'embedding de texte, de code, d'image, de vidéo et d'audio.
Bien qu'EmbeddingGemma 2 soit puissant, les utilisateurs doivent être conscients de ses limitations, telles que les biais dans les données d'entraînement et les défis liés aux tâches ouvertes. Les développeurs sont encouragés à mettre en œuvre des mesures de sécurité au niveau de l'application pour garantir une utilisation responsable.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de EmbeddingGemma 2
Embedding multimodal
Prend en charge plus de 100 langues
740M de paramètres
Applications sur appareil à faible latence
Apprentissage de représentation Matryoshka
Représentations orientées tâches
Fenêtre contextuelle de 8 192 tokens
Empreinte flexible
Premiers pas avec EmbeddingGemma 2
Accéder au modèle : Visitez Hugging Face
Authentifier : Configurer l'accès à l'API
Configurer l'environnement : Installer les bibliothèques
Intégrer via l'API : Utiliser les points de terminaison du modèle
Optimiser : Appliquer des préfixes de tâches
Cas d'utilisation de EmbeddingGemma 2
- Recherche Sémantique
- Classification de Texte
- Clustering
- Similarité Sémantique
- Vérification des Faits
