Description
MetaEncoder v1 est un puissant modèle d'extraction de caractéristiques développé par Facebook, avec 28 milliards de paramètres. Hébergé sur Hugging Face, il fournit une solution robuste pour les développeurs et les chercheurs travaillant avec des types de données complexes.
Lire la suite
Le modèle est conçu pour être facile à utiliser, nécessitant `transformers>=5.15` et un GPU de 80 Go pour des performances optimales en précision bf16.
Au cœur de MetaEncoder v1 se trouvent trois fonctionnalités principales : `encode`, `retrieve` et `decide`. La fonction `encode` permet aux utilisateurs d'intégrer diverses entrées — telles que des chaînes de caractères, des images PIL ou des dictionnaires contenant du texte, des images ou des images vidéo — dans un tenseur float32 de forme (n, 6656). Ces intégrations sont normalisées L2 et peuvent être utilisées pour le stockage, le regroupement ou les tâches de comparaison. Le modèle est sensible aux instructions, ce qui signifie que la même entrée peut être intégrée différemment en fonction du contexte fourni, améliorant ainsi son adaptabilité pour des cas d'utilisation spécifiques.
La fonction `retrieve` est conçue pour classer un corpus par rapport à une requête donnée. Les utilisateurs peuvent passer une requête et un corpus (soit une liste d'éléments, soit un tenseur pré-encodé) avec des instructions optionnelles pour les deux. Elle renvoie une liste d'objets `Hit`, ordonnés du meilleur au premier, ce qui la rend idéale pour les applications de recherche et de récupération d'informations. Cette capacité est particulièrement efficace pour les grands corpus, car le corpus peut être encodé une fois et ensuite recherché plusieurs fois.
Enfin, la fonction `decide` permet au modèle de répondre à des questions de style Jev concernant un état donné. Cet état peut être une chaîne de caractères ou toute valeur JSON, éventuellement accompagnée d'images ou de vidéos. Les questions sont structurées avec des types tels que 'noul' (oui/non), 'choice' (options multiples) ou 'score' (niveaux ordonnés), chacun avec des instructions et des critères spécifiques. Le modèle fournit des réponses avec des probabilités, des scores de confiance et des similarités cosinus brutes. Une fonction `decide_batch` est également disponible pour traiter plusieurs états simultanément, et une fonctionnalité de calibration permet aux utilisateurs d'ajuster la température du modèle à leurs données spécifiques pour améliorer la précision.
Un avantage clé de MetaEncoder v1 est son formatage interne des invites, qui élimine le besoin pour les appelants d'écrire manuellement des invites. L'enveloppe garantit que les entrées sont formatées exactement comme elles l'étaient lors de l'entraînement, maintenant la cohérence et simplifiant l'intégration. Cela inclut la gestion des tours système et utilisateur, l'encodage d'images et de vidéos, et le regroupement. Pour les utilisateurs avancés, un accès direct à `modeling_metaencoder.py` est possible pour contourner l'enveloppe pour un formatage et un regroupement d'invites personnalisés, offrant flexibilité tout en tirant parti des capacités fondamentales du modèle.
- CatégorieModèles d'IA et LLM
- DéploiementCloud
- PlateformesHugging Face
Points forts de MetaEncoder v1
Modèle d'extraction de caractéristiques
28 milliards de paramètres
Intégration des entrées (encode)
Classement du corpus par rapport à la requête (retrieve)
Répondre aux questions de style Jev (decide)
Prend en charge les entrées texte, image et vidéo
Formatage interne des invites
Intégration basée sur les instructions
Traitement des décisions par lots
Calibration du modèle pour l'ajustement de la température
Intégrations normalisées L2
Aucun besoin d'écriture manuelle d'invites
Compatible avec transformers>=5.15
Nécessite un GPU de 80 Go (bf16)
Accès direct à la modélisation pour la personnalisation
Premiers pas avec MetaEncoder v1
Accéder au modèle : Naviguez vers la page facebook/meta-encoder-v1 sur Hugging Face.
Configurer l'environnement : Assurez-vous que `transformers>=5.15` est installé et qu'un GPU de 80 Go est disponible pour la précision bf16.
Intégrer des entrées : Utilisez l'appel `encode(inputs, instruction=None)` pour générer des intégrations pour le texte, les images ou la vidéo.
Récupérer des informations : Utilisez `retrieve(query, corpus, top_k=None, query_instruction=None, corpus_instruction=None)` pour classer un corpus par rapport à une requête.
Prendre des décisions : Utilisez `decide(state, questions, images=None, video=None)` pour répondre à des questions structurées concernant un état donné.
Calibrer le modèle : Pour améliorer la précision, utilisez `model.calibrate(answers, labels)` avec un ensemble de données étiquetées pour ajuster la température.
Cas d'utilisation de MetaEncoder v1
- Récupération d'informations
- Regroupement de données
- Recherche sémantique
- Systèmes de questions-réponses
- Compréhension du contenu
- Traitement de données multimodales
- Systèmes d'aide à la décision







