Description
pplx-embed-v2-context-9b-preview est un modèle d'incorporation contextuelle spécifiquement conçu pour une utilisation dans des systèmes de génération augmentée par récupération (RAG). Ce modèle traite les documents en les divisant en morceaux et en encodant ces morceaux ensemble. Les incorporations résultantes reflètent le contexte de chaque morceau, fournissant une représentation plus nuancée. Il s'agit d'une version de prévisualisation, et les utilisateurs doivent être conscients que les poids, les incorporations et l'interface peuvent changer dans les versions futures, ce qui pourrait affecter la compatibilité descendante.
Lire la suite
Le modèle utilise différentes méthodes d'encodage pour les requêtes et les documents, en utilisant encode_queries pour les requêtes et encode pour les morceaux de documents. Il est important de noter que l'encodage des requêtes avec la méthode de document peut dégrader la qualité de récupération. Le modèle produit des incorporations quantifiées int8 non normalisées, qui peuvent être comparées à l'aide de la similarité cosinus ou normalisées pour une comparaison par produit scalaire.
Le modèle pplx-embed-v2-context-9b-preview nécessite des dépendances spécifiques, y compris transformers version 5.4.0 ou supérieure, torch, numpy, safetensors et tqdm. Il utilise un code personnalisé, nécessitant l'utilisation de trust_remote_code=True lors du chargement du modèle. Les utilisateurs peuvent ajuster diverses options telles que la taille de lot, la normalisation des incorporations, la conversion en tableaux NumPy et l'allocation de périphériques.
Le modèle a été entraîné avec des pertes Matryoshka à des dimensions de 1024 et 2048, permettant une flexibilité dans la taille des incorporations. Cependant, seules les dimensions 1024 et 2048 ont été entraînées, et d'autres tailles de troncation ne sont pas prises en charge. Ce modèle est idéal pour les développeurs et les chercheurs travaillant avec des systèmes RAG qui nécessitent des incorporations contextuelles pour le traitement des documents.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de pplx-embed-v2-context-9b-preview
Modèle d'incorporation contextuelle
Prend en charge les systèmes RAG
Encode les morceaux de documents
Produit des incorporations quantifiées int8
Encodage séparé pour les requêtes et les documents
Support de code personnalisé
Entraînement par perte Matryoshka
Dimensions : 1024 et 2048
Premiers pas avec pplx-embed-v2-context-9b-preview
Accéder au modèle : Visitez Hugging Face
Authentifier : Utilisez vos identifiants
Configurer l'environnement : Installer les dépendances
Intégrer via API : Utilisez encode et encode_queries
Optimiser : Ajustez la taille de lot et la normalisation
Cas d'utilisation de pplx-embed-v2-context-9b-preview
- Découpage de documents
- Encodage de requêtes
- Analyse contextuelle
- Intégration dans un système RAG
- Comparaison d'incorporations
