Descripción
pplx-embed-v2-context-9b-preview es un modelo de incrustación contextual diseñado específicamente para su uso en sistemas de generación aumentada por recuperación (RAG). Este modelo procesa documentos dividiéndolos en fragmentos y codificando estos fragmentos juntos. Las incrustaciones resultantes reflejan el contexto de cada fragmento, proporcionando una representación más matizada. Esta es una versión de vista previa, y los usuarios deben ser conscientes de que los pesos, las incrustaciones y la interfaz pueden cambiar en versiones futuras, lo que podría afectar la compatibilidad hacia atrás.
Leer más
El modelo emplea diferentes métodos de codificación para consultas y documentos, utilizando encode_queries para consultas y encode para fragmentos de documentos. Es importante señalar que codificar consultas con el método de documento puede degradar la calidad de recuperación. El modelo produce incrustaciones cuantificadas en int8 no normalizadas, que se pueden comparar utilizando similitud coseno o normalizadas para comparación de producto punto.
El modelo pplx-embed-v2-context-9b-preview requiere dependencias específicas, incluyendo transformers versión 5.4.0 o superior, torch, numpy, safetensors y tqdm. Utiliza código personalizado, lo que requiere el uso de trust_remote_code=True al cargar el modelo. Los usuarios pueden ajustar varias opciones como el tamaño del lote, la normalización de las incrustaciones, la conversión a matrices NumPy y la asignación de dispositivos.
El modelo fue entrenado con pérdidas de Matryoshka en dimensiones de 1024 y 2048, lo que permite flexibilidad en el tamaño de la incrustación. Sin embargo, solo se entrenaron las dimensiones 1024 y 2048, y no se admiten otros tamaños de truncamiento. Este modelo es ideal para desarrolladores e investigadores que trabajan con sistemas RAG que requieren incrustaciones contextuales para el procesamiento de documentos.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Aspectos destacados de pplx-embed-v2-context-9b-preview
Modelo de incrustación contextual
Soporta sistemas RAG
Codifica fragmentos de documentos
Produce incrustaciones cuantificadas en int8
Codificación separada para consultas y documentos
Soporte para código personalizado
Entrenamiento con pérdida de Matryoshka
Dimensiones: 1024 y 2048
Primeros pasos con pplx-embed-v2-context-9b-preview
Acceder al modelo: Visita Hugging Face
Autenticarse: Usa tus credenciales
Configurar el entorno: Instalar dependencias
Integrar a través de API: Usar encode y encode_queries
Optimizar: Ajustar tamaño del lote y normalización
Casos de uso de pplx-embed-v2-context-9b-preview
- Fragmentación de Documentos
- Codificación de Consultas
- Análisis Contextual
- Integración de Sistemas RAG
- Comparación de Incrustaciones
