Descrição
pplx-embed-v2-context-9b-preview é um modelo de incorporação contextual especificamente projetado para uso em sistemas de geração aumentada por recuperação (RAG). Este modelo processa documentos dividindo-os em fragmentos e codificando esses fragmentos juntos. As incorporações resultantes refletem o contexto de cada fragmento, proporcionando uma representação mais sutil. Esta é uma versão de pré-visualização, e os usuários devem estar cientes de que pesos, incorporações e a interface podem mudar em versões futuras, potencialmente afetando a compatibilidade retroativa.
Ler mais
O modelo emprega diferentes métodos de codificação para consultas e documentos, utilizando encode_queries para consultas e encode para fragmentos de documentos. É importante notar que codificar consultas com o método de documento pode degradar a qualidade da recuperação. O modelo produz incorporações quantizadas em int8 não normalizadas, que podem ser comparadas usando similaridade cosseno ou normalizadas para comparação de produto escalar.
O modelo pplx-embed-v2-context-9b-preview requer dependências específicas, incluindo transformers versão 5.4.0 ou superior, torch, numpy, safetensors e tqdm. Ele utiliza código personalizado, necessitando do uso de trust_remote_code=True ao carregar o modelo. Os usuários podem ajustar várias opções, como tamanho do lote, normalização das incorporações, conversão para arrays NumPy e alocação de dispositivos.
O modelo foi treinado com perdas Matryoshka em dimensões de 1024 e 2048, permitindo flexibilidade no tamanho da incorporação. No entanto, apenas as dimensões 1024 e 2048 foram treinadas, e outros tamanhos de truncamento não são suportados. Este modelo é ideal para desenvolvedores e pesquisadores que trabalham com sistemas RAG que requerem incorporações contextuais para processamento de documentos.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de pplx-embed-v2-context-9b-preview
Modelo de incorporação contextual
Suporta sistemas RAG
Codifica fragmentos de documentos
Produz incorporações quantizadas em int8
Codificação separada para consultas e documentos
Suporte a código personalizado
Treinamento com perda Matryoshka
Dimensões: 1024 e 2048
Primeiros passos com pplx-embed-v2-context-9b-preview
Acessar modelo: Visite Hugging Face
Autenticar: Use suas credenciais
Configurar ambiente: Instale dependências
Integrar via API: Use encode e encode_queries
Otimizar: Ajuste o tamanho do lote e a normalização
Casos de uso de pplx-embed-v2-context-9b-preview
- Fragmentação de Documentos
- Codificação de Consultas
- Análise Contextual
- Integração com Sistemas RAG
- Comparação de Incorporações
