Deskripsi
pplx-embed-v2-context-9b-preview adalah model embedding kontekstual yang dirancang khusus untuk digunakan dalam sistem generasi yang ditingkatkan dengan pengambilan (RAG). Model ini memproses dokumen dengan membaginya menjadi potongan-potongan dan mengkodekan potongan-potongan ini bersama-sama. Embedding yang dihasilkan mencerminkan konteks dari setiap potongan, memberikan representasi yang lebih nuansa. Ini adalah rilis prabaca, dan pengguna harus menyadari bahwa bobot, embedding, dan antarmuka dapat berubah di versi mendatang, yang mungkin mempengaruhi kompatibilitas mundur.
Baca Selengkapnya
Model ini menggunakan metode pengkodean yang berbeda untuk kueri dan dokumen, menggunakan encode_queries untuk kueri dan encode untuk potongan dokumen. Penting untuk dicatat bahwa mengkodekan kueri dengan metode dokumen dapat menurunkan kualitas pengambilan. Model ini menghasilkan embedding yang terkuantisasi int8 yang tidak dinormalisasi, yang dapat dibandingkan menggunakan kesamaan kosinus atau dinormalisasi untuk perbandingan produk titik.
Model pplx-embed-v2-context-9b-preview memerlukan ketergantungan tertentu, termasuk transformers versi 5.4.0 atau lebih tinggi, torch, numpy, safetensors, dan tqdm. Model ini menggunakan kode kustom, yang memerlukan penggunaan trust_remote_code=True saat memuat model. Pengguna dapat menyesuaikan berbagai opsi seperti ukuran batch, normalisasi embedding, konversi ke array NumPy, dan alokasi perangkat.
Model ini dilatih dengan kerugian Matryoshka pada dimensi 1024 dan 2048, memungkinkan fleksibilitas dalam ukuran embedding. Namun, hanya dimensi 1024 dan 2048 yang dilatih, dan ukuran pemotongan lainnya tidak didukung. Model ini ideal untuk pengembang dan peneliti yang bekerja dengan sistem RAG yang memerlukan embedding kontekstual untuk pemrosesan dokumen.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan pplx-embed-v2-context-9b-preview
Model embedding kontekstual
Mendukung sistem RAG
Mengkodekan potongan dokumen
Menghasilkan embedding terkuantisasi int8
Pengkodean terpisah untuk kueri dan dokumen
Dukungan kode kustom
Pelatihan kerugian Matryoshka
Dimensi: 1024 dan 2048
Memulai dengan pplx-embed-v2-context-9b-preview
Akses model: Kunjungi Hugging Face
Autentikasi: Gunakan kredensial Anda
Siapkan lingkungan: Instal ketergantungan
Integrasi melalui API: Gunakan encode dan encode_queries
Optimalkan: Sesuaikan ukuran batch dan normalisasi
Kasus Penggunaan pplx-embed-v2-context-9b-preview
- Pemotongan Dokumen
- Pengkodean Kueri
- Analisis Kontekstual
- Integrasi Sistem RAG
- Perbandingan Embedding
