Jina Embeddings v3

Deskripsi

Jina Embeddings v3 adalah model embedding teks multibahasa yang canggih yang dikembangkan oleh Jina AI. Model ini dirancang untuk memenuhi berbagai aplikasi pemrosesan bahasa alami (NLP). Model ini didasarkan pada arsitektur Jina-XLM-RoBERTa dan menggabungkan Rotary Position Embeddings (RoPE), yang memungkinkannya menangani urutan input panjang hingga 8192 token. Kemampuan ini sangat bermanfaat untuk aplikasi yang memerlukan pemrosesan teks yang luas.

Model ini memiliki lima adaptor LoRA, yang memungkinkan generasi embedding spesifik tugas secara efisien. Pengguna dapat menyesuaikan embedding untuk berbagai tugas, termasuk kueri pengambilan, embedding pasal, pengelompokan, klasifikasi, dan pencocokan teks. Fleksibilitas ini membuat Jina Embeddings v3 cocok untuk tugas pengambilan asimetris, aplikasi pengelompokan dan peringkat ulang, tugas klasifikasi, dan tugas yang mengukur kesamaan teks.

Jina Embeddings v3 mendukung Matryoshka Embeddings, menawarkan ukuran embedding yang fleksibel mulai dari 32 hingga 1024. Fitur ini memungkinkan pengguna untuk memotong embedding agar sesuai dengan kebutuhan aplikasi tertentu. Model ini telah disetel untuk 30 bahasa, termasuk Arab, Cina, Inggris, Prancis, Jerman, Hindi, Jepang, Korea, dan Spanyol, di antara bahasa lainnya.

Pembaruan penting dalam model ini adalah penyelesaian bug dalam fungsi encode, yang memastikan normalisasi embedding yang dipotong secara konsisten. Pengguna disarankan untuk menerapkan mean pooling saat mengintegrasikan model, karena pendekatan ini menghasilkan embedding kalimat berkualitas tinggi. Model ini dapat digunakan melalui Jina Embedding API atau langsung melalui paket Transformers.

Jina Embeddings v3 kompatibel dengan GPU yang mendukung FlashAttention-2, seperti GPU Ampere, Ada, atau Hopper. Model ini dilisensikan di bawah CC BY-NC 4.0, dengan pertanyaan penggunaan komersial diarahkan ke Jina AI. Model ini telah melihat penggunaan yang signifikan, dengan lebih dari 2 juta unduhan bulan lalu, dan terdaftar di platform AWS dan Azure.

Sorotan Jina Embeddings v3

• Dukungan multibahasa untuk 30 bahasa

• Panjang urutan yang diperpanjang hingga 8192 token

• Embedding spesifik tugas dengan adaptor LoRA

• Matryoshka Embeddings untuk ukuran yang fleksibel

• Mean pooling untuk embedding kalimat berkualitas tinggi

• Kompatibilitas dengan GPU FlashAttention-2

• Dukungan fine-tuning dengan SentenceTransformerTrainer

• Inferensi ONNX untuk pemrosesan yang efisien

• Perbaikan bug untuk normalisasi fungsi encode

• Lisensi CC BY-NC 4.0

Memulai dengan Jina Embeddings v3

1. 1

   Akses halaman: Kunjungi huggingface.co/jinaai/jina-embeddings-v3

2. 2

   Muat model: Gunakan AutoModel.from_pretrained

3. 3

   Konfigurasi lingkungan: Pastikan kompatibilitas GPU

4. 4

   Integrasi: Terapkan mean pooling untuk embedding

5. 5

   Fine-tune: Gunakan SentenceTransformerTrainer untuk tugas

Kasus Penggunaan Jina Embeddings v3

• Pengambilan Teks
• Klasifikasi Teks
• Pengelompokan
• Pencocokan Teks
• Pemrosesan Multibahasa

FAQ dari Jina Embeddings v3

• Apa yang digunakan Jina Embeddings v3?

  Jina Embeddings v3 digunakan untuk embedding teks multibahasa di berbagai tugas NLP, termasuk pengambilan, klasifikasi, dan pencocokan teks.

• Bagaimana Jina Embeddings v3 menangani urutan input panjang?

  Model ini menggunakan Rotary Position Embeddings untuk memproses urutan input hingga 8192 token.

• Apakah Jina Embeddings v3 dapat di-fine-tune?

  Ya, model ini mendukung fine-tuning dengan SentenceTransformerTrainer untuk tugas tertentu.

• Bahasa apa saja yang didukung oleh Jina Embeddings v3?

  Model ini mendukung 30 bahasa, termasuk Inggris, Cina, Arab, dan Spanyol.

• Apa itu fitur Matryoshka Embeddings?

  Fitur ini memungkinkan ukuran embedding yang fleksibel, memungkinkan pemotongan untuk memenuhi kebutuhan aplikasi.

• Apakah Jina Embeddings v3 kompatibel dengan semua GPU?

  Model ini kompatibel dengan GPU yang mendukung FlashAttention-2, seperti GPU Ampere, Ada, atau Hopper.

• Lisensi apa yang digunakan Jina Embeddings v3?

  Model ini dilisensikan di bawah CC BY-NC 4.0.

• Bagaimana cara mengintegrasikan Jina Embeddings v3?

  Anda dapat mengintegrasikannya menggunakan mean pooling untuk embedding kalimat berkualitas tinggi.