Jina Embeddings v3

Описание

Jina Embeddings v3 — это сложная многоязычная модель встраивания текста, разработанная компанией Jina AI. Она предназначена для удовлетворения широкого спектра приложений обработки естественного языка (NLP). Модель основана на архитектуре Jina-XLM-RoBERTa и включает в себя вращательные позиционные встраивания (RoPE), что позволяет ей обрабатывать длинные входные последовательности до 8192 токенов. Эта возможность особенно полезна для приложений, требующих обширной обработки текста.

Модель имеет пять адаптеров LoRA, что позволяет эффективно генерировать встраивания, специфичные для задач. Пользователи могут настраивать встраивания для различных задач, включая запросы на извлечение, встраивания отрывков, кластеризацию, классификацию и сопоставление текста. Эта гибкость делает Jina Embeddings v3 подходящей для асимметричных задач извлечения, приложений кластеризации и повторной сортировки, задач классификации и задач, которые количественно оценивают сходство текста.

Jina Embeddings v3 поддерживает встраивания матрешки, предлагая гибкие размеры встраиваний от 32 до 1024. Эта функция позволяет пользователям обрезать встраивания, чтобы соответствовать конкретным потребностям приложения. Модель настроена для 30 языков, включая арабский, китайский, английский, французский, немецкий, хинди, японский, корейский и испанский, среди прочих.

Значительное обновление в модели — это исправление ошибки в функции кодирования, что обеспечивает последовательную нормализацию обрезанных встраиваний. Пользователям рекомендуется применять среднее объединение при интеграции модели, так как этот подход дает высококачественные встраивания предложений. Модель можно использовать через API Jina Embedding или напрямую через пакет Transformers.

Jina Embeddings v3 совместима с графическими процессорами, поддерживающими FlashAttention-2, такими как графические процессоры Ampere, Ada или Hopper. Она лицензирована по лицензии CC BY-NC 4.0, запросы на коммерческое использование направляются в Jina AI. Модель была значительно использована, с более чем 2 миллионами загрузок в прошлом месяце, и она представлена на платформах AWS и Azure.

Главное о Jina Embeddings v3

• Многоязычная поддержка для 30 языков

• Увеличенная длина последовательности до 8192 токенов

• Специфичные для задач встраивания с адаптерами LoRA

• Встраивания матрешки для гибких размеров

• Среднее объединение для высококачественных встраиваний предложений

• Совместимость с графическими процессорами FlashAttention-2

• Поддержка тонкой настройки с помощью SentenceTransformerTrainer

• Вывод ONNX для эффективной обработки

• Исправление ошибки нормализации функции кодирования

• Лицензия CC BY-NC 4.0

Начало работы с Jina Embeddings v3

1. 1

   Страница доступа: Посетите huggingface.co/jinaai/jina-embeddings-v3

2. 2

   Загрузите модель: Используйте AutoModel.from_pretrained

3. 3

   Настройте окружение: Убедитесь в совместимости с GPU

4. 4

   Интеграция: Примените среднее объединение для встраиваний

5. 5

   Тонкая настройка: Используйте SentenceTransformerTrainer для задач

Варианты использования Jina Embeddings v3

• Извлечение текста
• Классификация текста
• Кластеризация
• Сопоставление текста
• Многоязычная обработка

Часто задаваемые вопросы Jina Embeddings v3

• Для чего используется Jina Embeddings v3?

  Jina Embeddings v3 используется для многоязычного встраивания текста в различных задачах NLP, включая извлечение, классификацию и сопоставление текста.

• Как Jina Embeddings v3 обрабатывает длинные входные последовательности?

  Она использует вращательные позиционные встраивания для обработки входных последовательностей до 8192 токенов.

• Можно ли тонко настраивать Jina Embeddings v3?

  Да, она поддерживает тонкую настройку с помощью SentenceTransformerTrainer для конкретных задач.

• Какие языки поддерживает Jina Embeddings v3?

  Она поддерживает 30 языков, включая английский, китайский, арабский и испанский.

• Что такое функция встраиваний матрешки?

  Она позволяет использовать гибкие размеры встраиваний, позволяя обрезать их для соответствия потребностям приложения.

• Совместима ли Jina Embeddings v3 со всеми графическими процессорами?

  Она совместима с графическими процессорами, поддерживающими FlashAttention-2, такими как Ampere, Ada или Hopper.

• Под какой лицензией находится Jina Embeddings v3?

  Она лицензирована по лицензии CC BY-NC 4.0.

• Как я могу интегрировать Jina Embeddings v3?

  Вы можете интегрировать её, используя среднее объединение для высококачественных встраиваний предложений.