Описание
Jina Embeddings v3 — это сложная многоязычная модель встраивания текста, разработанная компанией Jina AI. Она предназначена для удовлетворения широкого спектра приложений обработки естественного языка (NLP). Модель основана на архитектуре Jina-XLM-RoBERTa и включает в себя вращательные позиционные встраивания (RoPE), что позволяет ей обрабатывать длинные входные последовательности до 8192 токенов. Эта возможность особенно полезна для приложений, требующих обширной обработки текста.
Читать далее
Модель имеет пять адаптеров LoRA, что позволяет эффективно генерировать встраивания, специфичные для задач. Пользователи могут настраивать встраивания для различных задач, включая запросы на извлечение, встраивания отрывков, кластеризацию, классификацию и сопоставление текста. Эта гибкость делает Jina Embeddings v3 подходящей для асимметричных задач извлечения, приложений кластеризации и повторной сортировки, задач классификации и задач, которые количественно оценивают сходство текста.
Jina Embeddings v3 поддерживает встраивания матрешки, предлагая гибкие размеры встраиваний от 32 до 1024. Эта функция позволяет пользователям обрезать встраивания, чтобы соответствовать конкретным потребностям приложения. Модель настроена для 30 языков, включая арабский, китайский, английский, французский, немецкий, хинди, японский, корейский и испанский, среди прочих.
Значительное обновление в модели — это исправление ошибки в функции кодирования, что обеспечивает последовательную нормализацию обрезанных встраиваний. Пользователям рекомендуется применять среднее объединение при интеграции модели, так как этот подход дает высококачественные встраивания предложений. Модель можно использовать через API Jina Embedding или напрямую через пакет Transformers.
Jina Embeddings v3 совместима с графическими процессорами, поддерживающими FlashAttention-2, такими как графические процессоры Ampere, Ada или Hopper. Она лицензирована по лицензии CC BY-NC 4.0, запросы на коммерческое использование направляются в Jina AI. Модель была значительно использована, с более чем 2 миллионами загрузок в прошлом месяце, и она представлена на платформах AWS и Azure.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о Jina Embeddings v3
Многоязычная поддержка для 30 языков
Увеличенная длина последовательности до 8192 токенов
Специфичные для задач встраивания с адаптерами LoRA
Встраивания матрешки для гибких размеров
Среднее объединение для высококачественных встраиваний предложений
Совместимость с графическими процессорами FlashAttention-2
Поддержка тонкой настройки с помощью SentenceTransformerTrainer
Вывод ONNX для эффективной обработки
Исправление ошибки нормализации функции кодирования
Лицензия CC BY-NC 4.0
Начало работы с Jina Embeddings v3
Страница доступа: Посетите huggingface.co/jinaai/jina-embeddings-v3
Загрузите модель: Используйте AutoModel.from_pretrained
Настройте окружение: Убедитесь в совместимости с GPU
Интеграция: Примените среднее объединение для встраиваний
Тонкая настройка: Используйте SentenceTransformerTrainer для задач
Варианты использования Jina Embeddings v3
- Извлечение текста
- Классификация текста
- Кластеризация
- Сопоставление текста
- Многоязычная обработка
