Описание
Модель intfloat multilingual-e5-large — это сложный инструмент ИИ, разработанный для предоставления многоязычных текстовых эмбеддингов. Она основана на фреймворке xlm-roberta-large и была дополнительно обучена на смеси многоязычных наборов данных. Эта модель поддерживает 100 языков, хотя производительность может варьироваться для языков с низкими ресурсами. Она имеет 24 слоя с размером эмбеддинга 1024, что делает ее подходящей для сложных задач обработки текста.
Читать далее
Модель проходит двухступенчатый процесс обучения. Первая стадия включает контрастное предварительное обучение с слабым контролем на различных наборах данных, включая mC4, CC News, Википедию и другие, всего миллиарды пар текстов. Вторая стадия — это контролируемая дообучение с использованием таких наборов данных, как MS MARCO, NQ и SQuAD, с акцентом на английский и другие языки.
Результаты бенчмарков показывают, что модель multilingual-e5-large достигает среднего MRR@10 равного 70.5, превосходя меньшие модели на различных языках. Она особенно эффективна в задачах, таких как извлечение отрывков и семантическое сходство, где используются специфические префиксы, такие как 'query:' и 'passage:', для поддержания производительности.
Модель интегрирована с sentence_transformers, требуя конкретные версии пакетов для оптимальной производительности. Она разработана для эффективной обработки текстовых эмбеддингов, хотя обрезает длинные тексты до 512 токенов. Производительность модели стабильна на различных бенчмарках, что делает ее ценным инструментом для исследователей и разработчиков, работающих с многоязычными текстовыми данными.
- КатегорияИИ-модели и LLM
- Модель ценообразованияБесплатно
- РазвёртываниеОблако
- ПлатформыВеб
Главное о intfloat multilingual-e5-large
Поддержка 100 языков
24 слоя с размером эмбеддинга 1024
Инициализирована из xlm-roberta-large
Контрастное предварительное обучение с слабым контролем
Контролируемое дообучение на различных наборах данных
Высокая производительность в многоязычных бенчмарках
Интеграция с sentence_transformers
Обработка текстовых эмбеддингов до 512 токенов
Начало работы с intfloat multilingual-e5-large
Страница доступа: Посетите страницу модели Hugging Face
Загрузка модели: Скачайте и инициализируйте модель
Настройка окружения: Установите необходимые пакеты
Интеграция: Используйте с sentence_transformers
Дообучение: Примените контролируемые наборы данных для конкретных задач
Варианты использования intfloat multilingual-e5-large
- Многоязычные текстовые эмбеддинги
- Семантическое сходство
- Извлечение отрывков
- Классификация текстов
- Извлечение информации
