Описание
nomic-embed-text-v2-moe — это передовая многоязычная модель встраивания текста Mixture of Experts (MoE), разработанная для достижения высокой производительности в задачах многоязычного поиска. Она поддерживает около 100 языков и обучена на более чем 1,6 миллиарда пар, что делает её высокоэффективной для разнообразных лингвистических приложений. Модель предлагает гибкий размер встраивания, используя Matryoshka Embeddings для достижения сокращения затрат на хранение до трех раз с минимальным ухудшением производительности.
Читать далее
Архитектура nomic-embed-text-v2-moe включает 475 миллионов параметров, из которых 305 миллионов активны во время вывода. Она имеет конфигурацию MoE с восемью экспертами и маршрутизацией top-2, что позволяет эффективно обрабатывать данные и обеспечивать высокую производительность. Максимальная длина последовательности модели составляет 512 токенов, и она поддерживает размеры встраивания от 768 до 256.
nomic-embed-text-v2-moe полностью открытый исходный код, с весами модели, кодом и обучающими данными, доступными для публичного использования. Эта прозрачность обеспечивает воспроизводимость и способствует дальнейшим исследованиям и разработкам. Модель продемонстрировала превосходные результаты на таких бенчмарках, как BEIR и MIRACL, превосходя модели в том же классе параметров и оставаясь конкурентоспособной с более крупными моделями.
Несмотря на свои сильные стороны, пользователи должны быть осведомлены о некоторых ограничениях. Производительность может варьироваться в зависимости от языков, а требования к ресурсам могут быть выше, чем у традиционных плотных моделей из-за архитектуры MoE. Кроме того, пользователи должны включить trust_remote_code=True при загрузке модели, чтобы использовать реализацию пользовательской архитектуры.
В целом, nomic-embed-text-v2-moe — это мощный инструмент для задач многоязычного встраивания текста, предлагающий гибкость, эффективность и высокую производительность для широкого спектра приложений.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о nomic-embed-text-v2-moe
Современная многоязычная производительность
Поддерживает около 100 языков
Обучена на более чем 1,6 миллиарда пар
Гибкие размеры встраивания
Открытые исходные коды и веса модели
Архитектура Mixture of Experts
Эффективное хранение с Matryoshka Embeddings
Высокая производительность на бенчмарках BEIR и MIRACL
Начало работы с nomic-embed-text-v2-moe
Страница доступа: Посетите страницу модели Hugging Face
Загрузите модель: Используйте SentenceTransformers или Transformers
Настройте окружение: Подготовьте GPU для лучшей производительности
Интеграция: Используйте префиксы инструкций задач для запросов и документов
Тонкая настройка: Настройте размеры встраивания под конкретные нужды
Варианты использования nomic-embed-text-v2-moe
- Многоязычный поиск
- Встраивание текста
- Аналитика данных
- Обработка языка
- Исследования и разработки
