Описание
MetaEncoder v1 — это мощная модель извлечения признаков, разработанная Facebook, обладающая 28 миллиардами параметров. Размещенная на Hugging Face, она предоставляет надежное решение для разработчиков и исследователей, работающих со сложными типами данных. Модель разработана для удобства использования, требуя `transformers>=5.15` и 80 ГБ GPU для оптимальной производительности в точности bf16.
Читать далее
В своей основе MetaEncoder v1 предлагает три основные функции: `encode`, `retrieve` и `decide`. Функция `encode` позволяет пользователям встраивать различные входные данные — такие как строки, изображения PIL или словари, содержащие текст, изображения или видеокадры — в тензор (n, 6656) float32. Эти встраивания нормализованы по L2 и могут использоваться для хранения, кластеризации или сравнительных задач. Модель чувствительна к инструкциям, что означает, что один и тот же ввод может быть встроен по-разному в зависимости от предоставленного контекста, что повышает её адаптивность для конкретных случаев использования.
Функция `retrieve` предназначена для ранжирования корпуса по заданному запросу. Пользователи могут передавать запрос и корпус (либо список элементов, либо предварительно закодированный тензор) вместе с необязательными инструкциями для обоих. Она возвращает список объектов `Hit`, упорядоченных от лучшего к первому, что делает её идеальной для приложений поиска и извлечения информации. Эта возможность особенно эффективна для больших корпусов, так как корпус может быть закодирован один раз и затем многократно искаться.
Наконец, функция `decide` позволяет модели отвечать на вопросы в стиле Jev о данном состоянии. Это состояние может быть строкой или любым значением JSON, дополнительно сопровождаемым изображениями или видео. Вопросы структурированы с типами, такими как 'noul' (да/нет), 'choice' (несколько вариантов) или 'score' (упорядоченные уровни), каждый из которых имеет свои инструкции и критерии. Модель предоставляет ответы с вероятностями, оценками уверенности и сырыми косинусными сходствами. Также доступна функция `decide_batch` для обработки нескольких состояний одновременно, а функция калибровки позволяет пользователям подстраивать температуру модели под свои данные для повышения точности.
Ключевое преимущество MetaEncoder v1 заключается в внутреннем форматировании подсказок, что исключает необходимость для вызывающих вручную писать подсказки. Обертка обеспечивает форматирование входных данных точно так же, как это было во время обучения, поддерживая согласованность и упрощая интеграцию. Это включает в себя обработку системных и пользовательских реплик, кодирование изображений и видео, а также пуллинг. Для продвинутых пользователей возможен прямой доступ к `modeling_metaencoder.py`, чтобы обойти обертку для пользовательского форматирования подсказок и пуллинга, предлагая гибкость при использовании основных возможностей модели.
- КатегорияИИ-модели и LLM
- РазвёртываниеОблако
- ПлатформыHugging Face
Главное о MetaEncoder v1
Модель извлечения признаков
28 миллиардов параметров
Встраивание входных данных (encode)
Ранжирование корпуса по запросу (retrieve)
Ответы на вопросы в стиле Jev (decide)
Поддержка текстовых, изображенческих и видеовходов
Внутреннее форматирование подсказок
Встраивание на основе инструкций
Обработка пакетных решений
Калибровка модели для подгонки температуры
L2-нормализованные встраивания
Нет необходимости в ручном написании подсказок
Совместимость с transformers>=5.15
Требуется 80 ГБ GPU (bf16)
Прямой доступ к моделированию для настройки
Начало работы с MetaEncoder v1
Доступ к модели: Перейдите на страницу facebook/meta-encoder-v1 на Hugging Face.
Настройка окружения: Убедитесь, что установлен `transformers>=5.15`, и доступен 80 ГБ GPU для точности bf16.
Встраивание входных данных: Используйте вызов `encode(inputs, instruction=None)` для генерации встраиваний для текста, изображений или видео.
Извлечение информации: Используйте `retrieve(query, corpus, top_k=None, query_instruction=None, corpus_instruction=None)` для ранжирования корпуса по запросу.
Принятие решений: Используйте `decide(state, questions, images=None, video=None)` для ответов на структурированные вопросы о данном состоянии.
Калибровка модели: Для повышения точности используйте `model.calibrate(answers, labels)` с размеченным набором данных для подгонки температуры.
Варианты использования MetaEncoder v1
- Извлечение информации
- Кластеризация данных
- Семантический поиск
- Системы ответов на вопросы
- Понимание контента
- Обработка мультимодальных данных
- Системы поддержки принятия решений







