Описание
pplx-embed-v2-context-9b-preview — это модель контекстного встраивания, специально разработанная для использования в системах с дополненной выборкой (RAG). Эта модель обрабатывает документы, разделяя их на фрагменты и кодируя эти фрагменты вместе. Полученные встраивания отражают контекст каждого фрагмента, обеспечивая более тонкое представление. Это предварительная версия, и пользователи должны быть осведомлены о том, что веса, встраивания и интерфейс могут измениться в будущих версиях, что потенциально повлияет на обратную совместимость.
Читать далее
Модель использует различные методы кодирования для запросов и документов, применяя encode_queries для запросов и encode для фрагментов документов. Важно отметить, что кодирование запросов с использованием метода документа может ухудшить качество выборки. Модель производит ненормализованные встраивания с квантованием int8, которые могут быть сравнены с использованием косинусного сходства или нормализованы для сравнения по скалярному произведению.
Модель pplx-embed-v2-context-9b-preview требует специфических зависимостей, включая transformers версии 5.4.0 или выше, torch, numpy, safetensors и tqdm. Она использует пользовательский код, что требует установки trust_remote_code=True при загрузке модели. Пользователи могут настраивать различные параметры, такие как размер пакета, нормализация встраиваний, преобразование в массивы NumPy и распределение по устройствам.
Модель была обучена с использованием потерь Матрешки при размерах 1024 и 2048, что позволяет гибко настраивать размер встраивания. Однако были обучены только размеры 1024 и 2048, другие размеры обрезки не поддерживаются. Эта модель идеально подходит для разработчиков и исследователей, работающих с системами RAG, которым требуются контекстные встраивания для обработки документов.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о pplx-embed-v2-context-9b-preview
Модель контекстного встраивания
Поддерживает системы RAG
Кодирует фрагменты документов
Производит встраивания с квантованием int8
Отдельное кодирование для запросов и документов
Поддержка пользовательского кода
Обучение с потерями Матрешки
Размеры: 1024 и 2048
Начало работы с pplx-embed-v2-context-9b-preview
Доступ к модели: посетите Hugging Face
Аутентификация: используйте свои учетные данные
Настройка окружения: установите зависимости
Интеграция через API: используйте encode и encode_queries
Оптимизация: настройте размер пакета и нормализацию
Варианты использования pplx-embed-v2-context-9b-preview
- Разделение документов на фрагменты
- Кодирование запросов
- Контекстный анализ
- Интеграция с системой RAG
- Сравнение встраиваний
