Описание
Sarvam-Prism — это специализированная модель принятия решений, разработанная компанией Sarvam, использующая мощный каркас Sarvam-105B. Основная функция модели — классификация текста, где она обрабатывает заданный контекст и один или несколько вопросов, каждый из которых сопровождается фиксированным набором возможных ответов. В отличие от генеративных моделей ИИ, Sarvam-Prism не создает новый текст; вместо этого она присваивает вероятность каждому заранее определенному варианту ответа за один прямой проход, гарантируя, что вывод всегда будет одним из предоставленных вариантов.
Читать далее
Эта модель особенно подходит для приложений, требующих точного, ограниченного принятия решений, а не открытой генерации текста. Она работает, преобразуя каждый вопрос в последовательность, которая включает состояние, инструкции и каждый вариант, за которым следует маркер ответа. Небольшая голова принятия решений затем считывает скрытое состояние в конце каждого варианта и на маркере ответа, чтобы произвести вероятности для каждого варианта. Архитектура модели включает в себя специфические настройки маски внимания и ядра FP8 для эффективного вывода.
Sarvam-Prism доступен для загрузки и может быть запущен на Hugging Face, с конкретными аппаратными требованиями, включая графический процессор NVIDIA с поддержкой FP8 и примерно 120 ГБ свободной памяти (например, B200 или H200). Также требуется Python 3.10+ и компилятор C. Для тех, у кого нет необходимого оборудования, Sarvam-Prism также предлагается в виде хостируемого API от Sarvam, что исключает необходимость в локальных ресурсах GPU.
Производительность модели оптимизирована для скорости, достигая медианы 44 мс на запрос на NVIDIA B200, как измерено на публичном бенчмарке Decision Index. Она поддерживает различные форматы запросов, включая типы «choice», «yes_no» и «score», что позволяет гибко разрабатывать вопросы. Все вопросы в рамках одного запроса оцениваются вместе в пакетах, при этом каждый вопрос оценивается независимо. Ограничение контекста установлено на уровне 131072 токенов на вопрос, что позволяет обрабатывать обширный ввод.
Весовые коэффициенты хранятся в пользовательском формате FP8, что делает их несовместимыми с универсальными серверами вывода или стандартными моделями, такими как AutoModelForCausalLM. Код вывода модели, включая кодировку ввода, маску внимания, голову принятия решений и ядра FP8, предоставляется в файле `prism.py`. Sarvam-Prism выпущен под лицензией Apache 2.0, что делает его доступным для широкого спектра приложений.
- КатегорияИИ-модели и LLM
- Модель ценообразованияФримиум
- РазвёртываниеОблако, На своём сервере
- ПлатформыВеб
Главное о Sarvam-Prism
Модель принятия решений для классификации текста
Построена на основе каркаса Sarvam-105B
Возвращает вероятность для заранее определенных ответов
Не генерирует текст, а только выбирает из вариантов
Доступна для загрузки на Hugging Face
Хостируемый API доступен от Sarvam (без необходимости в GPU)
Требуется графический процессор NVIDIA с поддержкой FP8 (например, B200/H200)
Требуется Python 3.10+ и компилятор C
Оптимизирована для скорости с медианой 44 мс на запрос
Поддерживает типы вопросов 'choice', 'yes_no' и 'score'
Обрабатывает вопросы пакетами
Ограничение контекста 131072 токена на вопрос
Весовые коэффициенты хранятся в пользовательском формате FP8
Код вывода предоставлен в `prism.py`
Лицензирована под Apache 2.0
Начало работы с Sarvam-Prism
Скачать модель и код: Получите модель Sarvam-Prism и связанный код из репозитория Hugging Face.
Установить зависимости: Настройте необходимую среду Python 3.10+ и установите все необходимые зависимости.
Подготовить оборудование: Убедитесь, что у вас есть графический процессор NVIDIA с поддержкой FP8 и как минимум 120 ГБ свободной памяти, например, B200 или H200.
Загрузить модель: Используйте `Prism.from_pretrained("sarvamai/prism")` или загрузите модель с помощью `prism.py`, как указано.
Сформатировать запрос: Структурируйте ваш ввод с `state` (контекст) и `questions` (отображение имен вопросов на объекты вопросов), указывая `type`, `instructions` и `criteria`.
Запустить вывод: Выполните модель с вашим отформатированным запросом, чтобы получить вероятности для каждого варианта ответа.
Получить доступ к API (по желанию): Используйте хостируемый API от Sarvam, если локальные ресурсы GPU недоступны, следуя документации API.
Варианты использования Sarvam-Prism
- Структурированное принятие решений
- Классификация текста
- Анализ опросов
- Ответы на вопросы
- Оценка настроений
- Проверка соответствия
- Модерация контента
