Описание
NVIDIA Nemotron 3.5 Super VL — это сложная крупная языковая модель, размещенная на Hugging Face. Она предназначена для обработки различных входных данных, включая текст, изображения и видео, и в основном выводит данные в текстовом формате. Модель построена на гибридной архитектуре Mamba-2–Transformer, включающей кодировщик C-RADIO, что позволяет эффективно обрабатывать мультимодальные данные.
Читать далее
С общим количеством 120 миллиардов параметров, из которых 12 миллиардов активны, Nemotron 3.5 Super VL разработан для высокой производительности в задачах, требующих настройки и адаптации к домену. Он поддерживает длину контекста до 1 миллиона токенов, что делает его подходящим для обработки больших объемов данных. Модель работает с точностью BF16, обеспечивая высокую точность своих выводов.
Развертывание Nemotron 3.5 Super VL может быть выполнено с использованием либо 4× H100, либо 2× GB200 аппаратных конфигураций, что позволяет гибко подходить к доступным ресурсам. Модель поддерживает спекулятивное декодирование с предсказанием нескольких токенов, что повышает ее эффективность при генерации выводов.
Nemotron 3.5 Super VL особенно рекомендуется для задач, требующих оценки с полной точностью. Она предлагает настраиваемые режимы рассуждений через шаблоны чата, позволяя пользователям включать или отключать режимы мышления по мере необходимости. Рекомендуемые настройки выборки для текста включают температуру 1.0 и top_p 0.95, в то время как для задач по обработке изображений предлагаются температура 0.6 и top_p 0.95.
Модель лицензирована под OpenMDW-1.1, что способствует использованию и сотрудничеству с открытым исходным кодом. Она была протестирована по сравнению с несколькими другими моделями, демонстрируя конкурентоспособную производительность в различных задачах, включая GPQA-Diamond, HLE и MMLU-ProX. Эти бенчмарки подчеркивают ее способность справляться со сложными задачами рассуждений и обработки данных.
В целом, NVIDIA Nemotron 3.5 Super VL — это универсальный инструмент для разработчиков и исследователей, стремящихся использовать передовые возможности ИИ для мультимодальной обработки и анализа данных.
- КатегорияИИ-модели и LLM
- Развёртывание4× H100 or 2× GB200
- ПлатформыВеб
Главное о NVIDIA Nemotron 3.5 Super VL
Гибридная архитектура Mamba-2–Transformer
Кодировщик C-RADIO
120 миллиардов параметров
Точность BF16
Длина контекста до 1 миллиона токенов
Спекулятивное декодирование с предсказанием нескольких токенов
Настраиваемые режимы рассуждений
Лицензия OpenMDW-1.1
Начало работы с NVIDIA Nemotron 3.5 Super VL
Доступ к странице модели: посетите Hugging Face
Аутентификация: войдите в свою учетную запись
Настройка: настройте оборудование и параметры
Отправка запросов: введите текстовые, изображенческие или видеоданные
Тонкая настройка: настройте параметры для конкретных задач
Варианты использования NVIDIA Nemotron 3.5 Super VL
- Обработка текста
- Анализ изображений
- Обработка видео
- Адаптация к домену
- Оценка с полной точностью
