Описание
NVIDIA Nemotron 3.5 Bolt 74B — это сложная крупная языковая модель, которая интегрирует гибридную архитектуру Mamba-2–Transformer с визуальным кодировщиком C-RADIO v4-H. Она обладает общим количеством 74 миллиардов параметров, из которых 9 миллиардов активны, и работает с точностью BF16 для весов полной точности. Модель может обрабатывать контекстные длины до 256K токенов, поддерживая текстовые, графические и видеовходы, и производя текстовые выходы. Она развернута на аппаратном обеспечении NVIDIA Ampere, Hopper или Blackwell, используя vLLM для эффективной работы.
Читать далее
Модель оптимизирована для спекулятивного декодирования через драфтер LiLiCorr с помощью DFlash, генерируя семь спекулятивных токенов в предоставленных рецептах vLLM. Она имеет режим рассуждений с управлением шаблонами чата, унаследованным от клиента Super 3.5 VL, и лучше всего подходит для настройки, постобучения и создания квантизированных вариантов для локальных агентных задач. Рекомендуемые настройки выборки для текста — температура 1.0 и top_p 0.95.
NVIDIA Nemotron 3.5 Bolt 74B лицензирована под OpenMDW-1.1, обеспечивая открытый доступ для дальнейшей разработки и интеграции. Модель была протестирована в различных тестах, включая GDPVal-AA-V2, Terminal-Bench 2.1 и другие, демонстрируя конкурентоспособные показатели производительности. Она особенно эффективна в задачах, требующих многократных взаимодействий с инструментами, и показала улучшения в возможностях использования MCP.
Методология обучения включает несколько агентных сред с полным E2E GRPO, нацеленным на задачи MCP и SWE. Основой модели является корпус Nemotron 3, который включает такие наборы данных, как Nemotron-CC-v2 и Nemotron-Pretraining-Code-v1 и другие. NVIDIA гарантировала, что данные, полученные от пользователей, не использовались в обучении, что обеспечивает конфиденциальность и целостность данных.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеNVIDIA Ampere, Hopper, Blackwell
- ПлатформыВеб
Главное о NVIDIA Nemotron 3.5 Bolt 74B
Гибридная архитектура Mamba-2–Transformer
Визуальный кодировщик C-RADIO v4-H
74 миллиарда параметров
Точность BF16
Длина контекста до 256K токенов
Спекулятивное декодирование с драфтером LiLiCorr
Режим рассуждений с управлением шаблонами чата
Лицензия OpenMDW-1.1
Начало работы с NVIDIA Nemotron 3.5 Bolt 74B
Доступ к странице модели: посетите страницу модели Hugging Face для NVIDIA Nemotron 3.5 Bolt 74B.
Аутентификация: убедитесь, что у вас есть необходимые учетные данные для доступа к модели.
Настройка: настройте параметры модели и окружение в соответствии с вашими потребностями.
Отправка запросов: введите текстовые, графические или видеоданные в модель для обработки.
Тонкая настройка: настройте модель для конкретных задач или приложений.
Варианты использования NVIDIA Nemotron 3.5 Bolt 74B
- Настройка
- Постобучение
- Квантизированные варианты
- Многократные взаимодействия
- Обработка текста
