Описание
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 — это сложная крупная языковая модель, разработанная компанией NVIDIA. Она имеет гибридную архитектуру, сочетающую MoE, Mamba-2 и механизмы внимания, с общим количеством 30 миллиардов параметров, из которых 3 миллиарда активны. Модель работает с точностью BF16, обеспечивая высокую точность при выполнении задач.
Читать далее
Модель разработана с высокой степенью настройки, поддерживая методы постобучения, такие как контролируемая донастройка, обучение с подкреплением и дистилляция. Эта гибкость позволяет пользователям адаптировать модель к конкретным областям, создавать квантизированные варианты и проводить исследования и оценки с полной точностью. NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 особенно хорошо подходит для задач, требующих обширного рассуждения и сложной обработки данных.
Модель поддерживает несколько языков, включая английский, испанский, французский, немецкий, итальянский и японский, а также различные языки программирования. Она оптимизирована для развертывания на аппаратном обеспечении NVIDIA, включая графические процессоры серий Blackwell, Hopper и Ampere. Модель также включает возможности спекулятивного декодирования для развертывания в центрах обработки данных с низкой конкуренцией, что повышает ее эффективность в определенных случаях использования.
Выпущенная по лицензии OpenMDW версии 1.1, NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 доступна для глобального развертывания. Она идеально подходит для организаций, стремящихся использовать передовые возможности ИИ для настройки, адаптации к областям и высокоточных исследований.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Главное о NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
30 миллиардов параметров
Точность BF16
Гибридная архитектура MoE, Mamba-2 и внимания
Поддержка до 1 миллиона токенов
Настраиваемая постобучение
Поддержка нескольких языков
Оптимизирована для аппаратного обеспечения NVIDIA
Возможности спекулятивного декодирования
Начало работы с NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
Доступ к странице модели: посетите страницу модели Hugging Face
Аутентификация: войдите в свою учетную запись Hugging Face
Настройка: настройте модель с желаемыми параметрами
Отправка запросов: введите данные для обработки
Донастройка: настройте модель для конкретных задач
Варианты использования NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
- Адаптация к области
- Исследования и оценка
- Настройка
- Многоязычная поддержка
- Спекулятивное декодирование
