Описание
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 — это большая языковая модель, разработанная NVIDIA, использующая циклическую (латентно-рекуррентную) архитектуру нормализованного GPT. Эта модель предназначена для выполнения задач общего целевого рассуждения, сохраняя при этом небольшой вычислительный след. Она включает в себя чередующееся внимание в скользящем окне (SWA) и полные слои внимания, что позволяет эффективно обрабатывать до 256K токенов в контексте.
Читать далее
Модель построена на 4 миллиардах параметров и использует точность BF16, что делает ее подходящей как для коммерческих, так и для некоммерческих приложений. Она поддерживает обработку английского языка и лучше всего подходит для задач, требующих общих способностей к рассуждению. Архитектура модели позволяет осуществлять эластичные вычисления вывода, позволяя пользователям настраивать количество циклов для балансировки между вычислительной эффективностью и точностью без необходимости повторной тренировки.
Dory1.0-4B-BF16 предварительно обучена с использованием формата NVFP4 от NVIDIA, прежде чем продолжить в BF16, что обеспечивает высокую производительность на системах с ускорением GPU от NVIDIA. Она доступна в нескольких форматах, включая BF16, MXFP8, NVFP4 и Q5_K_M, что обеспечивает гибкость в развертывании на различных аппаратных конфигурациях.
Обучение модели включало 6 триллионов токенов с акцентом на разнообразные области, такие как математика, наука и общие знания. Она прошла supervised fine-tuning и обучение с подкреплением для повышения своей производительности в многошаговом использовании инструментов, следовании инструкциям и структурированных выходных данных. Бенчмарки модели демонстрируют конкурентоспособную производительность по различным задачам, включая кодирование, рассуждение и следование инструкциям.
NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 регулируется Лицензионным соглашением OpenMDW, версия 1.1, и была выпущена 16 октября 2026 года. Она предназначена для оптимальной работы на архитектурах Hopper и Blackwell от NVIDIA с поддержкой операционных систем Linux.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыLinux
Главное о NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16
Циклическая латентно-рекуррентная архитектура
Чередующееся внимание в скользящем окне
Длина контекста 256K токенов
Точность BF16
Эластичные вычисления вывода
Предварительное обучение в формате NVFP4
Эффективное использование памяти
Лицензионное соглашение OpenMDW
Начало работы с NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16
Доступ к странице модели: посетите страницу модели Hugging Face для NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16.
Аутентификация: убедитесь, что у вас есть необходимые учетные данные для доступа к модели.
Настройка: настройте параметры модели, включая количество циклов и настройки кэша KV.
Отправка запросов: введите текстовые последовательности в модель для обработки.
Тонкая настройка: при необходимости отрегулируйте настройки модели для конкретных задач.
Варианты использования NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16
- Общее рассуждение
- Задачи кодирования
- Следование инструкциям
- Обработка длинного контекста
- Научные исследования
