Descripción
NVIDIA Nemotron 3.5 Bolt 74B es un sofisticado modelo de lenguaje grande que integra una arquitectura híbrida Mamba-2–Transformer con un codificador de visión C-RADIO v4-H. Cuenta con un total de 74 mil millones de parámetros, de los cuales 9 mil millones están activos, y opera con precisión BF16 para pesos de precisión completa. El modelo puede manejar longitudes de contexto de hasta 256K tokens, soportando entradas de texto, imagen y video, y produciendo salidas de texto.
Leer más
Se despliega en el hardware Ampere, Hopper o Blackwell de NVIDIA, utilizando vLLM para operaciones eficientes.
El modelo está optimizado para la decodificación especulativa a través del redactor LiLiCorr mediante DFlash, generando siete tokens especulativos en las recetas proporcionadas de vLLM. Presenta un modo de razonamiento con controles de plantilla de chat, heredados del cliente Super 3.5 VL, y es más adecuado para la personalización, el post-entrenamiento y la creación de variantes cuantizadas para tareas locales. Las configuraciones de muestreo recomendadas para texto son una temperatura de 1.0 y un top_p de 0.95.
NVIDIA Nemotron 3.5 Bolt 74B está licenciado bajo OpenMDW-1.1, asegurando acceso abierto para un mayor desarrollo e integración. El modelo ha sido evaluado en diversas pruebas, incluyendo GDPVal-AA-V2, Terminal-Bench 2.1, entre otras, demostrando métricas de rendimiento competitivas. Es particularmente efectivo en tareas que requieren interacciones de herramientas en múltiples turnos y ha mostrado mejoras en las capacidades de uso de MCP.
La metodología de entrenamiento implica múltiples entornos agentes con un objetivo E2E GRPO completo dirigido a tareas MCP y SWE. La base del modelo se construye sobre el corpus Nemotron 3, que incluye conjuntos de datos como Nemotron-CC-v2 y Nemotron-Pretraining-Code-v1, entre otros. NVIDIA ha asegurado que no se utilizó datos proporcionados por usuarios en el entrenamiento, manteniendo la privacidad y la integridad de los datos.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNVIDIA Ampere, Hopper, Blackwell
- PlataformasWeb
Aspectos destacados de NVIDIA Nemotron 3.5 Bolt 74B
Arquitectura híbrida Mamba-2–Transformer
Codificador de visión C-RADIO v4-H
74 mil millones de parámetros
Precisión BF16
Longitud de contexto de hasta 256K tokens
Decodificación especulativa con redactor LiLiCorr
Modo de razonamiento con controles de plantilla de chat
Licencia OpenMDW-1.1
Primeros pasos con NVIDIA Nemotron 3.5 Bolt 74B
Acceder a la página del modelo: Visita la página del modelo Hugging Face para NVIDIA Nemotron 3.5 Bolt 74B.
Autenticarse: Asegúrate de tener las credenciales necesarias para acceder al modelo.
Configurar: Establece los parámetros y el entorno del modelo según tus necesidades.
Enviar solicitudes: Introduce datos de texto, imagen o video al modelo para su procesamiento.
Ajustar: Personaliza el modelo para tareas o aplicaciones específicas.
Casos de uso de NVIDIA Nemotron 3.5 Bolt 74B
- Personalización
- Post-entrenamiento
- Variantes Cuantizadas
- Interacciones en Múltiples Turnos
- Procesamiento de Texto
