Descrição
NVIDIA Nemotron 3.5 Bolt 74B é um sofisticado modelo de linguagem grande que integra uma arquitetura híbrida Mamba-2–Transformer com um codificador de visão C-RADIO v4-H. Ele possui um total de 74 bilhões de parâmetros, com 9 bilhões ativos, e opera com precisão BF16 para pesos de precisão total. O modelo pode lidar com comprimentos de contexto de até 256K tokens, suportando entradas de texto, imagem e vídeo, e produzindo saídas de texto.
Ler mais
Ele é implantado no hardware Ampere, Hopper ou Blackwell da NVIDIA, utilizando vLLM para operações eficientes.
O modelo é otimizado para decodificação especulativa através do redator LiLiCorr via DFlash, gerando sete tokens especulativos nas receitas vLLM fornecidas. Ele apresenta um modo de raciocínio com controles de modelo de chat, herdados do cliente Super 3.5 VL, e é mais adequado para personalização, pós-treinamento e criação de variantes quantizadas para tarefas locais. As configurações de amostragem recomendadas para texto são uma temperatura de 1,0 e um top_p de 0,95.
NVIDIA Nemotron 3.5 Bolt 74B é licenciado sob OpenMDW-1.1, garantindo acesso aberto para desenvolvimento e integração adicionais. O modelo foi avaliado em vários testes, incluindo GDPVal-AA-V2, Terminal-Bench 2.1 e outros, demonstrando métricas de desempenho competitivas. Ele é particularmente eficaz em tarefas que requerem interações de ferramentas em múltiplas etapas e mostrou melhorias nas capacidades de uso do MCP.
A metodologia de treinamento envolve múltiplos ambientes agentes com GRPO E2E completo visando tarefas MCP e SWE. A fundação do modelo é construída sobre o corpus Nemotron 3, que inclui conjuntos de dados como Nemotron-CC-v2 e Nemotron-Pretraining-Code-v1, entre outros. A NVIDIA garantiu que nenhum dado de usuário foi utilizado no treinamento, mantendo a privacidade e a integridade dos dados.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNVIDIA Ampere, Hopper, Blackwell
- PlataformasWeb
Destaques de NVIDIA Nemotron 3.5 Bolt 74B
Arquitetura híbrida Mamba-2–Transformer
Codificador de visão C-RADIO v4-H
74 bilhões de parâmetros
Precisão BF16
Comprimento de contexto de até 256K tokens
Decodificação especulativa com redator LiLiCorr
Modo de raciocínio com controles de modelo de chat
Licença OpenMDW-1.1
Primeiros passos com NVIDIA Nemotron 3.5 Bolt 74B
Acesse a página do modelo: Visite a página do modelo Hugging Face para NVIDIA Nemotron 3.5 Bolt 74B.
Autentique-se: Certifique-se de ter as credenciais necessárias para acessar o modelo.
Configure: Configure os parâmetros e o ambiente do modelo de acordo com suas necessidades.
Envie prompts: Insira dados de texto, imagem ou vídeo no modelo para processamento.
Ajuste fino: Personalize o modelo para tarefas ou aplicações específicas.
Casos de uso de NVIDIA Nemotron 3.5 Bolt 74B
- Personalização
- Pós-treinamento
- Variantes Quantizadas
- Interações em Múltiplas Etapas
- Processamento de Texto
