Description
NVIDIA Nemotron 3.5 Bolt 74B est un modèle de langage de grande taille sophistiqué qui intègre une architecture hybride Mamba-2–Transformer avec un encodeur de vision C-RADIO v4-H. Il dispose d'un total de 74 milliards de paramètres, dont 9 milliards actifs, et fonctionne avec une précision BF16 pour des poids en pleine précision. Le modèle peut gérer des longueurs de contexte allant jusqu'à 256K tokens, prenant en charge les entrées de texte, d'image et de vidéo, et produisant des sorties textuelles. Il est déployé sur le matériel Ampere, Hopper ou Blackwell de NVIDIA, utilisant vLLM pour des opérations efficaces.
Lire la suite
Le modèle est optimisé pour le décodage spéculatif via le rédacteur LiLiCorr via DFlash, générant sept tokens spéculatifs dans les recettes vLLM fournies. Il dispose d'un mode de raisonnement avec des contrôles de modèle de chat, hérités du client Super 3.5 VL, et est particulièrement adapté à la personnalisation, au post-entraînement et à la création de variantes quantifiées pour des tâches agentiques locales. Les paramètres d'échantillonnage recommandés pour le texte sont une température de 1,0 et un top_p de 0,95.
NVIDIA Nemotron 3.5 Bolt 74B est sous licence OpenMDW-1.1, garantissant un accès ouvert pour un développement et une intégration supplémentaires. Le modèle a été évalué à travers divers tests, y compris GDPVal-AA-V2, Terminal-Bench 2.1, et d'autres, démontrant des métriques de performance compétitives. Il est particulièrement efficace dans les tâches nécessitant des interactions d'outils multi-tours et a montré des améliorations dans les capacités d'utilisation de MCP.
La méthodologie d'entraînement implique plusieurs environnements agentiques avec un ciblage E2E GRPO complet pour les tâches MCP et SWE. La fondation du modèle est construite sur le corpus Nemotron 3, qui comprend des ensembles de données comme Nemotron-CC-v2 et Nemotron-Pretraining-Code-v1, entre autres. NVIDIA a veillé à ce qu'aucune donnée provenant des utilisateurs ne soit utilisée lors de l'entraînement, préservant ainsi la confidentialité et l'intégrité des données.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementNVIDIA Ampere, Hopper, Blackwell
- PlateformesWeb
Points forts de NVIDIA Nemotron 3.5 Bolt 74B
Architecture hybride Mamba-2–Transformer
Encodeur de vision C-RADIO v4-H
74 milliards de paramètres
Précision BF16
Longueur de contexte jusqu'à 256K tokens
Décodage spéculatif avec rédacteur LiLiCorr
Mode de raisonnement avec contrôles de modèle de chat
Licence OpenMDW-1.1
Premiers pas avec NVIDIA Nemotron 3.5 Bolt 74B
Accéder à la page du modèle : Visitez la page du modèle Hugging Face pour NVIDIA Nemotron 3.5 Bolt 74B.
Authentifier : Assurez-vous d'avoir les identifiants nécessaires pour accéder au modèle.
Configurer : Configurez les paramètres et l'environnement du modèle selon vos besoins.
Envoyer des invites : Saisissez des données textuelles, d'image ou de vidéo au modèle pour traitement.
Affiner : Personnalisez le modèle pour des tâches ou des applications spécifiques.
Cas d'utilisation de NVIDIA Nemotron 3.5 Bolt 74B
- Personnalisation
- Post-entraînement
- Variantes quantifiées
- Interactions multi-tours
- Traitement de texte
