Description
NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 est un modèle de langage de grande taille sophistiqué développé par NVIDIA. Il présente une architecture hybride combinant MoE, Mamba-2 et des mécanismes d'attention, avec un total de 30 milliards de paramètres, dont 3 milliards sont actifs. Le modèle fonctionne avec une précision BF16, garantissant une grande exactitude dans le traitement des tâches.
Lire la suite
Il prend en charge une longueur de contexte allant jusqu'à 1 million de tokens lorsqu'il est déployé sur un seul GPU H100, ce qui le rend adapté à la gestion de vastes entrées de données.
Le modèle est conçu pour être hautement personnalisable, prenant en charge des techniques post-formation telles que le fine-tuning supervisé, l'apprentissage par renforcement et la distillation. Cette flexibilité permet aux utilisateurs d'adapter le modèle à des domaines spécifiques, de créer des variantes quantifiées et de mener des recherches et évaluations à pleine précision. NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 est particulièrement bien adapté aux tâches nécessitant un raisonnement approfondi et un traitement complexe des données.
Le modèle prend en charge plusieurs langues, y compris l'anglais, l'espagnol, le français, l'allemand, l'italien et le japonais, ainsi que divers langages de programmation. Il est optimisé pour le déploiement sur le matériel NVIDIA, y compris les GPU des séries Blackwell, Hopper et Ampere. Le modèle inclut également des capacités de décodage spéculatif pour les déploiements dans des centres de données à faible concurrence, améliorant son efficacité dans des cas d'utilisation spécifiques.
Publié sous l'accord de licence OpenMDW version 1.1, NVIDIA Nemotron 3.5 Lightning 30B A3B BF16 est disponible pour un déploiement mondial. Il est idéal pour les organisations cherchant à tirer parti des capacités avancées de l'IA pour la personnalisation, l'adaptation au domaine et la recherche de haute précision.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Points forts de NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
30 milliards de paramètres
Précision BF16
Architecture hybride MoE, Mamba-2 et attention
Prend en charge jusqu'à 1 million de tokens
Personnalisable après formation
Prend en charge plusieurs langues
Optimisé pour le matériel NVIDIA
Capacités de décodage spéculatif
Premiers pas avec NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
Accéder à la page du modèle : Visitez la page du modèle Hugging Face
S'authentifier : Connectez-vous à votre compte Hugging Face
Configurer : Configurez le modèle avec les paramètres souhaités
Envoyer des invites : Saisissez des données pour le traitement
Ajuster : Personnalisez le modèle pour des tâches spécifiques
Cas d'utilisation de NVIDIA Nemotron 3.5 Lightning 30B A3B BF16
- Adaptation au domaine
- Recherche et évaluation
- Personnalisation
- Support multilingue
- Décodage spéculatif
