Beschreibung
NVIDIA Nemotron 3.5 Bolt 74B ist ein anspruchsvolles großes Sprachmodell, das eine Mamba-2–Transformer-Hybridarchitektur mit einem C-RADIO v4-H Vision-Encoder integriert. Es verfügt über insgesamt 74 Milliarden Parameter, von denen 9 Milliarden aktiv sind, und arbeitet mit BF16-Präzision für Vollpräzisionsgewichte. Das Modell kann Kontextlängen von bis zu 256K Tokens verarbeiten, unterstützt Text-, Bild- und Videoeingaben und erzeugt Textausgaben. Es wird auf NVIDIAs Ampere-, Hopper- oder Blackwell-Hardware bereitgestellt und nutzt vLLM für effiziente Operationen.
Weiterlesen
Das Modell ist für spekulatives Decoding über den LiLiCorr-Drafter via DFlash optimiert und generiert sieben spekulative Tokens in den bereitgestellten vLLM-Rezepten. Es verfügt über einen Denkmodus mit Chat-Vorlagensteuerungen, die vom Super 3.5 VL-Client übernommen wurden, und eignet sich am besten für Anpassungen, Nachtraining und die Erstellung quantisierter Varianten für lokale agentische Aufgaben. Die empfohlenen Sampling-Einstellungen für Text sind eine Temperatur von 1,0 und ein top_p von 0,95.
NVIDIA Nemotron 3.5 Bolt 74B ist unter OpenMDW-1.1 lizenziert, was einen offenen Zugang für weitere Entwicklungen und Integrationen gewährleistet. Das Modell wurde in verschiedenen Tests, einschließlich GDPVal-AA-V2, Terminal-Bench 2.1 und anderen, benchmarked und zeigt wettbewerbsfähige Leistungskennzahlen. Es ist besonders effektiv bei Aufgaben, die mehrstufige Tool-Interaktionen erfordern, und hat Verbesserungen in den MCP-Nutzungsfähigkeiten gezeigt.
Die Trainingsmethodik umfasst mehrere agentische Umgebungen mit vollem E2E GRPO, die auf MCP- und SWE-Aufgaben abzielen. Die Grundlage des Modells basiert auf dem Nemotron 3-Korpus, der Datensätze wie Nemotron-CC-v2 und Nemotron-Pretraining-Code-v1 umfasst. NVIDIA hat sichergestellt, dass keine benutzergenerierten Daten im Training verwendet wurden, um die Privatsphäre und Datenintegrität zu wahren.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungNVIDIA Ampere, Hopper, Blackwell
- PlattformenWeb
NVIDIA Nemotron 3.5 Bolt 74B im Überblick
Mamba-2–Transformer-Hybridarchitektur
C-RADIO v4-H Vision-Encoder
74 Milliarden Parameter
BF16-Präzision
Kontextlänge bis zu 256K Tokens
Spekulatives Decoding mit LiLiCorr-Drafter
Denkmodus mit Chat-Vorlagensteuerungen
OpenMDW-1.1 Lizenz
Erste Schritte mit NVIDIA Nemotron 3.5 Bolt 74B
Zugriff auf die Modellseite: Besuchen Sie die Hugging Face-Modellseite für NVIDIA Nemotron 3.5 Bolt 74B.
Authentifizieren: Stellen Sie sicher, dass Sie die erforderlichen Anmeldeinformationen haben, um auf das Modell zuzugreifen.
Konfigurieren: Richten Sie die Modellparameter und die Umgebung gemäß Ihren Bedürfnissen ein.
Eingabeaufforderungen senden: Geben Sie Text-, Bild- oder Videodaten an das Modell zur Verarbeitung ein.
Feinabstimmung: Passen Sie das Modell für spezifische Aufgaben oder Anwendungen an.
NVIDIA Nemotron 3.5 Bolt 74B's Anwendungsfälle
- Anpassung
- Nachtraining
- Quantisierte Varianten
- Mehrstufige Interaktionen
- Textverarbeitung
