Beschreibung
NVIDIA Nemotron 3.5 Super VL ist ein anspruchsvolles großes Sprachmodell, das auf Hugging Face gehostet wird. Es wurde entwickelt, um eine Vielzahl von Eingaben, einschließlich Text, Bilder und Videos, zu verarbeiten und gibt hauptsächlich im Textformat aus. Das Modell basiert auf einer Mamba-2–Transformer-Hybridarchitektur und integriert einen C-RADIO-Vision-Encoder, der es ihm ermöglicht, multimodale Daten effizient zu verarbeiten.
Weiterlesen
Mit insgesamt 120 Milliarden Parametern, von denen 12 Milliarden aktiv sind, ist Nemotron 3.5 Super VL für hohe Leistung bei Aufgaben ausgelegt, die Anpassungen und Domänenanpassung erfordern. Es unterstützt eine Kontextlänge von bis zu 1 Million Tokens, was es für umfangreiche Datenverarbeitungsaufgaben geeignet macht. Das Modell arbeitet mit BF16-Präzision, was eine hohe Genauigkeit in seinen Ausgaben gewährleistet.
Die Bereitstellung von Nemotron 3.5 Super VL kann entweder mit 4× H100 oder 2× GB200 Hardwarekonfigurationen erfolgen, was Flexibilität basierend auf den verfügbaren Ressourcen ermöglicht. Das Modell unterstützt spekulatives Decoding mit nativer Multi-Token-Vorhersage, was seine Effizienz bei der Generierung von Ausgaben erhöht.
Nemotron 3.5 Super VL wird besonders für Aufgaben empfohlen, die eine Bewertung in voller Präzision erfordern. Es bietet konfigurierbare Denkmodi über Chat-Vorlagen, die es den Benutzern ermöglichen, Denkmodi nach Bedarf zu aktivieren oder zu deaktivieren. Die empfohlenen Sampling-Einstellungen für Text umfassen eine Temperatur von 1,0 und top_p von 0,95, während für Vision-Aufgaben eine Temperatur von 0,6 und top_p von 0,95 vorgeschlagen wird.
Das Modell ist unter OpenMDW-1.1 lizenziert, was die Nutzung und Zusammenarbeit im Open-Source-Bereich fördert. Es wurde mit mehreren anderen Modellen benchmarked und zeigt eine wettbewerbsfähige Leistung in verschiedenen Aufgaben, einschließlich GPQA-Diamond, HLE und MMLU-ProX. Diese Benchmarks heben seine Fähigkeit hervor, komplexe Denk- und Datenverarbeitungsaufgaben zu bewältigen.
Insgesamt ist NVIDIA Nemotron 3.5 Super VL ein vielseitiges Werkzeug für Entwickler und Forscher, die fortschrittliche KI-Fähigkeiten für die multimodale Datenverarbeitung und -analyse nutzen möchten.
- KategorieKI-Modelle & LLMs
- Bereitstellung4× H100 or 2× GB200
- PlattformenWeb
NVIDIA Nemotron 3.5 Super VL im Überblick
Mamba-2–Transformer-Hybridarchitektur
C-RADIO-Vision-Encoder
120 Milliarden Parameter
BF16-Präzision
Kontextlänge von bis zu 1 Million Tokens
Spekulatives Decoding mit Multi-Token-Vorhersage
Konfigurierbare Denkmodi
Lizenz OpenMDW-1.1
Erste Schritte mit NVIDIA Nemotron 3.5 Super VL
Zugriff auf die Modellseite: Besuchen Sie Hugging Face
Authentifizieren: Melden Sie sich bei Ihrem Konto an
Konfigurieren: Richten Sie Hardware und Parameter ein
Eingabeaufforderungen senden: Geben Sie Text-, Bild- oder Videodaten ein
Feinabstimmung: Passen Sie die Einstellungen für spezifische Aufgaben an
NVIDIA Nemotron 3.5 Super VL's Anwendungsfälle
- Textverarbeitung
- Bildanalyse
- Videobearbeitung
- Domänenanpassung
- Bewertung in voller Präzision
