Beschreibung
Qwen3-8B ist ein großes Sprachmodell aus der Qwen3-Familie, das vom Qwen-Team von Alibaba entwickelt und als Open Weights auf Hugging Face unter der Apache 2.0-Lizenz veröffentlicht wurde. Es handelt sich um ein dichtes, kausales (nur Decoder) Sprachmodell mit insgesamt 8,2 Milliarden Parametern (6,95 Milliarden ohne Einbettungen), 36 Schichten und gruppierter Abfrageaufmerksamkeit mit 32 Abfrageköpfen und 8 Schlüssel/Wert-Köpfen.
Weiterlesen
Das Hauptmerkmal ist die Fähigkeit, zwischen zwei Modi innerhalb eines einzigen Modells zu wechseln: einem Denkmodus für komplexe logische Schlussfolgerungen, Mathematik und Programmierung sowie einem Nicht-Denkmodus für schnellere, allgemeine Dialoge. Qwen berichtet, dass der Denkmodus die Schlussfolgerungsleistung seines früheren QwQ-Modells verbessert und dass der Nicht-Denkmodus im Vergleich zu Qwen2.5-instruct in den Bereichen Mathematik, Codegenerierung und gesunder Menschenverstand besser abschneidet.
Das Modell unterstützt nativ ein Kontextfenster von 32.768 Token, das auf 131.072 Token mit YaRN-Skalierung erweiterbar ist. Es ist für die Nutzung von Tools und agentenähnlichen Aufgaben konzipiert: Qwen gibt an, dass es sowohl im Denk- als auch im Nicht-Denkmodus präzise mit externen Tools integriert werden kann und dass seine Chat-Vorlage explizite Unterstützung für Funktions- und Toolaufrufe enthält. Es unterstützt auch das Befolgen von Anweisungen und Übersetzungen in über 100 Sprachen und Dialekten.
Qwen3-8B wird zur Verwendung mit der Hugging Face Transformers-Bibliothek (Version 4.51.0 oder höher erforderlich) verteilt und ist mit gängigen lokalen und Cloud-Inferenzwerkzeugen kompatibel; die Verwendung einer älteren Transformers-Version führt zu einem "KeyError: 'qwen3'"-Fehler, da die Unterstützung für die Architektur speziell für dieses Release hinzugefügt wurde. Auf Hugging Face wurde das Modell im vergangenen Monat mehr als 12 Millionen Mal heruntergeladen und insgesamt über 126 Millionen Mal, was es zu einem der am häufigsten verwendeten Modelle in der Qwen3-Familie macht. Qwen hat auch unterstützende Forschungsarbeiten zusammen mit dem Modell veröffentlicht, die die zugrunde liegende Architektur und die Evaluierungsmethodik abdecken. Es richtet sich an Entwickler, die Anwendungen erstellen, die ein kleineres, selbsthostbares Modell mit starken Schlussfolgerungs- und Toolnutzungsfähigkeiten benötigen, und nicht an nicht-technische Endbenutzer.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
Qwen3-8B im Überblick
8,2B-Parameter dichtes kausales Sprachmodell (6,95B ohne Einbettungen)
Wechselbarer Denkmodus (Schlussfolgerungen, Mathematik, Code) und Nicht-Denkmodus (schneller Dialog) in einem Modell
36 Schichten mit gruppierter Abfrageaufmerksamkeit (32 Abfrageköpfe, 8 Schlüssel/Wert-Köpfe)
32.768 Token nativ, erweiterbar auf 131.072 Token mit YaRN
Integrierte Unterstützung für Tool-/Funktionsaufrufe über seine Chat-Vorlage
Befolgen von Anweisungen und Übersetzungen in über 100 Sprachen
Open Weights unter der Apache 2.0-Lizenz veröffentlicht
Kompatibel mit Hugging Face Transformers (4.51.0+) und gängigen Inferenzwerkzeugen
Erste Schritte mit Qwen3-8B
Abhängigkeiten installieren: Installieren Sie eine aktuelle Version von Hugging Face Transformers (4.51.0 oder höher).
Modell laden: Laden Sie Qwen/Qwen3-8B mit AutoModelForCausalLM und AutoTokenizer.
Modus wählen: Setzen Sie enable_thinking auf True für Schlussfolgerungsaufgaben oder False für schnellere allgemeine Dialoge.
Prompt formatieren: Wenden Sie die Chat-Vorlage des Modells an, um Nachrichten zu strukturieren, einschließlich aller Tool-Definitionen.
Antwort generieren: Führen Sie die Generierung aus und parsen Sie im Denkmodus den Schlussfolgerungsinhalt separat von der endgültigen Antwort.
Qwen3-8B's Anwendungsfälle
- Schlussfolgerungs- und Mathematikaufgaben
- Allgemeine Chat-Anwendungen
- Agenten- und Toolaufruf-Workflows
- Mehrsprachige Anwendungen
