SmolLM3 Sprachmodell

Beschreibung

SmolLM3 ist ein Sprachmodell mit 3 Milliarden Parametern, das entwickelt wurde, um die Fähigkeiten kleiner Modelle in der künstlichen Intelligenz voranzutreiben. Es ist darauf ausgelegt, duales Modus-Reasoning zu unterstützen und ist mehrsprachig, wobei es nativ sechs Sprachen unterstützt: Englisch, Französisch, Spanisch, Deutsch, Italienisch und Portugiesisch. Das Modell ist vollständig offen, mit offenen Gewichten und umfassenden Trainingsdetails, einschließlich öffentlicher Datenmischungen und Trainingskonfigurationen.

Die Architektur von SmolLM3 ist ein Decoder-Only-Transformer, der GQA und NoPE im Verhältnis 3:1 verwendet. Es wurde auf 11,2 Billionen Tokens vortrainiert, wobei ein gestuftes Curriculum verwendet wurde, das Web-, Code-, Mathematik- und Reasoning-Daten umfasste. Nach dem Training fand ein Midtraining auf 140 Milliarden Reasoning-Tokens statt, gefolgt von überwachten Feinabstimmungen und Ausrichtungen durch Anchored Preference Optimization (APO).

SmolLM3 ist für hybrides Reasoning optimiert und unterstützt die Verarbeitung langer Kontexte, trainiert auf einem Kontext von 64k und in der Lage, bis zu 128k Tokens mithilfe von YARN-Extrapolation zu verarbeiten. Das Modell kann mit vLLM und SGLang bereitgestellt werden und ist mit OpenAI-Format-APIs kompatibel. Es unterstützt auch das Tool-Calling, was die Integration mit verschiedenen Tools über XML oder Python-Funktionsaufrufe ermöglicht.

Für lokale Inferenz kann SmolLM3 mit llama.cpp, ONNX, MLX, MLC und ExecuTorch verwendet werden. Quantisierte Checkpoints sind für eine effiziente Bereitstellung verfügbar. Die Leistung des Modells wurde anhand verschiedener Benchmarks bewertet und zeigt starke Ergebnisse in mehrsprachigen Q&A, wettbewerbsorientiertem Programmieren und Aufgaben zur Befolgung von Anweisungen.

SmolLM3 ist ein wertvolles Werkzeug für Entwickler und Forscher, die KI für mehrsprachige und komplexe Reasoning-Aufgaben nutzen möchten. Benutzer sollten jedoch beachten, dass die generierten Inhalte möglicherweise nicht immer faktisch genau oder frei von Vorurteilen sind, die in den Trainingsdaten vorhanden sind.

SmolLM3 Sprachmodell im Überblick

• 3B-Parameter-Sprachmodell

• Unterstützt duales Modus-Reasoning

• Mehrsprachig: 6 Sprachen

• Verarbeitung langer Kontexte bis zu 128k Tokens

• Offenes Modell mit offenen Gewichten

• Instruct-Modell optimiert für hybrides Reasoning

• Unterstützung für Tool-Calling

• Kompatibel mit vLLM und SGLang

Erste Schritte mit SmolLM3 Sprachmodell

1. 1

   Zugriff auf die Seite: Besuchen Sie die Hugging Face-Modellseite

2. 2

   Modell laden: Verwenden Sie transformers v4.53.0 oder die neueste vllm

3. 3

   Umgebung konfigurieren: Sampling-Parameter und Kontextlänge festlegen

4. 4

   Integrieren: Verwenden Sie Tool-Calling mit XML oder Python-Funktionen

5. 5

   Feinabstimmung: Wenden Sie überwachte Feinabstimmung und Ausrichtung an

SmolLM3 Sprachmodell's Anwendungsfälle

• Mehrsprachige Q&A
• Hybrides Reasoning
• Tool-Integration
• Verarbeitung langer Kontexte
• Befolgung von Anweisungen

FAQ von SmolLM3 Sprachmodell

• Was ist SmolLM3?

  SmolLM3 ist ein Sprachmodell mit 3 Milliarden Parametern, das für die Effizienz kleiner Modelle entwickelt wurde und duales Modus-Reasoning sowie mehrsprachige Fähigkeiten unterstützt.

• Wie viele Sprachen unterstützt SmolLM3?

  SmolLM3 unterstützt nativ sechs Sprachen: Englisch, Französisch, Spanisch, Deutsch, Italienisch und Portugiesisch.

• Wie hoch ist die Kontextlängenfähigkeit von SmolLM3?

  SmolLM3 unterstützt die Verarbeitung langer Kontexte, trainiert auf 64k Kontext und in der Lage, bis zu 128k Tokens mithilfe von YARN-Extrapolation zu verarbeiten.

• Ist SmolLM3 ein offenes Modell?

  Ja, SmolLM3 ist ein vollständig offenes Modell mit offenen Gewichten und detaillierten Trainingskonfigurationen.

• Wie ist die Architektur von SmolLM3?

  SmolLM3 ist ein Decoder-Only-Transformer, der GQA und NoPE im Verhältnis 3:1 verwendet.

• Kann SmolLM3 für Tool-Calling verwendet werden?

  Ja, SmolLM3 unterstützt Tool-Calling über XML oder Python-Funktionsaufrufe.

• Welche Frameworks sind mit SmolLM3 kompatibel?

  SmolLM3 kann mit vLLM, SGLang, llama.cpp, ONNX, MLX, MLC und ExecuTorch bereitgestellt werden.

• Was sind die Hauptanwendungsfälle für SmolLM3?

  SmolLM3 eignet sich für mehrsprachige Aufgaben, komplexes Reasoning und hybride Reasoning-Anwendungen.