Beschreibung
K2-Horizon-MoVA-36B-A4B ist ein anspruchsvolles Mixture-of-Experts-Modell, das Mixture-of-Values-Attention integriert und darauf ausgelegt ist, komplexe Aufgaben effizient zu bewältigen. Es gehört zur K2-Horizon-Familie und zeichnet sich durch seine spärliche Architektur aus, die es ermöglicht, 36 Milliarden Parameter zu speichern, während es 4 Milliarden pro Token ausführt. Dieses Modell wurde mit offenem Zugang zu seinen Checkpoints, Daten und Trainingscode veröffentlicht, um die Demokratisierung der künstlichen Intelligenz durch Open-Source- und Open-Science-Initiativen zu unterstützen.
Weiterlesen
Das Modell erzielt Ergebnisse auf Spitzenklasse-Niveau und glänzt insbesondere in agentischen und reasoning Benchmarks. Es übertrifft offene dichte Modelle mit einer Größe von etwa 30 Milliarden und MoE-Modelle bis zu 15-mal seiner Größe, während es auch effektiv gegen geschlossene Spitzenmodelle konkurriert. Mit einem nativen Kontextfenster von 524.288 Tokens unterstützt K2-Horizon-MoVA-36B-A4B umfangreiche Kontextverarbeitung ab den mittleren Trainingsphasen.
Zwischen-Checkpoints sind verfügbar, die es Forschern ermöglichen, die Veränderungen der Fähigkeiten über verschiedene Trainingsphasen hinweg zu untersuchen. Die Trainingsdaten und das Rezept des Modells sowie der Trainingscode sind vollständig offen, was Transparenz und Zusammenarbeit in der KI-Forschung fördert.
K2-Horizon-MoVA-36B-A4B ist validiert mit Transformers 5.15.0, PyTorch 2.13.0 und Safetensors 0.8.0. Es unterstützt mehrere Tool-Call-Formate, einschließlich JSON, XML und XML-typisiert, wobei XML als Standard verwendet wird. Das Modell ist darauf ausgelegt, mit hohen reasoning effort-Einstellungen verwendet zu werden, um optimale Leistung in verschiedenen Anwendungen zu gewährleisten.
Das Modell eignet sich für eine Vielzahl von Anwendungen, einschließlich agentischer Werkzeugnutzung, Terminalnutzung, wissenschaftlichem Codieren und wissenschaftlichen QA auf Graduierten-Niveau. Es ist besonders effektiv im langen Kontext-Reasoning und der Aufrechterhaltung der faktischen Genauigkeit, was es zu einem wertvollen Werkzeug für Forscher und Entwickler in der KI-Community macht.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
K2-Horizon-MoVA-36B-A4B im Überblick
Mixture-of-Experts-Architektur
Mixture-of-Values-Attention
36 Milliarden Parameter
4 Milliarden aktive Parameter
Open-Source-Checkpoints und Daten
512K Kontextfenster
Verfügbare Zwischen-Checkpoints
Validiert mit Transformers und PyTorch
Erste Schritte mit K2-Horizon-MoVA-36B-A4B
Zugriff auf die Modellseite: Besuchen Sie Hugging Face
Authentifizieren: Melden Sie sich bei Ihrem Konto an
Konfigurieren: Setzen Sie reasoning_effort auf hoch
Eingaben senden: Verwenden Sie die API mit empfohlenen Einstellungen
Feinabstimmung: Nutzen Sie verfügbare Checkpoints
K2-Horizon-MoVA-36B-A4B's Anwendungsfälle
- Agentische Werkzeugnutzung
- Terminalnutzung
- Wissenschaftliches Codieren
- QA auf Graduierten-Niveau
- Langes Kontext-Reasoning
