Beschreibung
AliceAI-Foundation-80B-A3B-Base ist ein grundlegendes Sprachmodell, das von Yandex entwickelt und auf Hugging Face gehostet wird. Es ist mit einer hybriden Architektur ausgestattet, die Mixture of Experts (MoE)-Schichten integriert, und verfügt über insgesamt 80 Milliarden Parameter, von denen 3 Milliarden für jedes Token aktiv sind. Das Modell unterstützt eine Kontextlänge von bis zu 262.144 Tokens, was es geeignet macht, umfangreiche Texteingaben zu verarbeiten.
Weiterlesen
Das Modell wurde von Grund auf neu trainiert, mit einem neu zusammengestellten Trainingskorpus und sorgfältig ausgewählten Architekturen und Hyperparametern. Es ist besonders stark bei Aufgaben, die faktisches Wissen in der russischen Sprache erfordern, und übertrifft in diesem Bereich größere Open-Source-Modelle. Die Leistung des Modells wird durch Benchmarks wie WikiWebFacts und HardMultiQA validiert, die sich auf russische Kontexte konzentrieren.
AliceAI-Foundation-80B-A3B-Base ist ein autoregressives Sprachmodell, das sich derzeit in der Vortrainingsphase befindet. Es verfügt über eine versteckte Zustandsgröße von 2048, eine Vokabulargröße von 129.024 und besteht aus 48 Schichten. Die Architektur des Modells umfasst 12 Blöcke von 3 KDA zu MoE-Schichten, gefolgt von 1 Gated Attention zu MoE-Schicht.
Die Fähigkeiten des Modells werden durch verschiedene Benchmarks demonstriert, bei denen es wettbewerbsfähige Ergebnisse in Mathematik-, Programmier- und Denkaufgaben zeigt. Es ist besonders effektiv bei Aufgaben des faktischen Wissens in Russisch, wie durch seine Leistung in den Benchmarks WikiWebFacts und HardMultiQA belegt.
AliceAI-Foundation-80B-A3B-Base ist über die Transformers-Bibliothek verfügbar, mit einer Referenzversion von 5.16.1. Es kann auch mit vLLM bereitgestellt werden, wobei Docker und das NVIDIA Container Toolkit für die Ausführung erforderlich sind. Das Modell ist offen für weiteres Fine-Tuning und Anpassungen an spezifische Aufgaben, wobei Unterstützung für LoRA-Fine-Tuning im Repository bereitgestellt wird.
Dieses Modell ist hauptsächlich für Forschung, Experimente und weitere Entwicklungen gedacht. Es ist keine sofort einsatzbereite Lösung für Endbenutzerprodukte und -dienstleistungen. Benutzer werden geraten, eigene Tests durchzuführen und notwendige Anpassungen und Kontrollmaßnahmen zu implementieren, bevor sie das Modell in Produktionsumgebungen einsetzen.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
AliceAI-Foundation-80B-A3B-Base im Überblick
80 Milliarden Parameter
3 Milliarden aktive Parameter pro Token
Hybride Architektur mit MoE-Schichten
Unterstützt eine Kontextlänge von bis zu 262.144 Tokens
Starke Leistung bei russischen Aufgaben des faktischen Wissens
Von Grund auf neu vortrainiert
Verfügbar über Transformers und vLLM
Unterstützt LoRA-Fine-Tuning
Erste Schritte mit AliceAI-Foundation-80B-A3B-Base
Zugriff auf die Modellseite: Besuchen Sie Hugging Face
Authentifizieren: Melden Sie sich bei Ihrem Konto an
Konfigurieren: Richten Sie die Modellparameter ein
Eingabeaufforderungen senden: Geben Sie Ihre Textanfragen ein
Fine-Tuning: Passen Sie das Modell an spezifische Aufgaben an
AliceAI-Foundation-80B-A3B-Base's Anwendungsfälle
- Abruf von faktischem Wissen
- Lösen mathematischer Probleme
- Programmierungsunterstützung
- Sprachverständnis
- Forschung und Entwicklung
