Beschreibung
Hy4 Vorschau ist ein hochmodernes Mixture-of-Experts (MoE) Modell, das vom Tencent Hy Team entwickelt wurde. Es verfügt über insgesamt 770 Milliarden Parameter, von denen 49 Milliarden pro Token aktiviert werden. Die Architektur des Modells besteht aus 78 Schichten, die eine Kombination aus dichten FFN- und MoE-Schichten nutzen, wobei jede 256 geroutete Experten und einen gemeinsamen Experten enthält. Dieses Design ermöglicht die Aktivierung der besten 8 gerouteten Experten pro Token, was die Verarbeitungsfähigkeiten verbessert.
Weiterlesen
Das Modell verwendet Gated DeepSeek Sparse Attention (Gated DSA) mit IndexCache für eine effiziente Wiederverwendung von sparsamen Indizes über Schichten hinweg. Sein Residualpfad nutzt identitätsbasierte Hyper-Verbindungen (iHC), um den Informationsfluss zwischen den Schichten zu verbessern. Hy4 Vorschau ist in Bezug auf Modellgröße, Kontextlänge und Trainingsdaten skaliert und macht es zu einem führenden Modell im Bereich der Open-Source-KI.
Hy4 Vorschau ist darauf ausgelegt, in verschiedenen Bereichen, einschließlich der Softwareentwicklung, hervorragende Leistungen zu erbringen, wo es bei der Analyse, Planung, Fehlersuche und Verifizierung von langfristigen Aufgaben hilft. In der Spielentwicklung kann es einen einzelnen Prompt in einen spielbaren Prototyp umwandeln und arbeitet nahtlos mit Spiel-Engines zusammen. Für Büro- und Analyseaufgaben verwandelt es unordentliche Kontexte in teilbare Artefakte wie Dokumente und Tabellenkalkulationen. In der wissenschaftlichen Forschung bietet es starke Fähigkeiten im Bereich des Denkens und der Problemlösung.
Das Modell ist Open Source und auf Plattformen wie Hugging Face, ModelScope, GitCode und CNB verfügbar. Es unterstützt die Bereitstellung mit vLLM oder SGLang und bietet eine umfassende Pipeline zur Feinabstimmung des Modells. Hy4 Vorschau wird unter der Apache License 2.0 veröffentlicht, was seine Zugänglichkeit und Anpassungsfähigkeit für verschiedene Anwendungen gewährleistet.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Hy4 Vorschau im Überblick
Mixture-of-Experts-Architektur
770 Milliarden Parameter
Gated DeepSeek Sparse Attention
Identitätsbasierte Hyper-Verbindungen
Open Source
Unterstützung für Feinabstimmung
Spekulatives Decoding
Verfügbar auf Hugging Face
Erste Schritte mit Hy4 Vorschau
Zugriff auf die Modellseite: Besuchen Sie die offizielle Hugging Face-Seite
Authentifizieren: Melden Sie sich an oder erstellen Sie ein Konto
Konfigurieren: Richten Sie die Modellparameter und die Umgebung ein
Eingaben senden: Interagieren Sie mit dem Modell über API-Aufrufe
Feinabstimmen: Passen Sie das Modell für spezifische Aufgaben an
Hy4 Vorschau's Anwendungsfälle
- Softwareentwicklung
- Spielentwicklung
- Büroanalyse
- Wissenschaftliche Forschung
- KI-Forschung












