Beschreibung
Hy3 ist ein anspruchsvolles Mixture-of-Experts (MoE) Modell, das vom Tencent Hy Team entwickelt wurde und über insgesamt 295 Milliarden Parameter verfügt, darunter 21 Milliarden aktive Parameter und 3,8 Milliarden Parameter der MTP-Schicht. Nach der Einführung der Hy3-Vorschau wurde das Modell mit Feedback von über 50 Produkten verfeinert und nach dem Training mit hochwertigen Daten verbessert. Hy3 übertrifft Modelle ähnlicher Größe und konkurriert mit führenden Open-Source-Modellen, die 2-5 Mal mehr Parameter haben.
Weiterlesen
Das Modell zeigt signifikante Nutzensteigerungen in verschiedenen Produktivitätsaufgaben, einschließlich Programmierung, Büroarbeit, Finanzmodellierung, Frontend-Design und Spieleentwicklung. Es ist eine kosteneffiziente Option für diejenigen, die zuverlässige Leistungen in diesen Bereichen suchen. Die Architektur von Hy3 umfasst 80 Schichten, eine MTP-Schicht, 64 Attention Heads und eine versteckte Größe von 4096, unterstützt eine Kontextlänge von 256K und eine Vokabulargröße von 120.832.
Die Leistung von Hy3 wird nicht vollständig durch öffentliche Benchmarks erfasst, daher wurde eine blinde Bewertung mit 270 Experten durchgeführt, bei der es 2,67 von 4 Punkten erzielte und GLM-5.1 übertraf. Das Modell glänzt in den Bereichen Frontend-Entwicklung, Daten & Speicherung sowie CI/CD-Aufgaben. Verbesserungen in der Stabilität, Wissensspeicherung und mehrstufigen Intent-Tracking wurden vorgenommen, wodurch die Halluzinationsraten und Alltagsfehler erheblich reduziert wurden.
Hy3 ist Open Source, mit Modellgewichten, die auf Plattformen wie Hugging Face, ModelScope, GitCode und CNB verfügbar sind. Es unterstützt die Bereitstellung mit vLLM oder SGLang und bietet eine umfassende Pipeline zur Feinabstimmung des Modells. Das Modell wird unter der Apache License 2.0 veröffentlicht.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Hy3 im Überblick
295B Gesamtparameter
Mixture-of-Experts-Architektur
21B aktive Parameter
3,8B Parameter der MTP-Schicht
80 Schichten ohne MTP
64 Attention Heads
Kontextlänge von 256K
Vokabulargröße von 120.832
Open Source
Unterstützung für Feinabstimmung
Erste Schritte mit Hy3
Zugriff auf die Modellseite: Besuchen Sie die Hy3-Seite auf Hugging Face
Authentifizieren: Melden Sie sich bei Ihrem Hugging Face-Konto an
Konfigurieren: Stellen Sie die Modellparameter und -einstellungen ein
Eingaben senden: Interagieren Sie mit dem Modell mithilfe Ihrer Eingaben
Feinabstimmen: Passen Sie das Modell für spezifische Aufgaben an
Hy3's Anwendungsfälle
- Programmierungsunterstützung
- Büroautomatisierung
- Finanzmodellierung
- Frontend-Design
- Spieleentwicklung
