Deskripsi
Hy3 adalah model Mixture-of-Experts (MoE) yang canggih yang dikembangkan oleh Tim Hy Tencent, dengan total 295 miliar parameter, 21 miliar parameter aktif, dan 3,8 miliar parameter lapisan MTP. Diluncurkan setelah Hy3 Preview, model ini telah disempurnakan dengan umpan balik dari lebih dari 50 produk dan ditingkatkan pasca-pelatihan dengan data berkualitas tinggi. Hy3 mengungguli model seukuran serupa dan menyaingi model sumber terbuka unggulan dengan 2-5 kali lebih banyak parameter.
Baca Selengkapnya
Model ini menunjukkan peningkatan utilitas yang signifikan di berbagai tugas produktivitas, termasuk pengkodean, pekerjaan kantor, pemodelan keuangan, desain frontend, dan pengembangan game. Ini adalah pilihan yang hemat biaya bagi mereka yang mencari kinerja yang dapat diandalkan di bidang ini. Arsitektur Hy3 mencakup 80 lapisan, satu lapisan MTP, 64 kepala perhatian, dan ukuran tersembunyi 4096, mendukung panjang konteks 256K dan ukuran kosakata 120.832.
Kinerja Hy3 tidak sepenuhnya tercermin dalam tolok ukur publik, sehingga evaluasi buta dengan 270 ahli dilakukan, di mana model ini mencetak 2,67 dari 4, mengungguli GLM-5.1. Model ini unggul dalam pengembangan frontend, data & penyimpanan, dan tugas CI/CD. Peningkatan dalam stabilitas, retensi pengetahuan, dan pelacakan niat multi-putaran telah dilakukan, secara signifikan mengurangi tingkat halusinasi dan kesalahan akal sehat.
Hy3 bersifat sumber terbuka, dengan bobot model tersedia di platform seperti Hugging Face, ModelScope, GitCode, dan CNB. Ini mendukung penerapan dengan vLLM atau SGLang dan menawarkan jalur pelatihan model yang komprehensif. Model ini dirilis di bawah Lisensi Apache 2.0.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Hy3
295B total parameter
Arsitektur Mixture-of-Experts
21B parameter aktif
3.8B parameter lapisan MTP
80 lapisan tidak termasuk MTP
64 kepala perhatian
Panjang konteks 256K
Ukuran kosakata 120.832
Sumber terbuka
Dukungan fine-tuning
Memulai dengan Hy3
Akses halaman model: Kunjungi halaman Hy3 di Hugging Face
Autentikasi: Masuk ke akun Hugging Face Anda
Konfigurasi: Atur parameter dan preferensi model
Kirim prompt: Interaksi dengan model menggunakan input Anda
Fine-tune: Sesuaikan model untuk tugas tertentu
Kasus Penggunaan Hy3
- Bantuan Pengkodean
- Automasi Kantor
- Pemodelan Keuangan
- Desain Frontend
- Pengembangan Game
