Deskripsi
Hy4 Preview adalah model Mixture-of-Experts (MoE) yang mutakhir yang dikembangkan oleh Tim Hy Tencent. Model ini memiliki total 770 miliar parameter, dengan 49 miliar yang diaktifkan per token. Arsitektur model terdiri dari 78 lapisan, menggunakan kombinasi lapisan FFN padat dan lapisan MoE, masing-masing berisi 256 ahli yang diarahkan dan satu ahli bersama. Desain ini memungkinkan aktivasi delapan ahli teratas yang diarahkan per token, meningkatkan kemampuan pemrosesannya.
Baca Selengkapnya
Model ini menggunakan Gated DeepSeek Sparse Attention (Gated DSA) dengan IndexCache untuk penggunaan kembali indeks jarang antar lapisan yang efisien. Jalur residu menggunakan Hyper-Connections identitas (iHC) untuk meningkatkan aliran informasi antar lapisan. Hy4 Preview diskalakan dalam hal ukuran model, panjang konteks, dan data pelatihan, menjadikannya pemimpin dalam model AI sumber terbuka.
Hy4 Preview dirancang untuk unggul di berbagai domain, termasuk rekayasa perangkat lunak, di mana ia membantu dalam memahami, merencanakan, melakukan debugging, dan memverifikasi tugas jangka panjang. Dalam pengembangan game, ia dapat mengubah satu prompt menjadi prototipe yang dapat dimainkan, bekerja dengan mulus dengan mesin game. Untuk tugas kantor dan analisis, ia mengubah konteks yang berantakan menjadi artefak yang dapat dibagikan seperti dokumen dan spreadsheet. Dalam penelitian ilmiah, ia menawarkan kemampuan penalaran dan pemecahan masalah yang kuat.
Model ini bersifat sumber terbuka dan tersedia di platform seperti Hugging Face, ModelScope, GitCode, dan CNB. Ia mendukung penerapan dengan vLLM atau SGLang dan menawarkan jalur pelatihan model yang komprehensif. Hy4 Preview dirilis di bawah Lisensi Apache 2.0, memastikan aksesibilitas dan adaptabilitasnya untuk berbagai aplikasi.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Hy4 Preview
Arsitektur Mixture-of-Experts
770 Miliar Parameter
Gated DeepSeek Sparse Attention
Hyper-Connections Identitas
Sumber Terbuka
Dukungan Fine-tuning
Dekoding Spekulatif
Tersedia di Hugging Face
Memulai dengan Hy4 Preview
Akses halaman model: Kunjungi halaman resmi Hugging Face
Autentikasi: Masuk atau buat akun
Konfigurasi: Atur parameter model dan lingkungan
Kirim prompt: Interaksi dengan model menggunakan panggilan API
Fine-tune: Sesuaikan model untuk tugas tertentu
Kasus Penggunaan Hy4 Preview
- Rekayasa Perangkat Lunak
- Pengembangan Game
- Analisis Kantor
- Penelitian Ilmiah
- Penelitian AI
