Deskripsi
K2-Horizon-MoVA-36B-A4B adalah model Mixture-of-Experts yang canggih yang menggabungkan perhatian Mixture-of-Values, dirancang untuk menangani tugas kompleks dengan efisiensi. Ini adalah bagian dari keluarga K2-Horizon dan terkenal karena arsitekturnya yang jarang, yang memungkinkannya menyimpan 36 miliar parameter sambil menjalankan 4 miliar per token. Model ini telah dirilis dengan akses terbuka ke titik pemeriksaan, data, dan kode pelatihan, mendukung demokratisasi kecerdasan buatan melalui inisiatif sumber terbuka dan ilmu terbuka.
Baca Selengkapnya
Model ini mencapai hasil kelas terdepan, terutama unggul dalam tolok ukur agenik dan penalaran. Model ini melampaui model padat dengan bobot terbuka yang berukuran sekitar 30 miliar dan model MoE hingga 15 kali ukurannya, sambil juga bersaing secara efektif melawan model terdepan tertutup. Dengan jendela konteks asli sebesar 524.288 token, K2-Horizon-MoVA-36B-A4B mendukung pemrosesan konteks yang luas dari tahap pelatihan menengah ke depan.
Titik pemeriksaan menengah tersedia, memungkinkan peneliti untuk mempelajari perubahan kemampuan di berbagai tahap pelatihan. Data pelatihan dan resep model, bersama dengan kode pelatihan, sepenuhnya terbuka, mempromosikan transparansi dan kolaborasi dalam penelitian AI.
K2-Horizon-MoVA-36B-A4B divalidasi dengan Transformers 5.15.0, PyTorch 2.13.0, dan Safetensors 0.8.0. Model ini mendukung berbagai format panggilan alat, termasuk JSON, XML, dan XML-typed, dengan XML sebagai default. Model ini dirancang untuk digunakan dengan pengaturan usaha penalaran tinggi, memastikan kinerja optimal di berbagai aplikasi.
Model ini cocok untuk berbagai aplikasi, termasuk penggunaan alat agenik, penggunaan terminal, pengkodean ilmiah, dan QA sains tingkat pascasarjana. Ini sangat efektif dalam penalaran konteks panjang dan menjaga akurasi faktual, menjadikannya alat yang berharga bagi peneliti dan pengembang di komunitas AI.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan K2-Horizon-MoVA-36B-A4B
Arsitektur Mixture-of-Experts
Perhatian Mixture-of-Values
36 miliar parameter
4 miliar parameter aktif
Titik pemeriksaan dan data sumber terbuka
Jendela konteks 512K
Titik pemeriksaan menengah tersedia
Divalidasi dengan Transformers dan PyTorch
Memulai dengan K2-Horizon-MoVA-36B-A4B
Akses halaman model: Kunjungi Hugging Face
Autentikasi: Masuk ke akun Anda
Konfigurasi: Atur reasoning_effort ke tinggi
Kirim prompt: Gunakan API dengan pengaturan yang direkomendasikan
Fine-tune: Manfaatkan titik pemeriksaan yang tersedia
Kasus Penggunaan K2-Horizon-MoVA-36B-A4B
- Penggunaan Alat Agenik
- Penggunaan Terminal
- Pengkodean Ilmiah
- QA Tingkat Pascasarjana
- Penalaran Konteks Panjang
