Deskripsi
AliceAI-Foundation-80B-A3B-Base adalah model bahasa dasar yang dikembangkan oleh Yandex, dihosting di Hugging Face. Model ini dirancang dengan arsitektur hibrida yang menggabungkan lapisan Mixture of Experts (MoE), dan memiliki total 80 miliar parameter, dengan 3 miliar aktif untuk setiap token. Model ini mendukung panjang konteks hingga 262.144 token, menjadikannya cocok untuk menangani input teks yang luas.
Baca Selengkapnya
Model ini dilatih dari awal, dengan korpus pelatihan yang baru disusun dan arsitektur serta hiperparameter yang dipilih dengan cermat. Model ini sangat kuat dalam tugas yang melibatkan pengetahuan faktual dalam bahasa Rusia, mengungguli model sumber terbuka yang lebih besar di bidang ini. Kinerja model divalidasi melalui tolok ukur seperti WikiWebFacts dan HardMultiQA, yang berfokus pada konteks Rusia.
AliceAI-Foundation-80B-A3B-Base adalah model bahasa autoregresif, saat ini berada dalam tahap pra-pelatihan. Model ini memiliki ukuran status tersembunyi 2048, ukuran kosakata 129.024, dan terdiri dari 48 lapisan. Arsitektur model mencakup 12 blok dari 3 lapisan KDA ke lapisan MoE yang diikuti oleh 1 lapisan Gated Attention ke MoE.
Kemampuan model ditunjukkan melalui berbagai tolok ukur, di mana ia menunjukkan hasil yang kompetitif dalam matematika, pemrograman, dan tugas penalaran. Model ini sangat efektif dalam tugas pengetahuan faktual dalam bahasa Rusia, seperti yang dibuktikan oleh kinerjanya dalam tolok ukur WikiWebFacts dan HardMultiQA.
AliceAI-Foundation-80B-A3B-Base tersedia untuk digunakan melalui pustaka Transformers, dengan versi referensi 5.16.1. Model ini juga dapat diterapkan menggunakan vLLM, memerlukan Docker dan NVIDIA Container Toolkit untuk eksekusi. Model ini terbuka untuk pelatihan lebih lanjut dan adaptasi untuk tugas tertentu, dengan dukungan untuk pelatihan LoRA yang disediakan dalam repositori.
Model ini terutama ditujukan untuk penelitian, eksperimen, dan pengembangan lebih lanjut. Ini bukan solusi siap pakai untuk produk dan layanan pengguna akhir. Pengguna disarankan untuk melakukan pengujian mereka sendiri dan menerapkan penyesuaian serta langkah-langkah kontrol yang diperlukan sebelum menerapkan model dalam lingkungan produksi.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan AliceAI-Foundation-80B-A3B-Base
80 miliar parameter
3 miliar parameter aktif per token
Arsitektur hibrida dengan lapisan MoE
Mendukung panjang konteks hingga 262.144 token
Kinerja kuat dalam tugas pengetahuan faktual bahasa Rusia
Dilatih dari awal
Tersedia melalui Transformers dan vLLM
Mendukung pelatihan LoRA
Memulai dengan AliceAI-Foundation-80B-A3B-Base
Akses halaman model: Kunjungi Hugging Face
Autentikasi: Masuk ke akun Anda
Konfigurasi: Atur parameter model
Kirim permintaan: Masukkan kueri teks Anda
Sesuaikan: Adaptasi model untuk tugas tertentu
Kasus Penggunaan AliceAI-Foundation-80B-A3B-Base
- Pengambilan Pengetahuan Faktual
- Penyelesaian Masalah Matematika
- Bantuan Pemrograman
- Pemahaman Bahasa
- Penelitian dan Pengembangan
