Deskripsi
Ling adalah keluarga model bahasa besar campuran-pakar (MoE) yang dikembangkan dan dirilis sebagai sumber terbuka oleh inclusionAI, serangkaian proyek AI sumber terbuka dari Ant Group. Repositori GitHub menyimpan kode, dokumentasi, dan tautan ke bobot model, dan secara aktif dipelihara, dengan komit terbaru bulan ini dan 267 bintang.
Baca Selengkapnya
Proyek ini menyediakan model dalam dua ukuran utama: Ling-lite, dengan total 16,8 miliar parameter dan 2,75 miliar parameter yang diaktifkan per langkah maju, dan Ling-plus, dengan total 290 miliar parameter dan 28,8 miliar yang diaktifkan. Karena Ling menggunakan arsitektur campuran-pakar, hanya subset parameter yang diaktifkan untuk input tertentu, yang menjaga biaya inferensi lebih dekat dengan model padat yang jauh lebih kecil sambil mempertahankan jumlah parameter keseluruhan yang lebih besar. Ling-lite mendukung jendela konteks 128K token; Ling-plus mendukung 64K. Varian yang fokus pada pengkodean, Ling-Coder-lite, juga tersedia dengan jendela konteks 16K.
Bobot model didistribusikan melalui Hugging Face dan ModelScope (yang terakhir ditujukan untuk pengguna di daratan China untuk unduhan yang lebih cepat), dengan titik pemeriksaan dasar dan yang disesuaikan untuk sebagian besar varian. Repositori mendokumentasikan hasil benchmark terhadap model terbuka yang sebanding seperti Qwen3 dan LLaMA 3.1 di berbagai tugas termasuk MMLU, HumanEval, LiveCodeBench, dan benchmark penalaran matematika, di mana Ling-lite-1.5 menunjukkan skor kompetitif atau terdepan di beberapa benchmark pengkodean dan matematika di antara model dengan ukuran serupa.
Untuk penerapan, Ling mencakup jalur yang didokumentasikan untuk menjalankan inferensi melalui pustaka Hugging Face Transformers, vLLM, dan MindIE dari Huawei, ditambah kode contoh untuk inferensi batch offline dan penyajian online, termasuk pengaturan multi-mesin untuk model Ling-plus yang lebih besar. Repositori ini juga mencakup instruksi fine-tuning untuk tim yang ingin menyesuaikan model dengan data mereka sendiri.
Ling dirilis di bawah lisensi MIT, dan kode tersebut bebas untuk digunakan, dimodifikasi, dan didistribusikan. Ini ditujukan untuk peneliti, insinyur ML, dan pengembang yang ingin meng-host sendiri atau menyesuaikan LLM terbuka daripada memanggil API yang di-host, terutama mereka yang tertarik pada arsitektur campuran-pakar atau varian model yang spesifik untuk pengkodean.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanDi-host sendiri
- PlatformWeb
Fitur Inti Ling
Arsitektur campuran-pakar untuk inferensi yang efisien dalam skala besar
Beberapa ukuran model: Ling-lite (16,8B) dan Ling-plus (290B) total parameter
Varian Ling-Coder-lite yang disesuaikan untuk tugas pengkodean
Jendela konteks hingga 128K token (Ling-lite) atau 64K (Ling-plus)
Titik pemeriksaan dasar dan yang disesuaikan untuk sebagian besar varian
Bobot didistribusikan melalui Hugging Face dan ModelScope
Dukungan penerapan untuk Transformers, vLLM, dan MindIE
Alur kerja fine-tuning yang didokumentasikan untuk pelatihan kustom
Kode sumber terbuka yang dilisensikan di bawah MIT
Memulai dengan Ling
Clone repositori: ambil kode dari github.com/inclusionAI/Ling
Unduh bobot: ambil titik pemeriksaan model yang Anda butuhkan dari Hugging Face atau ModelScope
Instal dependensi: siapkan Transformers, vLLM, atau MindIE sesuai panduan penerapan repositori
Jalankan inferensi: gunakan kode quickstart yang disediakan untuk inferensi offline atau online
Fine-tune (opsional): ikuti panduan fine-tuning untuk menyesuaikan model dengan data Anda sendiri
Evaluasi: bandingkan keluaran dengan hasil benchmark yang didokumentasikan untuk kasus penggunaan Anda
Kasus Penggunaan Ling
- Inferensi LLM yang di-host sendiri
- Penelitian bantuan pengkodean
- Fine-tuning kustom
- Tugas konteks panjang
