Deskripsi
SmolLM3 adalah model bahasa dengan 3 miliar parameter yang dikembangkan untuk meningkatkan kemampuan model kecil dalam kecerdasan buatan. Model ini dirancang untuk mendukung penalaran mode ganda dan bersifat multibahasa, secara native mendukung enam bahasa: Inggris, Prancis, Spanyol, Jerman, Italia, dan Portugis. Model ini sepenuhnya terbuka, dengan bobot terbuka dan rincian pelatihan yang komprehensif, termasuk campuran data publik dan konfigurasi pelatihan.
Baca Selengkapnya
Arsitektur SmolLM3 adalah transformer hanya decoder yang menggunakan GQA dan NoPE dengan rasio 3:1. Model ini dilatih sebelumnya pada 11,2 triliun token menggunakan kurikulum bertahap yang mencakup data web, kode, matematika, dan penalaran. Setelah pelatihan, dilakukan pelatihan menengah pada 140 miliar token penalaran, diikuti dengan fine-tuning terawasi dan penyelarasan melalui Optimisasi Preferensi Berbasis (APO).
SmolLM3 dioptimalkan untuk penalaran hibrida dan mendukung pemrosesan konteks panjang, dilatih pada konteks 64k dan mampu menangani hingga 128k token menggunakan eksrapolasi YARN. Model ini dapat diterapkan menggunakan vLLM dan SGLang, kompatibel dengan API format OpenAI. Model ini juga mendukung pemanggilan alat, memungkinkan integrasi dengan berbagai alat melalui panggilan fungsi XML atau Python.
Untuk inferensi lokal, SmolLM3 dapat digunakan dengan llama.cpp, ONNX, MLX, MLC, dan ExecuTorch. Titik pemeriksaan terkuantisasi tersedia untuk penerapan yang efisien. Kinerja model telah dievaluasi di berbagai tolok ukur, menunjukkan hasil yang kuat dalam Q&A multibahasa, pemrograman kompetitif, dan tugas mengikuti instruksi.
SmolLM3 adalah alat yang berharga bagi pengembang dan peneliti yang ingin memanfaatkan AI untuk tugas penalaran multibahasa dan kompleks. Namun, pengguna harus menyadari bahwa konten yang dihasilkan mungkin tidak selalu akurat secara faktual atau bebas dari bias yang ada dalam data pelatihan.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud
- PlatformWeb
Sorotan Model Bahasa SmolLM3
Model bahasa dengan 3 miliar parameter
Mendukung penalaran mode ganda
Multibahasa: 6 bahasa
Pemrosesan konteks panjang hingga 128k token
Model terbuka dengan bobot terbuka
Model instruksi dioptimalkan untuk penalaran hibrida
Dukungan pemanggilan alat
Kompatibel dengan vLLM dan SGLang
Memulai dengan Model Bahasa SmolLM3
Akses halaman: Kunjungi halaman model Hugging Face
Muat model: Gunakan transformers v4.53.0 atau vllm terbaru
Konfigurasi lingkungan: Atur parameter sampling dan panjang konteks
Integrasi: Gunakan pemanggilan alat dengan fungsi XML atau Python
Fine-tune: Terapkan fine-tuning terawasi dan penyelarasan
Kasus Penggunaan Model Bahasa SmolLM3
- Q&A Multibahasa
- Penalaran Hibrida
- Integrasi Alat
- Pemrosesan Konteks Panjang
- Mengikuti Instruksi
