Model Bahasa SmolLM3

Deskripsi

SmolLM3 adalah model bahasa dengan 3 miliar parameter yang dikembangkan untuk meningkatkan kemampuan model kecil dalam kecerdasan buatan. Model ini dirancang untuk mendukung penalaran mode ganda dan bersifat multibahasa, secara native mendukung enam bahasa: Inggris, Prancis, Spanyol, Jerman, Italia, dan Portugis. Model ini sepenuhnya terbuka, dengan bobot terbuka dan rincian pelatihan yang komprehensif, termasuk campuran data publik dan konfigurasi pelatihan.

Arsitektur SmolLM3 adalah transformer hanya decoder yang menggunakan GQA dan NoPE dengan rasio 3:1. Model ini dilatih sebelumnya pada 11,2 triliun token menggunakan kurikulum bertahap yang mencakup data web, kode, matematika, dan penalaran. Setelah pelatihan, dilakukan pelatihan menengah pada 140 miliar token penalaran, diikuti dengan fine-tuning terawasi dan penyelarasan melalui Optimisasi Preferensi Berbasis (APO).

SmolLM3 dioptimalkan untuk penalaran hibrida dan mendukung pemrosesan konteks panjang, dilatih pada konteks 64k dan mampu menangani hingga 128k token menggunakan eksrapolasi YARN. Model ini dapat diterapkan menggunakan vLLM dan SGLang, kompatibel dengan API format OpenAI. Model ini juga mendukung pemanggilan alat, memungkinkan integrasi dengan berbagai alat melalui panggilan fungsi XML atau Python.

Untuk inferensi lokal, SmolLM3 dapat digunakan dengan llama.cpp, ONNX, MLX, MLC, dan ExecuTorch. Titik pemeriksaan terkuantisasi tersedia untuk penerapan yang efisien. Kinerja model telah dievaluasi di berbagai tolok ukur, menunjukkan hasil yang kuat dalam Q&A multibahasa, pemrograman kompetitif, dan tugas mengikuti instruksi.

SmolLM3 adalah alat yang berharga bagi pengembang dan peneliti yang ingin memanfaatkan AI untuk tugas penalaran multibahasa dan kompleks. Namun, pengguna harus menyadari bahwa konten yang dihasilkan mungkin tidak selalu akurat secara faktual atau bebas dari bias yang ada dalam data pelatihan.

Sorotan Model Bahasa SmolLM3

• Model bahasa dengan 3 miliar parameter

• Mendukung penalaran mode ganda

• Multibahasa: 6 bahasa

• Pemrosesan konteks panjang hingga 128k token

• Model terbuka dengan bobot terbuka

• Model instruksi dioptimalkan untuk penalaran hibrida

• Dukungan pemanggilan alat

• Kompatibel dengan vLLM dan SGLang

Memulai dengan Model Bahasa SmolLM3

1. 1

   Akses halaman: Kunjungi halaman model Hugging Face

2. 2

   Muat model: Gunakan transformers v4.53.0 atau vllm terbaru

3. 3

   Konfigurasi lingkungan: Atur parameter sampling dan panjang konteks

4. 4

   Integrasi: Gunakan pemanggilan alat dengan fungsi XML atau Python

5. 5

   Fine-tune: Terapkan fine-tuning terawasi dan penyelarasan

Kasus Penggunaan Model Bahasa SmolLM3

• Q&A Multibahasa
• Penalaran Hibrida
• Integrasi Alat
• Pemrosesan Konteks Panjang
• Mengikuti Instruksi

FAQ dari Model Bahasa SmolLM3

• Apa itu SmolLM3?

  SmolLM3 adalah model bahasa dengan 3 miliar parameter yang dirancang untuk efisiensi model kecil, mendukung penalaran mode ganda dan kemampuan multibahasa.

• Berapa banyak bahasa yang didukung SmolLM3?

  SmolLM3 secara native mendukung enam bahasa: Inggris, Prancis, Spanyol, Jerman, Italia, dan Portugis.

• Apa kemampuan panjang konteks SmolLM3?

  SmolLM3 mendukung pemrosesan konteks panjang, dilatih pada konteks 64k dan mampu menangani hingga 128k token menggunakan eksrapolasi YARN.

• Apakah SmolLM3 adalah model terbuka?

  Ya, SmolLM3 adalah model sepenuhnya terbuka dengan bobot terbuka dan konfigurasi pelatihan yang rinci tersedia.

• Apa arsitektur SmolLM3?

  SmolLM3 adalah transformer hanya decoder yang menggunakan GQA dan NoPE dengan rasio 3:1.

• Dapatkah SmolLM3 digunakan untuk pemanggilan alat?

  Ya, SmolLM3 mendukung pemanggilan alat melalui panggilan fungsi XML atau Python.

• Framework apa yang kompatibel dengan SmolLM3?

  SmolLM3 dapat diterapkan menggunakan vLLM, SGLang, llama.cpp, ONNX, MLX, MLC, dan ExecuTorch.

• Apa saja kasus penggunaan utama untuk SmolLM3?

  SmolLM3 cocok untuk tugas multibahasa, penalaran kompleks, dan aplikasi penalaran hibrida.