Deskripsi
MiniCPM5-2B adalah model kedua dalam seri MiniCPM5, setelah MiniCPM5-1B. Ini adalah model Transformer 2B yang padat dibangun untuk penerapan lokal di perangkat dan skenario dengan sumber daya terbatas. Model ini meningkatkan resep pelatihan yang sama dan mencapai kinerja terbaik (SOTA) di dalam model sumber terbuka kelas 2B. Model ini tetap kompetitif dengan model kelas 4B yang lebih besar, terutama unggul dalam bidang seperti pemrograman, matematika, pemahaman konteks panjang, penggunaan alat, dan tugas-tugas agensi.
Baca Selengkapnya
Model ini dilatih menggunakan dataset berkualitas tinggi dari keluarga UltraData, termasuk UltraX untuk pelatihan web, UltraData-Code untuk kemampuan pemrograman, UltraData-SFT-Agent-2609 untuk pelatihan agen, dan UltraData-RL-2609 untuk pembelajaran penguatan. Dataset ini berkontribusi pada kemampuan komprehensif model, menjadikannya cocok untuk berbagai aplikasi seperti asisten lokal, agen pemrograman, dan skenario penalaran.
MiniCPM5-2B menggunakan arsitektur LlamaForCausalLM standar dengan 2.516.756.480 parameter, 42 lapisan, dan panjang konteks 131.072. Model ini dirancang untuk memberikan dukungan konteks panjang secara native sambil mempertahankan jejak penerapan yang kecil. Pelatihan model melibatkan praktik penuh dari Manajemen Data Bertingkat UltraData, mencakup tahap pelatihan dasar, pelatihan menengah, dan pasca-pelatihan.
Selama pasca-pelatihan, model menjalani Penyempurnaan Terawasi (SFT), Pembelajaran Penguatan (RL), dan Distilasi On-Policy (OPD) untuk meningkatkan kemampuannya lebih lanjut. RL + OPD secara signifikan meningkatkan penalaran dan kemampuan umum model, menggabungkan keahlian dari 16 model khusus menjadi satu model rilis.
MiniCPM5-2B tersedia dalam berbagai format yang cocok untuk skenario penerapan yang berbeda, termasuk BF16, GGUF, dan MLX. Model ini mendukung berbagai backend seperti Transformers, vLLM, SGLang, dan llama.cpp, memungkinkan penerapan yang fleksibel di berbagai platform dan perangkat. Model ini dirilis di bawah Lisensi Apache-2.0, memastikan akses terbuka dan kolaborasi.
- KategoriModel AI & LLM
Sorotan MiniCPM5-2B
Model Transformer 2B yang padat
Penerapan di perangkat
Skenario dengan sumber daya terbatas
Kinerja terbaik
Dataset pelatihan berkualitas tinggi
Arsitektur LlamaForCausalLM standar
Dukungan konteks panjang secara native
Manajemen Data Bertingkat UltraData
Memulai dengan MiniCPM5-2B
Akses halaman model: Kunjungi halaman model Hugging Face
Autentikasi: Masuk ke akun Hugging Face Anda
Konfigurasi: Atur parameter model dan lingkungan
Kirim prompt: Gunakan model untuk tugas spesifik Anda
Penyempurnaan: Sesuaikan model untuk aplikasi khusus
Kasus Penggunaan MiniCPM5-2B
- Asisten Lokal
- Agen Pemrograman
- Alur Kerja Penggunaan Alat
- Skenario Penalaran
- Tugas Agensi
