Deskripsi
LiquidAI LFM2.5-2.6B adalah bagian dari keluarga LFM2.5, serangkaian model hibrida yang dibuat untuk penerapan di perangkat. Berdasarkan arsitektur LFM2, model ini memiliki jendela konteks 128K dan pelatihan pasca-agentik, menjadikannya kompetitif dengan model yang empat kali lebih besar dalam penggunaan alat, mengikuti instruksi, dan tugas agentik multi-langkah.
Baca Selengkapnya
Model ini memiliki kemampuan inferensi yang efisien, mencapai 220 token per detik pada Apple M5 Max dan 113 token per detik pada CPU AMD Ryzen, semuanya dalam jejak memori di bawah 2,5 GB. Ini adalah model teks umum dengan 2,69 miliar parameter, 30 lapisan, dan ukuran kosakata 128.000. Model ini mendukung berbagai bahasa, termasuk Inggris, Arab, Cina, Prancis, dan lainnya.
LFM2.5-2.6B tersedia dalam berbagai format, seperti model dasar untuk fine-tuning, format terkuantisasi untuk inferensi CPU, dan format ONNX Runtime untuk penerapan lintas platform. Model ini dioptimalkan untuk inferensi cepat pada Apple Silicon menggunakan kerangka kerja MLX dan mendukung decoding spekulatif untuk output yang lebih cepat.
Model ini direkomendasikan untuk beban kerja agentik, penggunaan alat, ekstraksi data, dan alur kerja konteks panjang, meskipun tidak ideal untuk pengkodean agentik dan tugas yang berat pengetahuan. Ini mendukung pemanggilan fungsi dalam alur kerja agentik, memungkinkan integrasi yang mulus ke dalam sistem yang ada. Fine-tuning dianjurkan untuk mencapai hasil optimal untuk kasus penggunaan tertentu.
LFM2.5-2.6B telah diuji terhadap model sub-10B lainnya, menunjukkan kinerja yang kompetitif di berbagai metrik. Arsitektur efisiennya memungkinkan inferensi cepat di CPU dan GPU, menjadikannya cocok untuk berbagai aplikasi.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb, macOS, Windows
Sorotan LiquidAI LFM2.5-2.6B
Model hibrida untuk penerapan di perangkat
Jendela konteks 128K
Pelatihan pasca-agentik
Inferensi efisien
2,69 miliar parameter
Mendukung berbagai bahasa
Tersedia dalam berbagai format
Dioptimalkan untuk Apple Silicon
Memulai dengan LiquidAI LFM2.5-2.6B
Akses halaman model: Kunjungi situs web Hugging Face
Autentikasi: Masuk ke akun Hugging Face Anda
Konfigurasi: Siapkan model untuk kasus penggunaan spesifik Anda
Kirim prompt: Gunakan model untuk inferensi atau alur kerja agentik
Kasus Penggunaan LiquidAI LFM2.5-2.6B
- Alur Kerja Agentik
- Ekstraksi Data
- Penggunaan Alat
- Tugas Konteks Panjang
- Penerapan Lintas Platform
