Deskripsi
smolmaxxing adalah repositori GitHub sumber terbuka yang didedikasikan untuk mendorong batasan menjalankan model bahasa besar (LLM) pada perangkat sekecil mungkin. Misi inti proyek ini adalah untuk memaksimalkan kemampuan untuk menerapkan dan mengeksekusi berbagai LLM secara efisien pada perangkat keras yang biasanya dianggap kurang bertenaga untuk tugas semacam itu, termasuk smartphone, tablet, dan kotak TV pintar.
Baca Selengkapnya
Repositori ini berisi koleksi sumber daya yang komprehensif, termasuk tolok ukur, data, dokumentasi, dan alat. Ini menampilkan metrik kinerja untuk berbagai LLM, seperti Qwen3-Next-80B-A3B dan Qwen3.6-35B-A3B, yang berjalan pada perangkat tertentu seperti ponsel OnePlus atau Xiaomi TV Box S. Proyek ini secara teliti melacak kinerja token per detik (tok/s), menunjukkan kelayakan menjalankan model yang berkisar dari 260K hingga 9B parameter pada perangkat kompak ini.
smolmaxxing menyediakan pendekatan terstruktur untuk eksperimen, dengan direktori khusus untuk aset, tolok ukur, data, dan dokumentasi. Ini mencakup patch dan alat untuk memfasilitasi proses optimasi, bersama dengan tangkapan layar yang menggambarkan kemajuan proyek. File `README.md` berfungsi sebagai pusat informasi, menampilkan papan skor model dengan kinerja terbaik per kelas ukuran dan tautan ke model yang dihosting di Hugging Face.
Proyek ini ideal untuk pengembang, peneliti, dan penggemar yang tertarik pada AI tepi, pembelajaran mesin di perangkat, dan mengoptimalkan inferensi LLM untuk lingkungan dengan daya rendah. Ini mendorong kolaborasi, dengan kontribusi dari berbagai pengembang, dan mencakup panduan `CONTRIBUTING.md` bagi mereka yang ingin mengirimkan tolok ukur perangkat atau perbaikan kode. File `LICENSE` menunjukkan lisensi MIT, mempromosikan penggunaan dan modifikasi terbuka.
- KategoriMLOps & Penerapan Model
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti smolmaxxing
Inferensi LLM yang dioptimalkan pada perangkat kecil
Tolok ukur untuk berbagai LLM pada perangkat keras yang beragam
Dukungan untuk model dari 260K hingga 9B parameter
Pelacakan kinerja (token per detik)
Dokumentasi untuk optimasi spesifik perangkat
Alat dan patch untuk penerapan LLM
Papan skor model dengan kinerja terbaik
Tautan ke model Hugging Face
Kontribusi komunitas dan formulir masalah
Lisensi MIT untuk penggunaan sumber terbuka
Contoh untuk ponsel, iPad, dan kotak TV
Repositori untuk penelitian dan pengembangan yang berkelanjutan
Memulai dengan smolmaxxing
Kloning Repositori: Gunakan `git clone` untuk mendapatkan proyek smolmaxxing ke mesin lokal Anda.
Jelajahi Dokumentasi: Tinjau direktori `docs/` dan `README.md` untuk gambaran proyek, spesifikasi perangkat, dan instruksi pengaturan.
Tinjau Tolok Ukur: Periksa direktori `bench/` dan `data/` untuk memahami kinerja LLM yang ada pada berbagai perangkat kecil.
Instal Ketergantungan: Identifikasi dan instal pustaka atau alat yang diperlukan untuk menjalankan LLM pada perangkat target Anda.
Terapkan Patch/Alat: Manfaatkan patch dan alat yang disediakan dari direktori `patches/` dan `tools/` untuk mengoptimalkan eksekusi LLM.
Jalankan Eksperimen: Ikuti pedoman dalam `EXPERIMENT.md` untuk melakukan pengujian inferensi LLM Anda sendiri pada perangkat kecil.
Kontribusikan Temuan: Gunakan formulir masalah `Kirim perangkat Anda` atau `CONTRIBUTING.md` untuk membagikan hasil atau perbaikan kode Anda.
Kasus Penggunaan smolmaxxing
- Pengembangan AI Tepi
- Inferensi LLM di Perangkat
- Pengujian Kinerja
- AI dengan Sumber Daya Terbatas
- AI untuk Perangkat IoT
- Aplikasi AI Mobile








