Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

smolmaxxing

smolmaxxing adalah proyek GitHub yang fokus pada pengoptimalan eksekusi berbagai model bahasa besar (LLM) pada perangkat dengan sumber daya terbatas. Proyek ini menyediakan tolok ukur, alat, dan dokumentasi untuk memungkinkan inferensi LLM yang efisien pada perangkat kecil seperti ponsel, iPad, dan kotak TV. Proyek ini bertujuan untuk memaksimalkan kinerja dan kompatibilitas di berbagai perangkat keras, menjadikan AI canggih dapat diakses pada gadget sehari-hari.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

smolmaxxing adalah repositori GitHub sumber terbuka yang didedikasikan untuk mendorong batasan menjalankan model bahasa besar (LLM) pada perangkat sekecil mungkin. Misi inti proyek ini adalah untuk memaksimalkan kemampuan untuk menerapkan dan mengeksekusi berbagai LLM secara efisien pada perangkat keras yang biasanya dianggap kurang bertenaga untuk tugas semacam itu, termasuk smartphone, tablet, dan kotak TV pintar.

Baca Selengkapnya

Repositori ini berisi koleksi sumber daya yang komprehensif, termasuk tolok ukur, data, dokumentasi, dan alat. Ini menampilkan metrik kinerja untuk berbagai LLM, seperti Qwen3-Next-80B-A3B dan Qwen3.6-35B-A3B, yang berjalan pada perangkat tertentu seperti ponsel OnePlus atau Xiaomi TV Box S. Proyek ini secara teliti melacak kinerja token per detik (tok/s), menunjukkan kelayakan menjalankan model yang berkisar dari 260K hingga 9B parameter pada perangkat kompak ini.

smolmaxxing menyediakan pendekatan terstruktur untuk eksperimen, dengan direktori khusus untuk aset, tolok ukur, data, dan dokumentasi. Ini mencakup patch dan alat untuk memfasilitasi proses optimasi, bersama dengan tangkapan layar yang menggambarkan kemajuan proyek. File `README.md` berfungsi sebagai pusat informasi, menampilkan papan skor model dengan kinerja terbaik per kelas ukuran dan tautan ke model yang dihosting di Hugging Face.

Proyek ini ideal untuk pengembang, peneliti, dan penggemar yang tertarik pada AI tepi, pembelajaran mesin di perangkat, dan mengoptimalkan inferensi LLM untuk lingkungan dengan daya rendah. Ini mendorong kolaborasi, dengan kontribusi dari berbagai pengembang, dan mencakup panduan `CONTRIBUTING.md` bagi mereka yang ingin mengirimkan tolok ukur perangkat atau perbaikan kode. File `LICENSE` menunjukkan lisensi MIT, mempromosikan penggunaan dan modifikasi terbuka.

  • KategoriMLOps & Penerapan Model
  • Model HargaOpen source
  • PenerapanCloud, Di-host sendiri
  • PlatformWeb

  • Inferensi LLM yang dioptimalkan pada perangkat kecil

  • Tolok ukur untuk berbagai LLM pada perangkat keras yang beragam

  • Dukungan untuk model dari 260K hingga 9B parameter

  • Pelacakan kinerja (token per detik)

  • Dokumentasi untuk optimasi spesifik perangkat

  • Alat dan patch untuk penerapan LLM

  • Papan skor model dengan kinerja terbaik

  • Tautan ke model Hugging Face

  • Kontribusi komunitas dan formulir masalah

  • Lisensi MIT untuk penggunaan sumber terbuka

  • Contoh untuk ponsel, iPad, dan kotak TV

  • Repositori untuk penelitian dan pengembangan yang berkelanjutan

  1. Kloning Repositori: Gunakan `git clone` untuk mendapatkan proyek smolmaxxing ke mesin lokal Anda.

  2. Jelajahi Dokumentasi: Tinjau direktori `docs/` dan `README.md` untuk gambaran proyek, spesifikasi perangkat, dan instruksi pengaturan.

  3. Tinjau Tolok Ukur: Periksa direktori `bench/` dan `data/` untuk memahami kinerja LLM yang ada pada berbagai perangkat kecil.

  4. Instal Ketergantungan: Identifikasi dan instal pustaka atau alat yang diperlukan untuk menjalankan LLM pada perangkat target Anda.

  5. Terapkan Patch/Alat: Manfaatkan patch dan alat yang disediakan dari direktori `patches/` dan `tools/` untuk mengoptimalkan eksekusi LLM.

  6. Jalankan Eksperimen: Ikuti pedoman dalam `EXPERIMENT.md` untuk melakukan pengujian inferensi LLM Anda sendiri pada perangkat kecil.

  7. Kontribusikan Temuan: Gunakan formulir masalah `Kirim perangkat Anda` atau `CONTRIBUTING.md` untuk membagikan hasil atau perbaikan kode Anda.

  • Pengembangan AI Tepi
  • Inferensi LLM di Perangkat
  • Pengujian Kinerja
  • AI dengan Sumber Daya Terbatas
  • AI untuk Perangkat IoT
  • Aplikasi AI Mobile

Ulasan smolmaxxing

Memuat...

Alat AI Populer Seperti smolmaxxing

MNN

Repositori GitHub AI

MNN adalah mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…MNN adalah mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

BigMoeOnEdge

Repositori GitHub AI

BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

trnrt

Repositori GitHub AI

trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model

Peringkat 160 di MLOps & Penerapan Model

Lihat Alat

Repositori GitHub AI

Mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model
Peringkat 160 di MLOps & Penerapan Model

vLLM

Repositori GitHub AI

vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

MLOps & Penerapan Model

Peringkat 23 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

UnggulanMLOps & Penerapan Model
Peringkat 23 di Repositori GitHub AI

llama-modchip

Repositori GitHub AI

llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

mlc-llm

Repositori GitHub AI

mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

Soup

Repositori GitHub AI

Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

AirLLM

Repositori GitHub AI

AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model

Peringkat 73 di Machine Learning & Ilmu Data

Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model
Peringkat 73 di Machine Learning & Ilmu Data
1 dari 8