Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

llama-modchip

Repositori GitHub AIMLOps & Penerapan ModelOpen source · Linux, Windows

llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini mendukung tingkat token per detik yang tinggi dan jendela konteks 256K, mengintegrasikan fitur canggih seperti SwiGLU-H2 dan pemulihan Kode Claude untuk penyebaran dan eksperimen model AI yang efisien dan mudah diakses.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

llama-modchip adalah proyek GitHub sumber terbuka yang dirancang untuk mengoptimalkan eksekusi model bahasa besar (LLM) pada perangkat keras CPU konvensional, khususnya menargetkan sistem dengan RAM 64GB dan tanpa GPU khusus. Proyek ini menunjukkan kemampuan untuk menjalankan model seperti 284B DeepSeek-V4-Flash dengan kurang dari 59GiB RAM, mencapai metrik kinerja yang mengesankan seperti 44,4 token per detik (pp) dan 9,1-14,7 token per detik secara keseluruhan. Ini juga mendukung model 30B Mixture of Experts (MoE), memberikan kecepatan antara 25-111 token per detik.

Baca Selengkapnya

Inovasi inti dari llama-modchip terletak pada kemampuannya untuk memanfaatkan sumber daya CPU secara efisien, menyediakan solusi yang hemat biaya dan mudah diakses bagi peneliti, pengembang, dan penggemar yang mungkin tidak memiliki akses ke infrastruktur GPU kelas atas. Ini sangat signifikan untuk model yang memerlukan jendela konteks besar, karena proyek ini mendukung hingga 256K konteks, memungkinkan kemampuan pemrosesan percakapan atau dokumen yang luas.

Selain kinerja mentah, llama-modchip menggabungkan beberapa fitur dan optimasi canggih. Ini termasuk SwiGLU-H2, fungsi aktivasi yang sangat efisien, dan Stockfish-PVS L3, yang kemungkinan merujuk pada algoritma pencarian atau struktur data yang dioptimalkan, meningkatkan kemampuan penalaran atau pemrosesan model. Proyek ini juga menyoroti fitur "pemulihan Kode Claude 13ms", yang menunjukkan pemulihan cepat atau integrasi fungsi terkait kode, berpotensi meningkatkan alur kerja pengembangan atau tugas generasi kode.

Struktur repositori menunjukkan pengembangan yang sedang berlangsung dan fokus pada berbagai aspek penyebaran dan optimasi model. Direktori seperti `apple-silicon` menunjukkan optimasi khusus untuk chip M-series Apple, sementara `benchmarks` dan `docs` menyediakan data kinerja dan penjelasan terperinci. Kehadiran folder `patches` dan `speculative` menunjukkan upaya penyempurnaan dan penguatan keamanan yang berkelanjutan. Secara keseluruhan, llama-modchip bertujuan untuk mendorong batasan apa yang mungkin dilakukan dengan inferensi LLM hanya menggunakan CPU, membuat model AI canggih lebih tersedia secara luas.

  • KategoriMLOps & Penerapan Model
  • Model HargaOpen source
  • PenerapanDi-host sendiri
  • PlatformLinux, Windows

  • Jalankan 284B DeepSeek-V4-Flash pada CPU 64GB

  • Capai 44,4 token/s pp untuk DeepSeek-V4-Flash

  • Dukung model 30B Mixture of Experts (MoE)

  • Beroperasi dengan jendela konteks 256K pada CPU

  • Manfaatkan optimasi SwiGLU-H2

  • Integrasikan Stockfish-PVS L3

  • Fitur pemulihan Kode Claude 13ms

  • Dioptimalkan untuk penggunaan RAM kurang dari 59GiB

  • Termasuk optimasi khusus Apple Silicon

  • Menyediakan benchmark dan dokumentasi terperinci

  • Menawarkan penguatan keamanan dan patch

  • Mendukung berbagai sistem operasi (misalnya, Fedora, Windows)

  1. Clone Repository: Gunakan `git clone` untuk mengunduh proyek llama-modchip dari GitHub.

  2. Tinjau Dokumentasi: Konsultasikan file `README.md`, `ARCHITECTURE.md`, dan `FAQ.md` untuk instruksi pengaturan dan persyaratan sistem yang terperinci.

  3. Instal Dependensi: Jalankan skrip `install.sh` atau ikuti instruksi manual untuk menyiapkan pustaka dan alat yang diperlukan.

  4. Konfigurasi Lingkungan: Sesuaikan pengaturan untuk arsitektur CPU dan konfigurasi RAM spesifik Anda seperti yang dijelaskan dalam dokumentasi.

  5. Jalankan Model: Ikuti skrip atau perintah yang disediakan untuk memuat dan mengeksekusi model DeepSeek-V4-Flash atau MoE.

  6. Pantau Kinerja: Manfaatkan alat benchmark dalam repositori untuk mengevaluasi tingkat token per detik dan penggunaan sumber daya.

  • Inferensi LLM Hanya Menggunakan CPU
  • Pengembangan AI Terbatas Memori
  • Pemrosesan Jendela Konteks Tinggi
  • Penyebaran Model MoE yang Efisien
  • Penelitian dan Eksperimen AI
  • Generasi dan Pemulihan Kode

Ulasan llama-modchip

Memuat...

Alat AI Populer Seperti llama-modchip

BigMoeOnEdge

Repositori GitHub AI

BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

Soup

Repositori GitHub AI

Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

vLLM

Repositori GitHub AI

vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

MLOps & Penerapan Model

Peringkat 23 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

UnggulanMLOps & Penerapan Model
Peringkat 23 di Repositori GitHub AI

mlc-llm

Repositori GitHub AI

mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…mlc-llm adalah mesin penyebaran LLM universal yang memanfaatkan kompilasi pembelajaran mesin untuk menyederhanakan proses penyebaran. Ini dirancang untuk meningkatkan efisiensi…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

trnrt

Repositori GitHub AI

trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model

Peringkat 160 di MLOps & Penerapan Model

Lihat Alat

Repositori GitHub AI

Mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model
Peringkat 160 di MLOps & Penerapan Model

AirLLM

Repositori GitHub AI

AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model

Peringkat 73 di Machine Learning & Ilmu Data

Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model
Peringkat 73 di Machine Learning & Ilmu Data

LMDeploy

Repositori GitHub AI

LMDeploy adalah toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…

MLOps & Penerapan Model

Peringkat 59 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…LMDeploy adalah toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…

MLOps & Penerapan Model
Peringkat 59 di Repositori GitHub AI

FlashInfer

Repositori GitHub AI

FlashInfer adalah pustaka kernel yang dirancang untuk melayani model bahasa besar (LLM). Ini memfasilitasi penyebaran dan pengelolaan LLM yang efisien, memungkinkan pengembang…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Pustaka kernel yang dirancang untuk melayani model bahasa besar (LLM). Ini memfasilitasi penyebaran dan pengelolaan LLM yang efisien, memungkinkan pengembang…FlashInfer adalah pustaka kernel yang dirancang untuk melayani model bahasa besar (LLM). Ini memfasilitasi penyebaran dan pengelolaan LLM yang efisien, memungkinkan pengembang…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI
1 dari 8