Langsung ke konten utama
ToolPotion
Penasihat AI
Kirim (Gratis)

inferssd

Repositori GitHub AIMLOps & Penerapan ModelOpen source · Windows, macOS

inferssd adalah proyek open-source di GitHub yang dirancang untuk menjalankan model AI besar yang melebihi kapasitas RAM atau VRAM sistem Anda. Ini mencapainya dengan secara efisien melakukan streaming komponen Mixture-of-Experts (MoE) langsung dari penyimpanan SSD. Dibangun di atas kerangka kerja llama.cpp, inferssd memungkinkan eksekusi lokal model-model canggih pada perangkat keras yang lebih terbatas, menjadikan AI yang kuat dapat diakses tanpa memerlukan peningkatan memori yang luas.

Lihat Repositori
Bagikan
Lihat Repositori
Bagikan

inferssd adalah proyek GitHub yang berfokus pada memungkinkan eksekusi model AI besar, khususnya yang memiliki arsitektur Mixture-of-Experts (MoE), bahkan ketika ukurannya melebihi RAM atau VRAM yang tersedia. Inovasi inti terletak pada kemampuannya untuk melakukan streaming para ahli MoE dari penyimpanan SSD, secara efektif menggunakan disk sebagai perpanjangan dari memori sistem. Pendekatan ini secara signifikan mengurangi persyaratan perangkat keras untuk menjalankan model canggih secara lokal, menjadikannya dapat diakses oleh lebih banyak pengguna dan sistem.

Baca Selengkapnya

Proyek ini dibangun di atas fondasi llama.cpp, sebuah mesin inferensi berkinerja tinggi untuk model bahasa besar. Dengan memanfaatkan llama.cpp, inferssd mendapatkan manfaat dari basis yang dioptimalkan untuk eksekusi model, sambil memperluas kemampuannya untuk menangani model yang sebaliknya akan terlalu besar untuk perangkat keras kelas konsumen yang tipikal. Ini sangat berharga bagi peneliti, pengembang, dan penggemar yang ingin bereksperimen dengan atau menerapkan model besar tanpa berinvestasi dalam GPU berkapasitas tinggi yang mahal atau jumlah RAM yang besar.

Kemampuan kunci termasuk manajemen memori yang efisien yang memprioritaskan streaming komponen model sesuai kebutuhan, daripada memuat seluruh model ke dalam memori volatil sekaligus. Mekanisme pemuatan dinamis ini memastikan bahwa hanya 'ahli' atau segmen model yang aktif saat ini yang berada di RAM/VRAM, meminimalkan jejak memori. Proyek ini juga menunjukkan pengembangan yang berkelanjutan, dengan komit terbaru menunjukkan dukungan untuk inferensi SSD Windows di laptop dan optimasi untuk berbagai konfigurasi perangkat keras, termasuk GPU memori terpadu di macOS.

inferssd bertujuan untuk mendemokratisasi akses ke model AI besar dengan mengatasi batasan perangkat keras yang umum. Sifat open-source-nya mendorong kontribusi komunitas dan pengembangan lebih lanjut, mendorong inovasi dalam inferensi AI lokal. Struktur proyek, dengan komponen 'mesin' dan 'kerangka kerja' yang berbeda, menunjukkan desain modular yang dapat memfasilitasi ekspansi dan integrasi di masa depan dengan berbagai arsitektur model atau platform perangkat keras.

  • KategoriMLOps & Penerapan Model
  • Model HargaOpen source
  • PenerapanDi-host sendiri
  • PlatformWindows, macOS

  • Menjalankan model yang lebih besar dari RAM atau VRAM

  • Streaming Mixture-of-Experts (MoE) dari SSD

  • Dibangun di atas llama.cpp untuk inferensi yang efisien

  • Mendukung eksekusi model AI besar pada perangkat keras yang terbatas

  • Manajemen memori yang dioptimalkan untuk model MoE

  • Memungkinkan inferensi lokal tanpa peningkatan memori yang luas

  • Pengembangan berkelanjutan dengan komit terbaru

  • Dukungan untuk inferensi SSD Windows di laptop

  • Optimasi untuk GPU memori terpadu (misalnya, macOS)

  • Arsitektur 'mesin' dan 'kerangka kerja' modular

  • Lisensi Apache-2.0 untuk penggunaan open-source

  • Tersedia secara publik di GitHub untuk kolaborasi

  1. Clone Repository: Gunakan `git clone` untuk mengunduh proyek inferssd dari GitHub ke mesin lokal Anda.

  2. Install Dependencies: Ikuti dokumentasi proyek (misalnya, di `docs` atau `README.md`) untuk menginstal alat dan pustaka build yang diperlukan, mungkin termasuk CMake dan kompiler tertentu.

  3. Configure Build: Gunakan CMake untuk mengonfigurasi proses build, menentukan platform target Anda dan opsi yang diinginkan.

  4. Compile Project: Kompilasi kode sumber menggunakan sistem build pilihan Anda (misalnya, Make atau Visual Studio) untuk menghasilkan executable inferssd.

  5. Prepare Models: Konversi atau peroleh model MoE yang kompatibel dengan llama.cpp dan mekanisme streaming inferssd, memastikan mereka diformat dengan benar untuk inferensi SSD.

  6. Execute Inference: Jalankan aplikasi inferssd yang telah dikompilasi dengan model yang telah Anda siapkan, memungkinkan untuk melakukan streaming para ahli dari SSD untuk inferensi.

  7. Monitor Performance: Amati penggunaan sumber daya dan kecepatan inferensi, mungkin menyesuaikan konfigurasi untuk kinerja optimal pada perangkat keras spesifik Anda.

  • Inferensi LLM Lokal
  • Penerapan Model MoE
  • Riset & Pengembangan AI
  • Aplikasi AI Edge
  • Prototyping AI yang Hemat Biaya

Ulasan inferssd

Memuat...

Alat AI Populer Seperti inferssd

BigMoeOnEdge

Repositori GitHub AI

BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…BigMoeOnEdge memungkinkan menjalankan model MoE yang lebih besar dari RAM Anda di berbagai perangkat, termasuk ponsel dan laptop. Ini menggunakan pengoptimal streaming adaptif…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

llama-modchip

Repositori GitHub AI

llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…llama-modchip adalah proyek GitHub yang memungkinkan pengguna menjalankan model bahasa besar seperti 284B DeepSeek-V4-Flash dan 30B MoEs pada CPU 64GB murni tanpa GPU. Ini…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

vLLM

Repositori GitHub AI

vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

MLOps & Penerapan Model

Peringkat 23 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…vllm-project/vllm adalah mesin inferensi dan penyajian yang berkecepatan tinggi dan efisien dalam penggunaan memori, dirancang untuk model bahasa besar (LLM). Ini mengoptimalkan…

UnggulanMLOps & Penerapan Model
Peringkat 23 di Repositori GitHub AI

trnrt

Repositori GitHub AI

trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model

Peringkat 160 di MLOps & Penerapan Model

Lihat Alat

Repositori GitHub AI

Mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…trnrt adalah mesin inferensi LLM sumber terbuka yang dirancang untuk AWS Trainium, menawarkan megakernel NKI dan mendukung konteks 1M-token. Dikembangkan oleh RunAnywhere, ini…

MLOps & Penerapan Model
Peringkat 160 di MLOps & Penerapan Model

Soup

Repositori GitHub AI

Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…Soup adalah repositori GitHub yang memungkinkan penyempurnaan model bahasa besar (LLM) menggunakan satu file YAML. Ini memanfaatkan streaming lapisan untuk melatih model dengan 8…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

MNN

Repositori GitHub AI

MNN adalah mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…

MLOps & Penerapan Model
Lihat Alat

Repositori GitHub AI

Mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…MNN adalah mesin inferensi ringan berkinerja tinggi yang dikembangkan oleh Alibaba. Mesin ini dirancang untuk mengoptimalkan LLM di perangkat dan aplikasi Edge AI, memberikan…

MLOps & Penerapan Model
Lihat Top 250 Repositori GitHub AI

LMDeploy

Repositori GitHub AI

LMDeploy adalah toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…

MLOps & Penerapan Model

Peringkat 59 di Repositori GitHub AI

Lihat Alat

Repositori GitHub AI

Toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…LMDeploy adalah toolkit yang dirancang untuk mengompresi, menerapkan, dan menyajikan model bahasa besar (LLM). Ini memberikan pengembang alat yang diperlukan untuk mengelola LLM…

MLOps & Penerapan Model
Peringkat 59 di Repositori GitHub AI

AirLLM

Repositori GitHub AI

AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model

Peringkat 73 di Machine Learning & Ilmu Data

Lihat Alat

Repositori GitHub AI

Proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…AirLLM adalah proyek GitHub yang memungkinkan inferensi 70 miliar parameter menggunakan satu GPU 4GB. Proyek ini dirancang untuk mengoptimalkan kinerja model bahasa besar pada…

MLOps & Penerapan Model
Peringkat 73 di Machine Learning & Ilmu Data
1 dari 8