Deskripsi
Cactus Runtime adalah mesin serbaguna yang dirancang untuk menjalankan model teks, suara, dan visi secara lokal di berbagai sistem operasi dan lingkungan. Ini menawarkan biner runtime yang sudah dibangun untuk model tertentu seperti Needle 3, Whistle, dan Mirage, memungkinkan pengembang untuk mengintegrasikan kemampuan AI yang kuat langsung ke dalam aplikasi mereka.
Baca Selengkapnya
Fungsi inti dari Cactus melibatkan penyediaan mesin terpadu yang dapat menangani berbagai tugas AI. Bobot model disimpan di repositori mereka sendiri, memastikan fleksibilitas dan modularitas. Untuk pengembang Python, integrasi sangat sederhana: cukup impor `cactus`, dan paket secara otomatis mengunduh mesin dan bobot model yang sesuai saat pertama kali digunakan. API Python yang komprehensif dan kode sumber tersedia untuk implementasi yang lebih rinci.
Cactus mendukung daftar platform yang luas, menjadikannya sangat dapat disesuaikan untuk berbagai skenario penerapan. Ini termasuk macOS Apple Silicon, berbagai distribusi Linux (x86-64, ARM64, ARMv7, RISC-V, MIPS32el), Windows (x64, ARM64), Android (ARM64, ARMv7, RISC-V), iOS (ARM64, Simulator ARM64), tvOS ARM64, watchOS ARM64, dan bahkan lingkungan browser dan Node.js melalui WebAssembly (WASM). Kompatibilitas yang luas ini memastikan bahwa pengembang dapat menerapkan model AI mereka di hampir semua perangkat atau sistem target.
Untuk integrasi asli, pengembang dapat mengunduh pelari tertentu untuk platform yang dipilih. Pelari ini dirancang untuk memuat bobot `.cact` saat runtime. Perpustakaan statis, termasuk `cactus.h`, disediakan untuk aplikasi C dan C++, memfasilitasi integrasi mendalam ke dalam basis kode asli yang ada. Roda runtime Python lebih lanjut memperluas dukungan ini, mencakup arsitektur desktop dan server yang umum.
Cactus juga menawarkan komponen WASI, mengekspor `cactus:runtime/[email protected]`, dan tersedia sebagai artefak OCI yang ditandatangani. Ini memungkinkan penerapan di lingkungan WebAssembly System Interface, memperluas jangkauannya ke fungsi tanpa server dan aplikasi cloud-native modern lainnya. Proyek ini menekankan unduhan yang dapat direproduksi, menyediakan checksum SHA-256 dan tag revisi tertentu untuk artefak rilis. Panduan penerapan yang rinci tersedia untuk membantu dengan integrasi asli, penggunaan browser, dan pengaturan offline.
- KategoriMLOps & Penerapan Model
- Model HargaOpen source
- PenerapanBerjalan lokal, Cloud
- PlatformmacOS, Linux, Windows
Sorotan Cactus Runtime
Eksekusi lokal model teks, suara, dan visi
Biner runtime yang sudah dibangun untuk Needle 3, Whistle, dan Mirage
API Python untuk integrasi yang mudah
Unduhan otomatis mesin dan bobot model saat pertama kali digunakan (Python)
Dukungan untuk macOS Apple Silicon
Dukungan untuk Linux x86-64, ARM64, ARMv7, RISC-V, MIPS32el
Dukungan untuk Windows x64 dan ARM64
Dukungan untuk Android ARM64, ARMv7, RISC-V
Dukungan untuk iOS ARM64, iOS Simulator ARM64
Dukungan untuk tvOS ARM64 dan watchOS ARM64
Dukungan WebAssembly (WASM) untuk Browser dan Node.js
Komponen WASI untuk lingkungan WebAssembly System Interface
Perpustakaan statis (libcactus.a, cactus.h) untuk aplikasi C/C++
Bobot model dikelola di repositori terpisah
Checksum SHA-256 untuk unduhan yang dapat direproduksi
Memulai dengan Cactus Runtime
Instal paket Python: Gunakan `import cactus` di Python untuk secara otomatis mengunduh mesin dan bobot model.
Unduh pelari asli: Pilih platform dari daftar yang didukung dan unduh biner yang sesuai.
Tentukan model: Gunakan `--model needle3` atau `--model mirage` saat menjalankan pelari asli untuk memilih model tertentu.
Integrasi dengan C/C++: Sertakan `cactus.h` dan tautkan `libcactus.a` dalam aplikasi C/C++ Anda.
Terapkan dengan WASI: Manfaatkan komponen WASI `cactus:runtime/[email protected]` atau artefak OCI untuk lingkungan WASI.
Akses API Python: Rujuk ke dokumentasi API Python untuk penggunaan yang lebih rinci dan contoh kode sumber.
Kasus Penggunaan Cactus Runtime
- Eksekusi Model AI Lokal
- Pengembangan AI Lintas Platform
- Sistem AI Tertanam
- Aplikasi AI Berbasis Web
- Integrasi Aplikasi Native
- Pengembangan AI Python
- Pemrosesan AI Offline








