Shumai

Deskripsi

Shumai adalah pustaka tensor yang dapat dibedakan yang dirancang untuk JavaScript dan TypeScript, memanfaatkan kecepatan Bun dan kekuatan Flashlight. Tujuannya adalah untuk membuat manipulasi data, pelatihan model, dan logika inferensi lanjutan lebih mudah diakses dan efisien bagi pengembang dalam ekosistem JavaScript. Dengan memanfaatkan array bertipe asli dan kompiler Just-In-Time (JIT) Bun, Shumai menawarkan solusi berkinerja untuk tugas-tugas mulai dari pembuatan kumpulan data hingga pelatihan model pembelajaran mesin kecil.

Pustaka ini menyediakan operasi tensor inti, diferensiasi otomatis untuk komputasi gradien, dan konversi mulus ke dan dari array asli JavaScript. Ini memungkinkan pengembang untuk bekerja dengan data langsung di JavaScript, mempersiapkannya untuk array yang kompatibel dengan GPU, dan kemudian melatih model tanpa meninggalkan lingkungan. Arsitektur Shumai dibangun untuk meminimalkan overhead, memungkinkan JavaScript untuk tidak menghalangi selama pelatihan dan inferensi, terutama untuk model yang lebih kecil.

Kemampuan utama meliputi utilitas array standar, pembuatan tensor, operasi matematika, dan pelacakan gradien. Pengguna dapat mengaktifkan komputasi gradien untuk tensor, melakukan operasi, dan kemudian mengakses gradien yang dihitung. Pustaka ini juga menawarkan fitur untuk penyetelan manajemen memori, memungkinkan pengguna untuk menyesuaikan parameter pengumpulan sampah untuk mengoptimalkan kinerja berdasarkan kemampuan perangkat keras. Selain itu, Shumai menyertakan sistem pengumpulan statistik yang dapat mencatat kinerja operasi ke konsol atau melalui HTTP, dengan opsi untuk pemrofilan terlingkup dan pengumpulan jejak tumpukan.

Shumai sangat bermanfaat bagi para insinyur perangkat lunak dan peneliti yang sudah bekerja dalam ekosistem JavaScript dan ingin menggabungkan kemampuan pembelajaran mesin tanpa kurva belajar yang curam yang terkait dengan bahasa atau kerangka kerja lain. Tolok ukur kinerjanya menunjukkan keunggulan yang signifikan dibandingkan pustaka seperti TensorFlow.js dalam berbagai operasi, terutama pada GPU Apple M1 Pro dan Nvidia. Proyek ini bersifat eksperimental, dan kontribusi disambut untuk meningkatkan fungsionalitas dan stabilitasnya.

Fitur Inti Shumai

• Pustaka tensor yang cepat dan dapat dibedakan untuk JavaScript dan TypeScript

• Dibangun dengan Bun dan Flashlight untuk kinerja tinggi

• Mendukung diferensiasi otomatis untuk komputasi gradien

• Konversi mulus antara tensor dan array asli JavaScript

• Dioptimalkan untuk melatih model kecil dan logika inferensi lanjutan

• Memanfaatkan array bertipe asli dan kompilasi JIT

• Penyetelan penggunaan memori untuk optimasi kinerja

• Pengumpulan statistik bawaan untuk pemrofilan operasi

• Pengumpulan statistik terlingkup untuk pemrofilan terisolasi

• Perangkat lunak eksperimental dengan pengembangan aktif

• Mendukung komputasi GPU melalui backend ArrayFire (CUDA di Linux, CPU di macOS)

• Pencatatan statistik yang dapat diperluas dengan opsi Konsol dan HTTP

Memulai dengan Shumai

1. 1

   Instal Bun dan ArrayFire: Ikuti instruksi spesifik platform untuk macOS dan Linux.

2. 2

   Instal Shumai: Jalankan `bun install @shumai/shumai`.

3. 3

   Impor Shumai: Gunakan `import * as sm from '@shumai/shumai'` dalam kode TypeScript/JavaScript Anda.

4. 4

   Buat Tensor: Gunakan fungsi seperti `sm.randn()` atau `sm.tensor()` untuk membuat tensor.

5. 5

   Lakukan Operasi: Terapkan operasi matematika seperti `matmul()`, `mul()`, dan `sum()`.

6. 6

   Aktifkan Gradien: Atur `tensor.requires_grad = true` untuk tensor yang memerlukan pelacakan gradien.

7. 7

   Hitung Gradien: Panggil `.backward()` pada tensor kerugian untuk mengisi gradien.

8. 8

   Atur Memori: Sesuaikan opsi memori menggunakan `util.memoryOptions()` untuk kinerja.

Kasus Penggunaan Shumai

• Pembuatan Kumpulan Data
• Pelatihan Model
• Logika Inferensi
• Pra-pemrosesan Data
• Prototipe Penelitian
• Pengembangan Aplikasi

FAQ dari Shumai

• Apa itu Shumai dan apa fungsinya?

  Shumai adalah pustaka tensor yang cepat dan dapat dibedakan untuk JavaScript dan TypeScript, dibangun dengan Bun dan Flashlight. Ini memungkinkan komputasi tensor yang efisien, diferensiasi otomatis, dan pelatihan model dalam ekosistem JavaScript.

• Apa prasyarat untuk menginstal Shumai?

  Anda perlu menginstal Bun dan ArrayFire. Instruksi instalasi untuk ArrayFire bervariasi berdasarkan sistem operasi (macOS dan Linux didukung).

• Bagaimana cara menginstal Shumai?

  Setelah menginstal Bun dan ArrayFire, Anda dapat menginstal Shumai dengan menjalankan `bun install @shumai/shumai`.

• Bahasa pemrograman apa yang didukung Shumai?

  Shumai mendukung JavaScript dan TypeScript.

• Apa manfaat kinerja menggunakan Shumai?

  Shumai memanfaatkan kompiler JIT Bun dan Flashlight untuk kinerja tinggi, menawarkan keunggulan kecepatan yang signifikan dibandingkan pustaka lain dalam berbagai operasi tensor, terutama pada GPU Apple M1 Pro dan Nvidia.

• Apakah Shumai mendukung komputasi GPU?

  Ya, Shumai mencoba menggunakan GPU atau akselerator yang terpasang. Instalasi Linux biasanya default ke komputasi CUDA, sementara macOS default ke komputasi CPU melalui backend CPU ArrayFire. Dukungan untuk backend lain direncanakan.

• Bagaimana Shumai menangani gradien?

  Tensor dapat dikonfigurasi untuk memerlukan gradien (`requires_grad = true`). Setelah melakukan operasi, memanggil `.backward()` pada tensor kerugian akan menghitung dan mengisi gradien untuk tensor tersebut.

• Bisakah saya menyetel penggunaan memori dengan Shumai?

  Ya, Shumai menyediakan opsi penyetelan memori melalui `util.memoryOptions()` untuk menyesuaikan parameter pengumpulan sampah dan berpotensi meningkatkan kinerja dengan mengurangi overhead.

• Siapa target audiens untuk Shumai?

  Shumai dirancang untuk insinyur perangkat lunak dan peneliti yang bekerja dengan JavaScript atau TypeScript dan ingin menggabungkan komputasi tensor dan kemampuan pembelajaran mesin ke dalam proyek mereka.

• Apakah Shumai siap produksi?

  Proyek ini dicatat sebagai perangkat lunak eksperimental, yang menunjukkan bahwa proyek ini sedang dalam pengembangan aktif dan mungkin tidak sepenuhnya stabil untuk semua kasus penggunaan produksi. Pengguna didorong untuk melaporkan masalah.

• Bagaimana saya bisa berkontribusi pada Shumai?

  Kontribusi disambut. Anda dapat berkontribusi dengan membangun dari sumber, memodifikasi file yang dihasilkan, dan mengikuti panduan gaya di file CONTRIBUTING. Mengajukan masalah untuk masalah build atau instalasi juga didorong.

• Apa lisensi untuk Shumai?

  Shumai berlisensi MIT.