ZETIC Melange

Menjalankan model AI secara lokal menawarkan keuntungan yang signifikan. Ini menghilangkan latensi cloud, memastikan kinerja real-time. Biaya berkurang dengan menghindari pengeluaran GPU dan token cloud yang mahal. Privasi ditingkatkan karena semua data tetap berada di perangkat pribadi pengguna. Selain itu, AI di perangkat menyediakan akses offline, memungkinkan fungsionalitas tanpa koneksi internet.

Platform Melange menyederhanakan seluruh alur kerja penerapan menjadi tiga langkah mudah: Unggah, Benchmark, dan Terapkan. Pengguna dapat mengunggah model mereka dalam berbagai format, termasuk TorchScript, TensorFlow, dan ONNX, atau dengan menyediakan tautan Hugging Face, atau dengan memilih dari pustaka model yang telah dioptimalkan sebelumnya. Setelah pengunggahan, Melange melakukan benchmark kinerja model di lebih dari 200 perangkat fisik, memberikan laporan latensi dan akurasi terperinci untuk setiap perangkat keras target. Hal ini memungkinkan pengguna untuk memilih solusi yang paling optimal untuk kebutuhan spesifik mereka. Terakhir, penerapan dicapai dengan menyalin-tempel blok kode tiga baris sederhana, mengintegrasikan model yang dioptimalkan ke dalam aplikasi seluler dengan cuplikan kode yang siap digunakan.

Melange menawarkan dampak yang jauh lebih cepat dan lebih optimal dibandingkan dengan metode tradisional. Ini memangkas waktu penerapan dari berbulan-bulan menjadi berjam-jam melalui optimasi otomatis yang sadar perangkat keras. Platform ini membuka akselerasi NPU penuh, mencapai kecepatan hingga 60x lebih cepat daripada CPU dan mengurangi ukuran model sebesar 50% untuk latensi ultra-rendah. Implementasi dapat diselesaikan dalam waktu kurang dari 6 jam, menggantikan berbulan-bulan penyesuaian NPU manual. Melange dioptimalkan untuk kinerja terbaik melalui penerapan otomatis dengan kuantisasi yang disesuaikan dengan arsitektur NPU tertentu, memaksimalkan throughput dan mempertahankan akurasi tanpa rekayasa manual.

Keunggulan ZETIC terletak pada pipeline yang sepenuhnya otomatis, akselerasi hibrida (CPU + GPU + NPU), penerapan kode 3 baris yang sederhana, dan pengujian perangkat ekstensif pada lebih dari 200 perangkat. Ini mendukung berbagai opsi impor model dan melampaui perangkat seluler ke solusi AI tertanam untuk komputer industri dan MCU. Melange menggantikan penyesuaian CPU manual dengan pipeline otomatis yang dipercepat NPU, menawarkan alternatif yang unggul dibandingkan manajemen yang terfragmentasi dan pengkodean manual yang kompleks.