Deskripsi
Throttle adalah alat yang dirancang untuk mengurangi biaya yang terkait dengan inferensi AI di GPU, baik yang dimiliki maupun disewa. Ini mencapainya dengan mengidentifikasi konfigurasi penyajian yang tidak efisien dan membuktikan penghematan dalam bentuk dolar per juta token. Ini memastikan bahwa pengguna hanya mempertahankan konfigurasi yang memberikan manfaat biaya yang nyata. Throttle kompatibel dengan berbagai server AI, termasuk vLLM, SGLang, TGI, Ollama, LMDeploy, llama.cpp, TensorRT-LLM, dan NIM, di antara lainnya.
Baca Selengkapnya
Alat ini bersifat sumber terbuka dan tersedia di bawah lisensi MIT, memungkinkan pengguna untuk memeriksa dan memodifikasi kode sesuai kebutuhan. Ini beroperasi secara lokal, yang berarti bahwa semua prompt, respons, dan kunci tetap berada dalam lingkungan pengguna, memastikan privasi dan keamanan data. Throttle menyediakan antarmuka baris perintah (CLI) yang gratis untuk digunakan, dan juga menawarkan pilot gratis selama 2 bulan untuk pengguna perusahaan.
Model harga Throttle fleksibel, dimulai dengan $10 kredit gratis untuk Throttle Cloud, yang tidak memerlukan kartu kredit. Rencana Starter dihargai $30 per bulan, rencana Pro $50 per bulan, dan rencana Tim $100 per bulan, masing-masing termasuk kredit penggunaan yang setara. Rencana perusahaan memiliki harga yang disesuaikan dan melibatkan pilot langsung di mana pengguna hanya membayar dari penghematan yang terverifikasi.
Fungsi inti alat ini mencakup menjalankan pemeriksaan untuk menentukan biaya per juta token, dengan interval kepercayaan 95% untuk memperhitungkan kebisingan. Ini menandai setiap perubahan dalam panjang output atau batas token, memastikan bahwa hanya penghematan yang nyata yang dipertimbangkan. Throttle juga menyediakan antarmuka pengguna (UI) untuk memvisualisasikan penghematan dan biaya, yang dapat diakses secara lokal di mesin pengguna.
- KategoriMLOps & Penerapan Model
- Model HargaFreemium
- PenerapanLokal
- PlatformKompatibel dengan OpenAI
Fitur Inti Throttle
CLI sumber terbuka
Optimasi biaya untuk inferensi AI
Kompatibilitas dengan beberapa server AI
Pemrosesan data lokal
Pilot perusahaan gratis selama 2 bulan
Interval kepercayaan 95% untuk penghematan
Keputusan yang dikalibrasi kebisingan
Throttle Cloud dengan kredit penggunaan
Cara menggunakan Throttle?
Instal: pipx install throttle-pro
Jalankan: Eksekusi throttle check pada pengaturan Anda
Analisis: Tinjau penghematan biaya dan konfigurasi
Optimalkan: Terapkan konfigurasi yang hemat biaya
Kasus Penggunaan Throttle
- Pengurangan Biaya
- Analisis Konfigurasi
- Privasi Data
- Penghematan Perusahaan
- Pengembangan Sumber Terbuka
