Deskripsi
General Compute adalah penyedia inferensi yang fokus pada kecepatan. Ini menerapkan model AI pada infrastruktur ASIC yang dirancang khusus daripada GPU, dan mengeksposnya melalui API yang kompatibel dengan OpenAI sehingga tim dapat beralih dengan mengubah URL dasar dan kunci API mereka tanpa menulis ulang kode. Ini mengiklankan waktu ke token pertama di bawah milidetik, throughput tinggi, dan hingga 1.000 token per detik, dengan tolok ukur yang membandingkan model yang sama dijalankan di General Compute dengan baseline GPU.
Baca Selengkapnya
Platform ini menawarkan tiga cara untuk menjalankan: API mandiri dengan inferensi berbasis penggunaan, kapasitas khusus untuk tim yang membutuhkan kapasitas terjamin dan dukungan produksi, serta penyajian model milik yang menjalankan bobot pribadi di infrastruktur General Compute. Semua berbagi permukaan yang sama yang kompatibel dengan OpenAI, termasuk pemanggilan alat, mode JSON, model siap penalaran, dan semantik streaming, sehingga pengatur yang ada tetap berfungsi. Lalu lintas produksi saat ini berjalan di wilayah AS, dengan wilayah khusus tersedia untuk penerapan perusahaan.
General Compute memposisikan dirinya sebagai penyedia yang didorong oleh permintaan dan memiliki aset berat yang membeli, menerapkan, dan mengoperasikan silikon khusus (seperti SambaNova dan Etched Sohu) sehingga pelanggan dapat menjalankan pada chip yang tidak akan mereka rak sendiri, menjual hasilnya sebagai inferensi. Akun baru dimulai dengan kredit gratis, dan rencana bayar sesuai penggunaan mewarisi keandalan terbaik, sementara tingkat perusahaan menambahkan SLA kontraktual, jalur eskalasi, dan kapasitas khusus.
- KategoriMLOps & Penerapan Model
- Model HargaFreemium
- PenerapanCloud
- PlatformWeb
Fitur Inti General Compute
API inferensi yang kompatibel dengan OpenAI dengan migrasi URL dasar
Infrastruktur ASIC yang dirancang khusus untuk inferensi berkecepatan tinggi
Waktu ke token pertama yang rendah dan throughput tinggi
Pemanggilan alat, mode JSON, model penalaran, dan streaming
API mandiri, penerapan khusus, dan penyajian model milik
Kredit gratis untuk akun baru
Tingkat perusahaan dengan SLA kontraktual dan kapasitas khusus
Cara menggunakan General Compute?
Dapatkan kunci: Daftar dan terima kunci API dengan kredit gratis.
Ganti URL dasar Anda: Arahkan SDK kompatibel OpenAI yang ada ke General Compute.
Jalankan inferensi: Kirim permintaan dan gunakan pemanggilan alat, mode JSON, dan streaming seperti biasa.
Tingkatkan: Pindah ke kapasitas khusus atau bawa model Anda sendiri saat Anda membutuhkan kapasitas terjamin.
Kasus Penggunaan General Compute
- Agen pengkodean
- Suara waktu nyata dan AI interaktif
- Inferensi throughput tinggi
- Penyajian model pribadi
