RunInfra

RunInfra menghosting perpustakaan kecil model terbuka, termasuk Nemotron 3.5 Lightning 30B, Qwen3.8 27B, dan Ornith 1.5 35B pada saat penulisan, di belakang satu gateway, yang dapat diakses dengan SDK Python dan Node OpenAI atau Anthropic dengan mengarahkan URL dasar ke API RunInfra. Permintaan dikenakan biaya per token input dan output, dengan harga terpisah yang lebih rendah untuk token input yang di-cache. Untuk meningkatkan hit cache, RunInfra menggunakan routing yang sadar sesi: ia menjaga sesi agen tertentu terikat pada replika backend yang sama di seluruh panggilan ulang, sehingga konteks yang sudah dimuat tetap hangat, alih-alih mendarat di replika acak setiap kali. Tingkat hit cache diukur dan dipublikasikan per model, lebih dari 95% untuk beberapa model dalam jendela 24 jam terbaru, dan hit dikenakan biaya pada tarif yang di-cache, meskipun perusahaan menggambarkan hit cache sebagai upaya terbaik.

Kemampuan kunci termasuk API penyelesaian obrolan yang kompatibel dengan OpenAI dan Anthropic; harga per model dengan tolok ukur hit cache dan kecepatan output yang dipublikasikan; pemanggilan alat, mode JSON, streaming, dan dukungan input gambar tergantung pada model; integrasi CLI yang menghubungkan model yang dihosting oleh RunInfra ke agen pengkodean termasuk Claude Code, Codex, OpenCode, Cline, Droid, dan Grok Build; dan opsi permintaan model untuk model yang belum dihosting.

Penggunaan model dikenakan biaya per token, misalnya $0,05 per 1M token input dan $0,15 per 1M token output untuk satu model yang dihosting, dengan input yang di-cache dikenakan biaya terpisah pada tarif yang lebih rendah, serendah $0,01 per 1M token yang di-cache. Rencana agen pengkodean mulai dari $10 per bulan.

Mengenai keamanan, RunInfra menyatakan bahwa API Model yang dihosting tidak menyimpan prompt secara default (retensi data nol), mengenkripsi data dengan TLS dalam perjalanan dan AES-256 saat istirahat, menawarkan ruang kerja dengan peran dan keamanan tingkat baris, tidak melatih pada prompt atau penyelesaian pelanggan, dan memegang akreditasi SOC 2 Tipe II.

RunInfra dibangun untuk pengembang dan tim yang membangun agen AI atau alur kerja agen pengkodean yang menginginkan inferensi model terbuka tanpa mengelola infrastruktur GPU mereka sendiri; perusahaan ini, bagian dari RightNow, didukung oleh Y Combinator. Perpustakaan model yang dihosting kecil, tiga model pada saat penelitian, meskipun ada opsi permintaan model untuk tim yang membutuhkan sesuatu yang lain.