RunInfra

RunInfra héberge une petite bibliothèque de modèles ouverts, y compris Nemotron 3.5 Lightning 30B, Qwen3.8 27B et Ornith 1.5 35B au moment de la rédaction, derrière une seule passerelle, accessible avec les SDK Python et Node d'OpenAI ou d'Anthropic en pointant l'URL de base vers l'API de RunInfra. Les requêtes sont facturées par jeton d'entrée et de sortie, avec un prix séparé et inférieur pour les jetons d'entrée mis en cache. Pour améliorer les taux de cache, RunInfra utilise un routage conscient des sessions : il maintient une session d'agent donnée fixée à la même réplique backend lors des appels répétés, de sorte que le contexte déjà chargé reste actif, plutôt que d'atterrir sur une réplique aléatoire à chaque fois. Les taux de réussite du cache sont mesurés et publiés par modèle, dépassant 95 % pour certains modèles dans une fenêtre récente de 24 heures, et les réussites sont facturées au tarif de cache, bien que la société décrive les réussites de cache comme un effort maximal.

Les capacités clés incluent une API de complétion de chat compatible avec OpenAI et Anthropic ; une tarification par modèle avec des benchmarks publiés sur les taux de réussite du cache et la vitesse de sortie ; l'appel d'outils, le mode JSON, le streaming et l'entrée d'image selon le modèle ; une interface en ligne de commande (CLI) qui connecte les modèles hébergés par RunInfra à des agents de codage tels que Claude Code, Codex, OpenCode, Cline, Droid et Grok Build ; et une option de demande de modèle pour les modèles encore non hébergés.

L'utilisation des modèles est facturée par jeton, par exemple 0,05 $ par 1M de jetons d'entrée et 0,15 $ par 1M de jetons de sortie pour un modèle hébergé, avec les entrées mises en cache facturées séparément à un tarif inférieur, aussi bas que 0,01 $ par 1M de jetons mis en cache. Les plans pour agents de codage commencent à 10 $ par mois.

En matière de sécurité, RunInfra déclare que ses API de modèles hébergés ne stockent pas les invites par défaut (zéro conservation des données), chiffre les données avec TLS en transit et AES-256 au repos, offre des espaces de travail avec des rôles et une sécurité au niveau des lignes, ne s'entraîne pas sur les invites ou les complétions des clients, et détient une attestation SOC 2 Type II.

RunInfra est conçu pour les développeurs et les équipes construisant des agents d'IA ou des flux de travail d'agents de codage qui souhaitent une inférence de modèles ouverts sans gérer leur propre infrastructure GPU ; la société, faisant partie de RightNow, est soutenue par Y Combinator. Sa bibliothèque de modèles hébergés est petite, trois modèles au moment de la recherche, bien qu'une option de demande de modèle existe pour les équipes qui ont besoin de quelque chose d'autre.