RunInfra

RunInfra hospeda uma pequena biblioteca de modelos abertos, incluindo Nemotron 3.5 Lightning 30B, Qwen3.8 27B e Ornith 1.5 35B no momento da redação, atrás de um gateway, acessível com os SDKs Python e Node da OpenAI ou da Anthropic, apontando a URL base para a API do RunInfra. As solicitações são cobradas por token de entrada e saída, com um preço separado e mais baixo para tokens de entrada em cache. Para melhorar as taxas de acerto de cache, o RunInfra utiliza roteamento ciente de sessão: ele mantém uma sessão de agente específica fixada na mesma réplica de backend em chamadas repetidas, de modo que o contexto que já foi carregado permaneça aquecido, em vez de cair em uma réplica aleatória a cada vez. As taxas de acerto de cache são medidas e publicadas por modelo, superando 95% para alguns modelos em uma janela recente de 24 horas, e os acertos são cobrados na taxa de cache, embora a empresa descreva os acertos de cache como um esforço de melhor qualidade.

As principais capacidades incluem uma API de conclusões de chat compatível com OpenAI e Anthropic; preços por modelo com benchmarks publicados de taxa de acerto de cache e velocidade de saída; chamada de ferramentas, modo JSON, streaming e suporte a entrada de imagem dependendo do modelo; uma CLI que conecta modelos hospedados no RunInfra a agentes de codificação, incluindo Claude Code, Codex, OpenCode, Cline, Droid e Grok Build; e uma opção de solicitação de modelo para modelos ainda não hospedados.

O uso do modelo é cobrado por token, por exemplo, $0,05 por 1M de tokens de entrada e $0,15 por 1M de tokens de saída para um modelo hospedado, com a entrada em cache cobrada separadamente a uma taxa mais baixa, tão baixa quanto $0,01 por 1M de tokens em cache. Os planos para agentes de codificação começam em $10 por mês.

Sobre segurança, o RunInfra afirma que suas APIs de Modelo hospedadas não armazenam prompts por padrão (retenção de dados zero), criptografa dados com TLS em trânsito e AES-256 em repouso, oferece espaços de trabalho com funções e segurança em nível de linha, não treina com prompts ou conclusões de clientes e possui uma certificação SOC 2 Tipo II.

RunInfra é construído para desenvolvedores e equipes que criam agentes de IA ou fluxos de trabalho de agentes de codificação que desejam inferência de modelo aberto sem gerenciar sua própria infraestrutura de GPU; a empresa, parte da RightNow, é apoiada pela Y Combinator. Sua biblioteca de modelos hospedados é pequena, com três modelos no momento da pesquisa, embora exista uma opção de solicitação de modelo para equipes que precisam de algo mais.