RunInfra

RunInfra aloja una pequeña biblioteca de modelos abiertos, incluyendo Nemotron 3.5 Lightning 30B, Qwen3.8 27B y Ornith 1.5 35B en el momento de escribir, detrás de una única puerta de enlace, accesible con los SDK de Python y Node de OpenAI o Anthropic apuntando la URL base a la API de RunInfra. Las solicitudes se facturan por token de entrada y salida, con un precio separado y más bajo para los tokens de entrada en caché. Para mejorar los aciertos de caché, RunInfra utiliza enrutamiento consciente de la sesión: mantiene una sesión de agente dada fijada en la misma réplica de backend a través de llamadas repetidas, de modo que el contexto que ya se había cargado se mantenga caliente, en lugar de aterrizar en una réplica aleatoria cada vez. Las tasas de aciertos de caché se miden y publican por modelo, superando el 95% para algunos modelos en una ventana reciente de 24 horas, y los aciertos se facturan a la tarifa de caché, aunque la empresa describe los aciertos de caché como un esfuerzo de buena fe.

Las capacidades clave incluyen una API de finalización de chat compatible con OpenAI y Anthropic; precios por modelo publicados con tasas de aciertos de caché y benchmarks de velocidad de salida; llamada a herramientas, modo JSON, transmisión y soporte de entrada de imagen dependiendo del modelo; una CLI que conecta modelos alojados en RunInfra a agentes de codificación como Claude Code, Codex, OpenCode, Cline, Droid y Grok Build; y una opción de solicitud de modelo para modelos que aún no están alojados.

El uso del modelo se factura por token, por ejemplo, $0.05 por 1M de tokens de entrada y $0.15 por 1M de tokens de salida para un modelo alojado, con la entrada en caché facturada por separado a una tarifa más baja, tan baja como $0.01 por 1M de tokens en caché. Los planes para agentes de codificación comienzan en $10 al mes.

En cuanto a la seguridad, RunInfra afirma que sus APIs de modelo alojadas no almacenan solicitudes por defecto (cero retención de datos), cifran los datos con TLS en tránsito y AES-256 en reposo, ofrecen espacios de trabajo con roles y seguridad a nivel de fila, no entrenan con las solicitudes o finalizaciones de los clientes, y poseen una certificación SOC 2 Tipo II.

RunInfra está diseñado para desarrolladores y equipos que construyen agentes de IA o flujos de trabajo de agentes de codificación que desean inferencia de modelos abiertos sin gestionar su propia infraestructura de GPU; la empresa, parte de RightNow, cuenta con el respaldo de Y Combinator. Su biblioteca de modelos alojados es pequeña, con tres modelos en el momento de la investigación, aunque existe una opción de solicitud de modelo para equipos que necesitan algo más.