RunInfra

На момент написания RunInfra хостит небольшую библиотеку открытых моделей, включая Nemotron 3.5 Lightning 30B, Qwen3.8 27B и Ornith 1.5 35B, за одним шлюзом, доступным через Python и Node SDK OpenAI или Anthropic, указав базовый URL на API RunInfra. Запросы тарифицируются по входному и выходному токену, с отдельной, более низкой ценой для кэшированных входных токенов. Чтобы улучшить количество попаданий в кэш, RunInfra использует маршрутизацию с учетом сессий: он сохраняет сессию данного агента, привязанную к одной и той же реплике бэкенда при повторных вызовах, так что контекст, который уже был загружен, остается «теплым», а не попадает на случайную реплику каждый раз. Уровни попаданий в кэш измеряются и публикуются для каждой модели, более 95% для некоторых моделей за недавний 24-часовой период, и попадания тарифицируются по кэшированной ставке, хотя компания описывает попадания в кэш как «по мере возможности».

Ключевые возможности включают API завершения чата, совместимый с OpenAI и Anthropic; тарифы по моделям с опубликованными показателями попаданий в кэш и скорости вывода; вызов инструментов, режим JSON, потоковую передачу и поддержку ввода изображений в зависимости от модели; CLI, который соединяет модели, хостящиеся на RunInfra, с кодирующими агентами, включая Claude Code, Codex, OpenCode, Cline, Droid и Grok Build; и опцию запроса модели для моделей, которые еще не хостятся.

Использование модели тарифицируется по токену, например, $0.05 за 1M входных токенов и $0.15 за 1M выходных токенов для одной хостируемой модели, при этом кэшированные входные токены тарифицируются отдельно по более низкой ставке, начиная с $0.01 за 1M кэшированных токенов. Планы для кодирующих агентов начинаются с $10 в месяц.

Что касается безопасности, RunInfra заявляет, что его хостируемые API моделей по умолчанию не хранят подсказки (нулевая сохранность данных), шифрует данные с помощью TLS в пути и AES-256 в состоянии покоя, предлагает рабочие пространства с ролями и безопасностью на уровне строк, не обучается на подсказках или завершениях клиентов и имеет аттестацию SOC 2 Type II.

RunInfra создан для разработчиков и команд, создающих ИИ-агентов или рабочие процессы кодирующих агентов, которые хотят использовать вывод моделей с открытым исходным кодом без управления собственной инфраструктурой GPU; компания, являющаяся частью RightNow, поддерживается Y Combinator. Библиотека хостируемых моделей небольшая, три модели на момент исследования, хотя существует опция запроса модели для команд, которым нужно что-то другое.