説明
RunInfraは、開発者が自分でモデルインフラをホスティングおよび最適化する代わりに、OpenAIおよびAnthropicと互換性のある単一のAPIを通じてオープンソースのAIモデルを呼び出すことを可能にします。
続きを読む
RunInfraは、執筆時点でNemotron 3.5 Lightning 30B、Qwen3.8 27B、Ornith 1.5 35Bを含む小規模なオープンモデルライブラリをホスティングしており、OpenAIまたはAnthropicのPythonおよびNode SDKを使用してRunInfraのAPIにベースURLを指し示すことでアクセスできます。リクエストは入力トークンと出力トークンごとに請求され、キャッシュされた入力トークンには別の低価格が設定されています。キャッシュヒットを改善するために、RunInfraはセッションを意識したルーティングを使用しています:特定のエージェントセッションを繰り返し呼び出しの間、同じバックエンドレプリカに固定し、すでに読み込まれたコンテキストが温かい状態を保つようにします。キャッシュヒット率はモデルごとに測定され、公開されており、最近の24時間のウィンドウでは一部のモデルで95%を超え、ヒットはキャッシュされたレートで請求されますが、同社はキャッシュヒットを最善の努力として説明しています。
主な機能には、OpenAIおよびAnthropicと互換性のあるチャット完了API、公開されたキャッシュヒット率および出力速度ベンチマークを伴うモデルごとの価格設定、モデルに応じたツール呼び出し、JSONモード、ストリーミング、画像入力のサポート、Claude Code、Codex、OpenCode、Cline、Droid、Grok BuildなどのコーディングエージェントにRunInfraホスティングモデルを接続するCLI、まだホスティングされていないモデルのリクエストオプションが含まれます。
モデルの使用はトークンごとに請求され、たとえば1つのホスティングモデルに対して1Mの入力トークンあたり$0.05、1Mの出力トークンあたり$0.15です。キャッシュされた入力は別途低いレートで請求され、1Mのキャッシュトークンあたり$0.01まで低くなります。コーディングエージェントプランは月額$10から始まります。
セキュリティに関して、RunInfraはホスティングされたモデルAPIがデフォルトでプロンプトを保存しない(データ保持ゼロ)、データをTLSで転送中に暗号化し、静止時にAES-256で暗号化し、役割と行レベルのセキュリティを持つワークスペースを提供し、顧客のプロンプトや完了に基づいてトレーニングを行わず、SOC 2 Type IIの認証を保持していると述べています。
RunInfraは、独自のGPUインフラを管理せずにオープンモデル推論を望むAIエージェントやコーディングエージェントのワークフローを構築する開発者やチームのために構築されています。同社はRightNowの一部で、Y Combinatorの支援を受けています。ホスティングされたモデルライブラリは小規模で、調査時点で3つのモデルがありましたが、他のモデルが必要なチームのためにリクエストオプションがあります。
- カテゴリーMLOps・モデルデプロイ
- 料金モデル従量課金
- デプロイ管理された自己ホスティング
- プラットフォームクラウド
RunInfraの主要機能
OpenAIおよびAnthropic SDKと互換性のある1つのAPIキー
Nemotron、Qwen、Ornithを含むオープンモデルのホスティング
繰り返しエージェント呼び出しを同じ温かいレプリカに保つセッションを意識したルーティング
公開されたモデルごとの価格設定、キャッシュヒット率、および出力速度ベンチマーク
モデルによるツール呼び出し、JSONモード、ストリーミング、画像入力のサポート
Claude Code、Codex、OpenCode、Cline、Droid、Grok BuildなどのコーディングエージェントとRunInfraホスティングモデルを接続するCLI統合
デフォルトでプロンプトを保存しない、SOC 2 Type IIの認証を保持
役割と行レベルのセキュリティを持つワークスペース
RunInfraの使い方は?
APIキーを取得する:RunInfraにサインアップしてゲートウェイAPIキーを生成します。
SDKをRunInfraに向ける:OpenAIまたはAnthropic SDKでRunInfraのエンドポイントにベースURLを設定します。
モデルを選択する:機能と価格に基づいてホスティングされたモデルライブラリから選択します。
モデルを呼び出す:既存のSDKコードを使用してチャット完了リクエストを送信します。
コーディングエージェントを接続する:RunInfra CLIをインストールして、Claude CodeやClineなどのエージェントをRunInfraホスティングモデルにルーティングします。
コストとキャッシュヒットを監視する:公開された価格設定とモデルごとのキャッシュヒット率を確認して支出を管理します。
RunInfraの使用例
- オープンモデルAPIアクセス
- AIエージェント推論
- コーディングエージェントバックエンド







