설명
RunInfra는 개발자가 모델 인프라를 직접 호스팅하고 최적화하는 대신, OpenAI 및 Anthropic과 호환되는 단일 API를 통해 오픈 소스 AI 모델을 호출할 수 있게 해줍니다.
더 읽기
RunInfra는 현재 Nemotron 3.5 Lightning 30B, Qwen3.8 27B 및 Ornith 1.5 35B를 포함한 소규모 오픈 모델 라이브러리를 하나의 게이트웨이 뒤에 호스팅하며, OpenAI 또는 Anthropic Python 및 Node SDK를 통해 RunInfra의 API에 기본 URL을 지정하여 접근할 수 있습니다. 요청은 입력 및 출력 토큰당 청구되며, 캐시된 입력 토큰에 대해서는 별도의 낮은 가격이 적용됩니다. 캐시 적중률을 개선하기 위해 RunInfra는 세션 인식 라우팅을 사용합니다: 이는 주어진 에이전트 세션이 반복 호출 간 동일한 백엔드 복제본에 고정되어, 이미 로드된 컨텍스트가 따뜻하게 유지되도록 하여 매번 무작위 복제본에 도착하지 않도록 합니다. 캐시 적중률은 모델별로 측정되고 게시되며, 최근 24시간 동안 일부 모델의 경우 95% 이상에 달하며, 적중은 캐시된 요금으로 청구됩니다. 그러나 회사는 캐시 적중을 최선의 노력으로 설명합니다.
주요 기능으로는 OpenAI 및 Anthropic과 호환되는 채팅 완성 API; 게시된 캐시 적중률 및 출력 속도 벤치마크와 함께 모델별 가격 책정; 모델에 따라 도구 호출, JSON 모드, 스트리밍 및 이미지 입력 지원; Claude Code, Codex, OpenCode, Cline, Droid 및 Grok Build와 같은 코딩 에이전트에 RunInfra 호스팅 모델을 연결하는 CLI; 아직 호스팅되지 않은 모델에 대한 요청 옵션이 포함됩니다.
모델 사용은 토큰당 청구되며, 예를 들어 하나의 호스팅 모델에 대해 1M 입력 토큰당 $0.05, 1M 출력 토큰당 $0.15입니다. 캐시된 입력은 별도로 낮은 요금으로 청구되며, 1M 캐시된 토큰당 $0.01까지 낮출 수 있습니다. 코딩 에이전트 요금제는 월 $10부터 시작합니다.
보안 측면에서 RunInfra는 호스팅된 모델 API가 기본적으로 프롬프트를 저장하지 않으며(제로 데이터 보존), 전송 중 TLS로 데이터를 암호화하고, 저장 중 AES-256으로 암호화하며, 역할 및 행 수준 보안이 있는 작업 공간을 제공하고, 고객의 프롬프트나 완성에 대해 학습하지 않으며, SOC 2 Type II 인증을 보유하고 있다고 명시합니다.
RunInfra는 AI 에이전트 또는 코딩 에이전트 워크플로를 구축하는 개발자 및 팀을 위해 설계되었으며, 자체 GPU 인프라를 관리하지 않고 오픈 모델 추론을 원하는 팀을 위한 것입니다. 이 회사는 RightNow의 일부로 Y Combinator의 지원을 받습니다. 현재 연구 시점에서 호스팅된 모델 라이브러리는 작으며, 세 가지 모델이 있지만, 다른 모델이 필요한 팀을 위한 요청 옵션이 존재합니다.
- 카테고리MLOps 및 모델 배포
- 요금제사용한 만큼 지불
- 배포관리형 및 자체 호스팅
- 플랫폼클라우드
RunInfra의 핵심 기능
OpenAI 및 Anthropic SDK와 호환되는 하나의 API 키
Nemotron, Qwen 및 Ornith를 포함한 오픈 모델 호스팅
반복 에이전트 호출을 동일한 따뜻한 복제본에 유지하는 세션 인식 라우팅
게시된 모델별 가격, 캐시 적중률 및 출력 속도 벤치마크
모델에 따라 도구 호출, JSON 모드, 스트리밍 및 이미지 입력 지원
Claude Code, Codex, OpenCode, Cline, Droid 및 Grok Build와 같은 코딩 에이전트와의 CLI 통합
기본적으로 제로 프롬프트 보존, SOC 2 Type II 인증 보유
역할 및 행 수준 보안이 있는 작업 공간
RunInfra 사용 방법은?
API 키 받기: RunInfra에 가입하고 게이트웨이 API 키를 생성합니다.
SDK를 RunInfra에 연결: OpenAI 또는 Anthropic SDK에서 기본 URL을 RunInfra의 엔드포인트로 설정합니다.
모델 선택: 기능 및 가격에 따라 호스팅된 모델 라이브러리에서 선택합니다.
모델 호출: 기존 SDK 코드를 사용하여 채팅 완성 요청을 보냅니다.
코딩 에이전트 연결: RunInfra CLI를 설치하여 Claude Code 또는 Cline과 같은 에이전트를 RunInfra 호스팅 모델로 라우팅합니다.
비용 및 캐시 적중 모니터링: 게시된 가격 및 모델별 캐시 적중률을 확인하여 지출을 관리합니다.
RunInfra의 사용 사례
- 오픈 모델 API 접근
- AI 에이전트 추론
- 코딩 에이전트 백엔드
