설명
NVIDIA Run:ai는 AI 작업 부하 및 GPU 오케스트레이션을 위한 기업 플랫폼으로, 조직이 단일 머신이 아닌 공유 GPU 클러스터에서 AI 훈련 및 추론을 운영할 때 발생하는 인프라 문제를 해결합니다.
더 읽기
이 플랫폼의 핵심 작업은 동적 자원 할당입니다: 환경 전반에 걸쳐 GPU 용량을 풀링하고 실시간으로 작업 부하 수요에 맞춰 자원을 매칭하여, 한 프로젝트에서 유휴 GPU 시간을 다른 프로젝트에서 사용할 수 있도록 합니다. 정책 엔진이 이 풀링 위에 위치하여 조직이 부서, 프로젝트 및 팀 간에 작업 부하를 운영할 수 있도록 중앙 집중식 정책 기반 거버넌스를 제공합니다. Run:ai는 공용 클라우드, 개인 클라우드, 하이브리드 환경 및 온프레미스 데이터 센터를 지원하며, 주요 AI 프레임워크, 머신 러닝 도구 및 타사 시스템과 통합할 수 있도록 설계된 개방형 API 우선 아키텍처를 갖추고 있습니다.
NVIDIA는 동적 스케줄링 및 오케스트레이션을 사용하는 고객의 벤더 벤치마크에서 최대 10배의 GPU 가용성, 20배 더 많은 작업 부하 실행 및 5배의 GPU 활용도를 인용하고 있지만, 정확한 이득은 환경 및 작업 부하 조합에 따라 달라질 수 있습니다. 핵심 스케줄링을 넘어, Run:ai의 현재 릴리스(v2.25, 제품 페이지에 설명됨)는 생산 규모에서 AI 시스템을 구축하고 운영하기 위한 통합 플랫폼을 발전시키는 것으로 설명되며, 여기에는 분산 작업 부하 오케스트레이션 및 더 많은 가시성과 제어를 통한 추론 확장이 포함됩니다.
여러 구성 요소가 오픈 소스입니다: KAI 스케줄러는 AI 작업 부하를 위한 오픈 소스 Kubernetes 스케줄러로, Run:ai를 기반으로 하며 일반 YAML 파일을 통해 구성됩니다. 이는 개발자 및 소규모 팀을 대상으로 합니다. Grove는 AI 추론 프레임워크와 Kubernetes 스케줄링을 연결하여 토폴로지 인식, 갱 스케줄링 배포를 가능하게 하며, 독립적으로 또는 다른 추론 프레임워크와 함께 실행할 수 있습니다. Run:ai 모델 스트리머는 모델 텐서를 저장소에서 동시에 읽고 이를 GPU 메모리로 직접 스트리밍하는 C++ 백엔드를 가진 Python SDK로, 추론 작업 부하에서 모델 로딩 시간을 몇 분에서 몇 초로 단축합니다.
NVIDIA Run:ai는 이제 NVIDIA AI Enterprise에 포함되어 있으며, NVIDIA의 더 넓은 AI 운영 플랫폼인 NVIDIA Mission Control 내에서 스케줄링을 지원합니다. 이는 대규모로 공유 GPU 클러스터를 운영하는 기업 ML 플랫폼 및 인프라 팀을 위해 설계되었으며, 개인 개발자가 자신의 머신에서 모델을 훈련하는 것을 위한 것이 아닙니다; 이를 채택하려면 기존의 Kubernetes 기반 또는 NVIDIA 지원 GPU 인프라가 필요합니다. 가격은 공개되지 않으며 직접 또는 파트너 판매를 통해 처리됩니다.
- 카테고리MLOps 및 모델 배포
- 요금제영업팀 문의
- 배포클라우드, 온프레미스
- 플랫폼웹
NVIDIA Run:ai의 핵심 기능
분산 환경 전반에 걸쳐 실행을 중앙 집중화하는 AI 네이티브 작업 부하 오케스트레이션
작업 부하 수요에 맞춰 자원을 실시간으로 매칭하는 동적 GPU 할당
부서 및 팀 간 공정하고 우선 순위가 매겨진 GPU 접근을 위한 정책 기반 거버넌스
주요 AI 프레임워크 및 ML 도구와 통합되는 개방형 API 우선 아키텍처
공용 클라우드, 개인 클라우드, 하이브리드 및 온프레미스 배포 지원
AI 작업 부하를 위한 오픈 소스 Kubernetes 스케줄러인 KAI 스케줄러
Kubernetes에서 AI 추론을 위한 토폴로지 인식 스케줄링인 Grove
모델 로딩 시간을 몇 분에서 몇 초로 단축하는 Run:ai 모델 스트리머
NVIDIA AI Enterprise 및 NVIDIA Mission Control에 포함됨
NVIDIA Run:ai 사용 방법은?
Kubernetes 기반 GPU 인프라에서 Run:ai를 클라우드, 온프레미스 또는 하이브리드로 배포합니다.
클러스터를 연결하여 GPU 자원을 풀링하여 팀과 프로젝트 간에 GPU를 공유합니다.
공유 GPU 용량에 대한 공정하고 우선 순위가 매겨진 접근을 위한 거버넌스 정책을 설정합니다.
Run:ai가 동적으로 스케줄링하고 할당할 수 있도록 훈련 및 추론 작업 부하를 제출합니다.
중앙에서 활용도를 모니터링하고 수요 변화에 따라 환경 전반에 걸쳐 작업 부하를 확장합니다.
플랫폼의 개방형 API 우선 아키텍처를 통해 기존 ML 프레임워크 및 도구를 통합합니다.
NVIDIA Run:ai의 사용 사례
- AI 훈련을 위한 GPU 오케스트레이션
- AI 추론 확장
- 다중 테넌트 GPU 거버넌스
- 모델 콜드 스타트 감소
