描述
NVIDIA Run:ai 是一个用于 AI 工作负载和 GPU 编排的企业平台，解决了组织在共享 GPU 集群上运行 AI 训练和推理时出现的基础设施挑战，而不是在单一机器上。
阅读更多
该平台的核心任务是动态资源分配：它在不同环境中汇集 GPU 容量，并实时匹配资源与工作负载需求，因此一个项目中的闲置 GPU 时间可以被另一个项目使用。一个政策引擎位于此汇集之上，让组织能够在部门、项目和团队之间运行工作负载，采用集中式的、政策驱动的治理来决定谁获得优先、可靠的 GPU 资源访问。Run:ai 支持公共云、私有云、混合环境和本地数据中心，其开放的、以 API 为先的架构旨在与主要 AI 框架、机器学习工具和第三方系统集成，而不是将团队锁定在一个技术栈中。
NVIDIA 引用的供应商基准显示，使用动态调度和编排的客户可实现高达 10 倍的 GPU 可用性、20 倍的工作负载运行量和 5 倍的 GPU 利用率，尽管具体收益会因环境和工作负载组合而异。除了核心调度功能外，Run:ai 当前版本（产品页面上描述的 v2.25）被描述为推进了一个统一的平台，用于在生产规模下构建和操作 AI 系统，包括分布式工作负载编排和推理扩展，提供更多的可见性和控制。
多个组件是开源的：KAI Scheduler 是一个开源的 Kubernetes 调度器，专为 AI 工作负载而构建，基于 Run:ai，并通过普通的 YAML 文件进行配置，旨在服务于开发者和小团队。Grove 桥接 AI 推理框架和 Kubernetes 调度，支持拓扑感知的、批量调度的部署，可以独立运行或与其他推理框架一起运行。Run:ai Model Streamer 是一个具有 C++ 后端的 Python SDK，能够并发读取存储中的模型张量，并直接将其流式传输到 GPU 内存中，将推理工作负载中的模型加载时间从几分钟缩短到几秒钟。
NVIDIA Run:ai 现在已捆绑到 NVIDIA AI Enterprise 中，并且还为 NVIDIA Mission Control 提供调度支持，后者是 NVIDIA 更广泛的 AI 操作平台。它专为在大规模共享 GPU 集群上运行 AI 训练和推理的企业 ML 平台和基础设施团队而构建，而不是为单个开发者在自己的机器上训练模型；采用它假设已有基于 Kubernetes 的或 NVIDIA 支持的 GPU 基础设施进行编排。定价未公开，通过直接或合作伙伴销售处理。
- 类别MLOps 与模型部署
- 定价模式联系销售
- 部署云端, 本地部署
- 平台网页版
NVIDIA Run:ai的核心功能
AI 原生工作负载编排，集中执行分布式环境中的任务
动态 GPU 分配，实时匹配资源与工作负载需求
政策驱动的治理，确保部门和团队之间公平、优先的 GPU 访问
开放的、以 API 为先的架构，与主要 AI 框架和 ML 工具集成
支持公共云、私有云、混合和本地部署
KAI Scheduler，一个开源的 Kubernetes 调度器，专为 AI 工作负载设计
Grove，支持 Kubernetes 上的 AI 推理的拓扑感知调度
Run:ai Model Streamer，将模型加载时间从几分钟缩短到几秒钟
捆绑到 NVIDIA AI Enterprise 和 NVIDIA Mission Control 中
如何使用 NVIDIA Run:ai？
在基于 Kubernetes 的 GPU 基础设施上部署 Run:ai，无论是在云中、本地还是混合环境
通过连接集群汇集 GPU 资源，以便 GPU 在团队和项目之间共享
设定治理政策，以确保对共享 GPU 容量的公平、优先访问
提交训练和推理工作负载，让 Run:ai 动态调度和分配
集中监控利用率，并根据需求变化在不同环境中扩展工作负载
通过平台的开放、以 API 为先的架构集成现有的 ML 框架和工具
NVIDIA Run:ai的使用案例
- AI 训练的 GPU 编排
- 扩展 AI 推理
- 多租户 GPU 治理
- 减少模型冷启动
