描述
Cosmos3-Edge由NVIDIA开发,是Cosmos3系列的一部分,是一种先进的AI模型。它旨在通过使机器能够理解、模拟和与物理世界互动来促进物理AI的发展。该模型在机器人技术、自动驾驶和智能空间环境等领域特别有用,包括工业和工厂规模的应用。
阅读更多
该模型基于混合变换器(MoT)架构,包含用于离散标记生成的自回归变换器和用于连续多模态生成的扩散变换器。这种架构使Cosmos3-Edge能够在单一框架内处理异构模态,确保每种模态使用最合适的机制生成。
Cosmos3-Edge能够从多模态输入(包括文本、图像、视频和动作轨迹)生成连贯的文本、图像、视频和动作输出。这使其成为广泛应用的基础工具,包括世界理解、世界生成、模拟和具身政策学习。
该模型支持多种输入和输出格式,并为文本、图像、视频和动作输入提供特定参数。它经过优化,可在NVIDIA GPU加速系统上运行,利用NVIDIA的硬件和软件框架实现比仅使用CPU的解决方案更快的训练和推理时间。
Cosmos3-Edge根据OpenMDW1.1许可证发布,并可进行全球部署。它适用于商业和非商业用途,使其对广泛的用户和应用程序可用。该模型的能力通过与vLLM-Omni、PyTorch和Hugging Face Diffusers等软件的集成得到了进一步增强。
- 类别AI 模型与大语言模型
- 定价模式开源
- 部署云端
- 平台Linux
Cosmos3-Edge亮点
全模态世界模型
混合变换器架构
支持文本、图像、视频和动作输入
生成连贯的多模态输出
针对NVIDIA GPU加速系统进行了优化
OpenMDW1.1许可证
全球部署
商业和非商业用途
Cosmos3-Edge入门
访问模型:访问Hugging Face
身份验证:使用您的凭据
设置环境:配置NVIDIA GPU
通过API集成:使用vLLM-Omni或PyTorch
优化:利用CUDA库
Cosmos3-Edge的使用案例
- 机器人技术
- 自动驾驶
- 智能空间
- 工业应用
- 世界模拟





