Description
Cosmos3-Edge, développé par NVIDIA, est un modèle d'IA avancé qui fait partie de la collection Cosmos3. Il est conçu pour faciliter le développement de l'IA physique en permettant aux machines de comprendre, simuler et interagir avec le monde physique. Ce modèle est particulièrement utile dans des domaines tels que la robotique, la conduite autonome et les environnements d'espace intelligent, y compris les applications à l'échelle industrielle et de fabrication.
Lire la suite
Le modèle est construit sur une architecture Mixture-of-Transformers (MoT), qui comprend un transformateur autoregressif pour la génération de tokens discrets et un transformateur de diffusion pour la génération multimodale continue. Cette architecture permet à Cosmos3-Edge de gérer des modalités hétérogènes au sein d'un cadre unique, garantissant que chaque modalité est générée en utilisant le mécanisme le plus approprié.
Cosmos3-Edge est capable de générer des textes, des images, des vidéos et des sorties d'action cohérentes à partir d'entrées multimodales, y compris des textes, des images, des vidéos et des trajectoires d'action. Cela en fait un outil fondamental pour une large gamme d'applications, y compris la compréhension du monde, la génération de mondes, la simulation et l'apprentissage de politiques incarnées.
Le modèle prend en charge une variété de formats d'entrée et de sortie, avec des paramètres spécifiques pour les entrées de texte, d'image, de vidéo et d'action. Il est optimisé pour fonctionner sur des systèmes accélérés par GPU NVIDIA, tirant parti des frameworks matériels et logiciels de NVIDIA pour atteindre des temps d'entraînement et d'inférence plus rapides par rapport aux solutions uniquement basées sur CPU.
Cosmos3-Edge est publié sous la licence OpenMDW1.1 et est disponible pour un déploiement mondial. Il convient à un usage commercial et non commercial, le rendant accessible à un large éventail d'utilisateurs et d'applications. Les capacités du modèle sont encore renforcées par son intégration avec des logiciels tels que vLLM-Omni, PyTorch et Hugging Face Diffusers.
- CatégorieModèles d'IA et LLM
- Modèle tarifaireOpen Source
- DéploiementCloud
- PlateformesLinux
Points forts de Cosmos3-Edge
Modèle du monde omnimodal
Architecture Mixture-of-Transformers
Prend en charge les entrées de texte, d'image, de vidéo et d'action
Génère des sorties multimodales cohérentes
Optimisé pour les systèmes accélérés par GPU NVIDIA
Licence OpenMDW1.1
Déploiement mondial
Usage commercial et non commercial
Premiers pas avec Cosmos3-Edge
Accéder au modèle : Visitez Hugging Face
S'authentifier : Utilisez vos identifiants
Configurer l'environnement : Configurer le GPU NVIDIA
Intégrer via API : Utilisez vLLM-Omni ou PyTorch
Optimiser : Tirer parti des bibliothèques CUDA
Cas d'utilisation de Cosmos3-Edge
- Robotique
- Conduite Autonome
- Espaces Intelligents
- Applications Industrielles
- Simulation du Monde
