Описание
Cosmos3-Edge, разработанная NVIDIA, является передовой моделью ИИ, которая входит в коллекцию Cosmos3. Она предназначена для упрощения разработки физического ИИ, позволяя машинам понимать, моделировать и взаимодействовать с физическим миром. Эта модель особенно полезна в таких областях, как робототехника, автономное вождение и умные пространства, включая промышленные и заводские приложения.
Читать далее
Модель построена на архитектуре Mixture-of-Transformers (MoT), которая включает автогрессивный трансформер для генерации дискретных токенов и диффузионный трансформер для непрерывной многомодальной генерации. Эта архитектура позволяет Cosmos3-Edge обрабатывать гетерогенные модальности в рамках одной структуры, обеспечивая генерацию каждой модальности с использованием наиболее подходящего механизма.
Cosmos3-Edge способна генерировать связный текст, изображения, видео и выходные данные действий из многомодальных входов, включая текст, изображения, видео и траектории действий. Это делает ее основным инструментом для широкого спектра приложений, включая понимание мира, генерацию мира, моделирование и обучение воплощенной политики.
Модель поддерживает различные форматы входных и выходных данных, с конкретными параметрами для текстовых, изображенческих, видеовходов и действий. Она оптимизирована для работы на системах с ускорением GPU от NVIDIA, используя аппаратные и программные фреймворки NVIDIA для достижения более быстрых времен обучения и вывода по сравнению с решениями только на CPU.
Cosmos3-Edge выпущена под лицензией OpenMDW1.1 и доступна для глобального развертывания. Она подходит как для коммерческого, так и для некоммерческого использования, что делает ее доступной для широкого круга пользователей и приложений. Возможности модели дополнительно усиливаются ее интеграцией с такими программами, как vLLM-Omni, PyTorch и Hugging Face Diffusers.
- КатегорияИИ-модели и LLM
- Модель ценообразованияОткрытый исходный код
- РазвёртываниеОблако
- ПлатформыLinux
Главное о Cosmos3-Edge
Омнимодальная модель мира
Архитектура Mixture-of-Transformers
Поддержка текстовых, изображенческих, видеовходов и действий
Генерация связных многомодальных выходов
Оптимизирована для систем с ускорением GPU от NVIDIA
Лицензия OpenMDW1.1
Глобальное развертывание
Коммерческое и некоммерческое использование
Начало работы с Cosmos3-Edge
Доступ к модели: посетите Hugging Face
Аутентификация: используйте свои учетные данные
Настройка окружения: настройте GPU от NVIDIA
Интеграция через API: используйте vLLM-Omni или PyTorch
Оптимизация: используйте библиотеки CUDA
Варианты использования Cosmos3-Edge
- Робототехника
- Автономное вождение
- Умные пространства
- Промышленные приложения
- Моделирование мира
