설명
NVIDIA가 개발한 Cosmos3-Edge는 Cosmos3 컬렉션의 일부인 고급 AI 모델입니다. 이 모델은 기계가 물리적 세계를 이해하고, 시뮬레이션하며, 상호작용할 수 있도록 하여 물리적 AI의 개발을 촉진하도록 설계되었습니다. 이 모델은 로봇 공학, 자율 주행 및 산업 및 공장 규모의 애플리케이션을 포함한 스마트 공간 환경과 같은 분야에서 특히 유용합니다.
더 읽기
이 모델은 이산 토큰 생성을 위한 자기 회귀 변환기와 연속 다중 모달 생성을 위한 확산 변환기를 포함하는 혼합 변환기(MoT) 아키텍처를 기반으로 구축되었습니다. 이 아키텍처는 Cosmos3-Edge가 단일 프레임워크 내에서 이질적인 모달리티를 처리할 수 있도록 하여 각 모달리티가 가장 적합한 메커니즘을 사용하여 생성되도록 보장합니다.
Cosmos3-Edge는 텍스트, 이미지, 비디오 및 행동 궤적을 포함한 다중 모달 입력에서 일관된 텍스트, 이미지, 비디오 및 행동 출력을 생성할 수 있습니다. 이는 세계 이해, 세계 생성, 시뮬레이션 및 구현된 정책 학습을 포함한 다양한 애플리케이션의 기초 도구가 됩니다.
이 모델은 텍스트, 이미지, 비디오 및 행동 입력에 대한 특정 매개변수를 갖춘 다양한 입력 및 출력 형식을 지원합니다. NVIDIA GPU 가속 시스템에서 실행되도록 최적화되어 있으며, CPU 전용 솔루션에 비해 더 빠른 훈련 및 추론 시간을 달성하기 위해 NVIDIA의 하드웨어 및 소프트웨어 프레임워크를 활용합니다.
Cosmos3-Edge는 OpenMDW1.1 라이센스 하에 출시되었으며 전 세계적으로 배포 가능합니다. 상업적 및 비상업적 용도 모두에 적합하여 다양한 사용자와 애플리케이션이 접근할 수 있습니다. 이 모델의 기능은 vLLM-Omni, PyTorch 및 Hugging Face Diffusers와 같은 소프트웨어와의 통합을 통해 더욱 향상됩니다.
- 카테고리AI 모델 및 LLM
- 요금제오픈 소스
- 배포클라우드
- 플랫폼Linux
Cosmos3-Edge 하이라이트
모든 모달 세계 모델
혼합 변환기 아키텍처
텍스트, 이미지, 비디오 및 행동 입력 지원
일관된 다중 모달 출력 생성
NVIDIA GPU 가속 시스템에 최적화
OpenMDW1.1 라이센스
전 세계 배포
상업적 및 비상업적 사용 가능
Cosmos3-Edge 시작하기
모델 접근: Hugging Face 방문
인증: 자격 증명 사용
환경 설정: NVIDIA GPU 구성
API를 통한 통합: vLLM-Omni 또는 PyTorch 사용
최적화: CUDA 라이브러리 활용
Cosmos3-Edge의 사용 사례
- 로봇 공학
- 자율 주행
- 스마트 공간
- 산업 애플리케이션
- 세계 시뮬레이션
