説明
NVIDIAが開発したCosmos3-Edgeは、Cosmos3コレクションの一部である先進的なAIモデルです。物理AIの開発を促進するために設計されており、機械が物理世界を理解し、シミュレーションし、相互作用できるようにします。このモデルは、ロボティクス、自律運転、工業および工場規模のアプリケーションを含むスマートスペース環境などの分野で特に有用です。
続きを読む
このモデルは、離散トークン生成のための自己回帰型トランスフォーマーと、連続的なマルチモーダル生成のための拡散トランスフォーマーを含むMixture-of-Transformers (MoT)アーキテクチャに基づいて構築されています。このアーキテクチャにより、Cosmos3-Edgeは単一のフレームワーク内で異種モダリティを処理でき、各モダリティが最も適切なメカニズムを使用して生成されることを保証します。
Cosmos3-Edgeは、テキスト、画像、動画、アクションの入力から、一貫したテキスト、画像、動画、アクション出力を生成することができます。これにより、世界理解、世界生成、シミュレーション、具現化されたポリシー学習など、幅広いアプリケーションの基盤ツールとなります。
このモデルは、テキスト、画像、動画、アクション入力の特定のパラメータを持つさまざまな入力および出力形式をサポートしています。NVIDIAのハードウェアおよびソフトウェアフレームワークを活用して、CPU専用ソリューションと比較して、より高速なトレーニングと推論時間を実現するように最適化されています。
Cosmos3-EdgeはOpenMDW1.1ライセンスの下でリリースされ、世界中で展開可能です。商業用および非商業用の両方に適しており、幅広いユーザーとアプリケーションにアクセス可能です。このモデルの機能は、vLLM-Omni、PyTorch、Hugging Face Diffusersなどのソフトウェアとの統合によってさらに強化されています。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド
- プラットフォームLinux
Cosmos3-Edgeのハイライト
オムニモーダル世界モデル
Mixture-of-Transformersアーキテクチャ
テキスト、画像、動画、アクション入力をサポート
一貫したマルチモーダル出力を生成
NVIDIA GPU加速システム向けに最適化
OpenMDW1.1ライセンス
グローバル展開
商業用および非商業用利用
Cosmos3-Edgeをはじめる
モデルにアクセス: Hugging Faceを訪問
認証: 認証情報を使用
環境設定: NVIDIA GPUを構成
API経由で統合: vLLM-OmniまたはPyTorchを使用
最適化: CUDAライブラリを活用
Cosmos3-Edgeの使用例
- ロボティクス
- 自律運転
- スマートスペース
- 工業アプリケーション
- 世界シミュレーション
