Description
Matrix New York est un outil sophistiqué qui exploite les images de Google Street View pour créer des modèles de monde vidéo interactifs de la ville de New York. Il est conçu pour simuler le contrôle des véhicules et la trajectoire en utilisant une combinaison de rendu de véhicules 3D et de modèles de bicyclettes cinématiques. L'outil récupère le panorama Google Street View le plus proche d'un emplacement donné, élimine les véhicules à proximité et insère un véhicule 3D rendu sous une caméra de poursuite. Ce processus permet aux utilisateurs de conduire des modèles de monde vidéo interactifs pré-entraînés à travers la ville, offrant une perspective unique sur les environnements urbains.
Lire la suite
Matrix New York propose trois modèles distincts : Matrix-Game-3.0, Matrix-Game-3.5 et PanoWorld. Chaque modèle reçoit la même observation de Street View et la trajectoire du contrôleur, ne différant que par l'adaptateur d'action utilisé. Matrix-Game-3.0 utilise des actions de clavier et de rotation de caméra, Matrix-Game-3.5 emploie une trajectoire de caméra vers le monde, et PanoWorld utilise une trajectoire de translation sur un panorama complet de 360°. Ces modèles sont conçus pour fonctionner sur un seul GPU sans ajustement fin, garantissant une performance efficace.
Le visualiseur interactif de l'outil permet aux utilisateurs de sélectionner un emplacement sur une carte ou une liste pour jouer son déploiement, le panneau sous la vidéo affichant l'entrée du contrôleur au cadre affiché. Cette fonctionnalité fournit une vue complète de la manière dont les modèles fonctionnent et interagissent avec l'environnement virtuel.
Matrix New York est particulièrement utile pour la planification urbaine, l'analyse du trafic et les applications de réalité virtuelle, offrant une expérience détaillée et immersive des rues de New York. Cependant, il est important de noter que l'outil a des limitations, telles que le véhicule égo composite étant une couche 2D qui n'interagit pas avec le contenu généré. De plus, de grands changements de cap loin des intersections peuvent diriger la caméra vers des façades, limitant l'efficacité de l'outil dans certains scénarios.
- CatégorieGénérateurs de vidéos IA
- Modèle tarifaireOpen source
- DéploiementCloud
- PlateformesWeb
Fonctionnalités principales de Matrix New York
Intégration de Google Street View
Rendu de véhicules 3D
Modèle de bicyclette cinématique
Modèles de monde vidéo interactifs
Fonctionnement sur un seul GPU
Trois modèles distincts
Visualiseur interactif
Licence Apache-2.0
Comment utiliser Matrix New York ?
Sélectionner un emplacement : Choisissez un emplacement sur la carte ou la liste
Récupérer le panorama : Obtenez le panorama Google Street View le plus proche
Supprimer les véhicules : Éliminez les véhicules à proximité
Insérer un véhicule 3D : Rendre un véhicule 3D sous une caméra de poursuite
Simuler le contrôle : Utilisez le modèle de bicyclette cinématique pour le contrôle du véhicule
Voir le déploiement : Jouez le déploiement dans le visualiseur interactif
Cas d'utilisation de Matrix New York
- Planification Urbaine
- Analyse du Trafic
- Réalité Virtuelle
- Simulation de Véhicules
- Outil Éducatif
