Beschreibung
Matrix New York ist ein anspruchsvolles Werkzeug, das Google Street View-Bilder nutzt, um interaktive Video-Weltmodelle von New York City zu erstellen. Es wurde entwickelt, um die Fahrzeugsteuerung und -trajektorie mithilfe einer Kombination aus 3D-Fahrzeugdarstellungen und kinematischen Fahrradmodellen zu simulieren. Das Werkzeug ruft das nächstgelegene Google Street View-Panorama für einen bestimmten Standort ab, entfernt nahe Fahrzeuge und fügt ein 3D-Fahrzeug unter einer Verfolgungskamera ein. Dieser Prozess ermöglicht es den Nutzern, vortrainierte interaktive Video-Weltmodelle durch die Stadt zu fahren und bietet eine einzigartige Perspektive auf städtische Umgebungen.
Weiterlesen
Matrix New York bietet drei verschiedene Modelle: Matrix-Game-3.0, Matrix-Game-3.5 und PanoWorld. Jedes Modell erhält die gleiche Street View-Beobachtung und Controller-Trajektorie, unterscheidet sich jedoch nur in dem verwendeten Aktionsadapter. Matrix-Game-3.0 verwendet Tastatur- und Kamerawinkelaktionen, Matrix-Game-3.5 nutzt eine Kamera-zu-Welt-Trajektorie, und PanoWorld verwendet eine Übersetzungstrajektorie über ein vollständiges 360°-Panorama. Diese Modelle sind so konzipiert, dass sie auf einer einzelnen GPU ohne Feinabstimmung betrieben werden können, was eine effiziente Leistung gewährleistet.
Der interaktive Viewer des Werkzeugs ermöglicht es den Nutzern, einen Standort auf einer Karte oder Liste auszuwählen, um dessen Rollout abzuspielen, wobei das Panel unter dem Video die Controller-Eingabe im angezeigten Frame anzeigt. Diese Funktion bietet einen umfassenden Überblick darüber, wie die Modelle funktionieren und mit der virtuellen Umgebung interagieren.
Matrix New York ist besonders nützlich für Stadtplanung, Verkehrsanalysen und Anwendungen der virtuellen Realität und bietet ein detailliertes und immersives Erlebnis der Straßen von New York City. Es ist jedoch wichtig zu beachten, dass das Werkzeug Einschränkungen hat, wie das kompositierte Ego-Fahrzeug, das eine 2D-Ebene ist und nicht mit dem generierten Inhalt interagiert. Darüber hinaus können große Richtungsänderungen von Kreuzungen dazu führen, dass die Kamera in Fassaden gelenkt wird, was die Effektivität des Werkzeugs in bestimmten Szenarien einschränkt.
- KategorieKI-Videogeneratoren
- PreismodellOpen Source
- BereitstellungCloud
- PlattformenWeb
Matrix New York's Kernfunktionen
Integration von Google Street View
3D-Fahrzeugdarstellung
Kinematisches Fahrradmodell
Interaktive Video-Weltmodelle
Betrieb mit einer GPU
Drei verschiedene Modelle
Interaktiver Viewer
Apache-2.0-Lizenz
Wie verwendet man Matrix New York?
Standort auswählen: Wählen Sie einen Standort auf der Karte oder Liste aus
Panorama abrufen: Holen Sie sich das nächstgelegene Google Street View-Panorama
Fahrzeuge entfernen: Beseitigen Sie nahe Fahrzeuge
3D-Fahrzeug einfügen: Rendern Sie ein 3D-Fahrzeug unter einer Verfolgungskamera
Steuerung simulieren: Verwenden Sie das kinematische Fahrradmodell zur Fahrzeugsteuerung
Rollout anzeigen: Spielen Sie den Rollout im interaktiven Viewer ab
Matrix New York's Anwendungsfälle
- Stadtplanung
- Verkehrsanalyse
- Virtuelle Realität
- Fahrzeugsimulation
- Bildungswerkzeug
