Descripción
Matrix New York es una herramienta sofisticada que aprovecha las imágenes de Google Street View para crear modelos de mundo en video interactivos de la ciudad de Nueva York. Está diseñada para simular el control y la trayectoria de vehículos utilizando una combinación de renderizado de vehículos en 3D y modelos cinemáticos de bicicletas. La herramienta recupera el panorama más cercano de Google Street View para una ubicación dada, elimina los vehículos en primer plano e inserta un vehículo en 3D renderizado bajo una cámara de persecución. Este proceso permite a los usuarios conducir modelos de mundo en video interactivos preentrenados a través de la ciudad, ofreciendo una perspectiva única sobre los entornos urbanos.
Leer más
Matrix New York cuenta con tres modelos distintos: Matrix-Game-3.0, Matrix-Game-3.5 y PanoWorld. Cada modelo recibe la misma observación de Street View y trayectoria del controlador, diferenciándose únicamente en el adaptador de acción utilizado. Matrix-Game-3.0 utiliza acciones de teclado y giro de cámara, Matrix-Game-3.5 emplea una trayectoria de cámara a mundo, y PanoWorld utiliza una trayectoria de traducción sobre un panorama completo de 360°. Estos modelos están diseñados para funcionar en una sola GPU sin necesidad de ajuste fino, asegurando un rendimiento eficiente.
El visor interactivo de la herramienta permite a los usuarios seleccionar una ubicación en un mapa o lista para reproducir su despliegue, con el panel debajo del video mostrando la entrada del controlador en el fotograma mostrado. Esta característica proporciona una vista completa de cómo operan los modelos e interactúan con el entorno virtual.
Matrix New York es particularmente útil para la planificación urbana, el análisis de tráfico y aplicaciones de realidad virtual, ofreciendo una experiencia detallada e inmersiva de las calles de la ciudad de Nueva York. Sin embargo, es importante señalar que la herramienta tiene limitaciones, como que el vehículo ego compuesto es una capa 2D que no interactúa con el contenido generado. Además, grandes cambios de dirección alejados de las intersecciones pueden desviar la cámara hacia fachadas, limitando la efectividad de la herramienta en ciertos escenarios.
- CategoríaGeneradores de video con IA
- Modelo de preciosCódigo abierto
- ImplementaciónNube
- PlataformasWeb
Características principales de Matrix New York
Integración de Google Street View
Renderizado de vehículos en 3D
Modelo cinemático de bicicleta
Modelos de mundo en video interactivos
Operación en una sola GPU
Tres modelos distintos
Visor interactivo
Licencia Apache-2.0
¿Cómo usar Matrix New York?
Seleccionar ubicación: Elija una ubicación en el mapa o lista
Recuperar panorama: Obtenga el panorama más cercano de Google Street View
Eliminar vehículos: Elimine los vehículos en primer plano
Insertar vehículo 3D: Renderice un vehículo en 3D bajo una cámara de persecución
Simular control: Utilice el modelo cinemático de bicicleta para el control del vehículo
Ver despliegue: Reproduzca el despliegue en el visor interactivo
Casos de uso de Matrix New York
- Planificación Urbana
- Análisis de Tráfico
- Realidad Virtual
- Simulación de Vehículos
- Herramienta Educativa
