Описание
Matrix New York — это сложный инструмент, который использует изображения Google Street View для создания интерактивных видео мировых моделей Нью-Йорка. Он предназначен для симуляции управления транспортными средствами и траектории с использованием комбинации 3D рендеринга транспортных средств и кинематических моделей велосипедов. Инструмент получает ближайшую панораму Google Street View для заданного местоположения, удаляет близкие транспортные средства и вставляет 3D транспортное средство, отрендеренное под камерой слежения. Этот процесс позволяет пользователям управлять предобученными интерактивными видео мировыми моделями по городу, предлагая уникальную перспективу на городскую среду.
Читать далее
Matrix New York включает три различных модели: Matrix-Game-3.0, Matrix-Game-3.5 и PanoWorld. Каждая модель получает одно и то же наблюдение Street View и траекторию контроллера, отличаясь только используемым адаптером действий. Matrix-Game-3.0 использует действия клавиатуры и поворота камеры, Matrix-Game-3.5 применяет траекторию от камеры к миру, а PanoWorld использует траекторию перемещения по полной панораме на 360°. Эти модели разработаны для работы на одном GPU без дообучения, что обеспечивает эффективную производительность.
Интерактивный просмотрщик инструмента позволяет пользователям выбирать местоположение на карте или в списке для воспроизведения его развертывания, при этом панель под видео отображает ввод контроллера на отображаемом кадре. Эта функция предоставляет полное представление о том, как модели работают и взаимодействуют с виртуальной средой.
Matrix New York особенно полезен для городского планирования, анализа трафика и приложений виртуальной реальности, предлагая детализированный и погружающий опыт улиц Нью-Йорка. Однако важно отметить, что у инструмента есть ограничения, такие как композитное эго-транспортное средство, представляющее собой 2D слой, который не взаимодействует с генерируемым контентом. Кроме того, большие изменения направления вдали от перекрестков могут направить камеру в фасады, ограничивая эффективность инструмента в определенных сценариях.
- КатегорияИИ-генераторы видео
- Модель ценообразованияОткрытый код
- РазвёртываниеОблако
- ПлатформыВеб
Основные функции Matrix New York
Интеграция Google Street View
3D рендеринг транспортных средств
Кинематическая модель велосипеда
Интерактивные видео мировые модели
Работа на одном GPU
Три различных модели
Интерактивный просмотрщик
Лицензия Apache-2.0
Как использовать Matrix New York?
Выберите местоположение: Выберите местоположение на карте или в списке
Получите панораму: Получите ближайшую панораму Google Street View
Удалите транспортные средства: Устраните близкие транспортные средства
Вставьте 3D транспортное средство: Отрендерите 3D транспортное средство под камерой слежения
Симулируйте управление: Используйте кинематическую модель велосипеда для управления транспортным средством
Просмотрите развертывание: Воспроизведите развертывание в интерактивном просмотрщике
Варианты использования Matrix New York
- Градостроительство
- Анализ трафика
- Виртуальная реальность
- Симуляция транспортных средств
- Образовательный инструмент
