Описание
GET3D — это новая генеративная модель, разработанная Toronto AI Lab и NVIDIA, предназначенная для создания высококачественных 3D текстурированных форм непосредственно из 2D данных изображений. Отвечая растущему спросу на масштабируемые инструменты создания 3D-контента в таких отраслях, как игровая индустрия, виртуальная реальность и цифровой дизайн, GET3D синтезирует текстурированные сетки, которые сразу же совместимы со стандартными 3D-движками рендеринга. Это позволяет обойти сложности нейронных рендереров, часто встречающихся в предыдущих генеративных 3D-моделях, делая выходные данные пригодными для использования в обычном 3D-программном обеспечении.
Модель работает путем генерации 3D функции знакового расстояния (SDF) и поля текстуры, оба из которых получены из латентных кодов. Дифференцируемый рендерер, в частности DMTet, используется для извлечения 3D-сетки поверхности из SDF. Затем поле текстуры запрашивается в точках поверхности для назначения цветов, что приводит к получению текстур высокой точности. Обучение достигается с помощью состязательных потерь, определенных на 2D-изображениях, с использованием двух дискриминаторов, которые классифицируют реальные и поддельные RGB-изображения и силуэты. Этот подход, обучаемый сквозным образом, позволяет GET3D учиться на обширных наборах 2D-изображений.
GET3D демонстрирует замечательные возможности в генерации разнообразных 3D-активов, включая автомобили, стулья, животных, мотоциклы, человеческих персонажей и здания. Она превосходно создает формы с произвольной топологией, детализированной геометрией и текстурами высокой точности, значительно превосходя предыдущие методы. Ключевой особенностью является разделение геометрии и текстуры, что позволяет независимо манипулировать формой и внешним видом. Модель также поддерживает осмысленную интерполяцию в своем латентном пространстве, обеспечивая плавные переходы между различными формами и текстурами, и может генерировать новые формы с небольшими локальными вариациями.
Кроме того, GET3D может быть объединен с другими методами для генерации материалов без учителя и адаптирован для генерации форм на основе текста. Путем дообучения 3D-генератора с использованием CLIP-потерь на отрендеренных 2D-изображениях и предоставленных пользователем текстовых подсказок, GET3D может создавать осмысленные формы на основе текстовых описаний. Эта универсальность делает ее мощным инструментом для создателей контента, стремящихся эффективно генерировать широкий спектр 3D-активов с высоким визуальным качеством.
Главное о GET3D
Генерирует высококачественные 3D текстурированные сетки
Непосредственно пригодно для использования в 3D-движках рендеринга
Синтезирует формы с произвольной топологией
Создает богатые геометрические детали и текстуры высокой точности
Обучается на коллекциях 2D изображений
Достигает разделения геометрии и текстуры
Поддерживает осмысленную интерполяцию латентного пространства
Позволяет генерировать новые формы с вариациями
Может быть адаптировано для генерации форм на основе текста
Обучено с использованием состязательных потерь на 2D изображениях
Использует дифференцируемый рендерер (DMTet)
Генерирует 3D SDF и поля текстур
Начало работы с GET3D
Доступ к модели: Получите доступ к весам и коду модели GET3D.
Настройка среды: Настройте необходимое программное и аппаратное обеспечение.
Интеграция через API: Используйте предоставленные библиотеки или API для взаимодействия с моделью.
Генерация 3D-активов: Введите латентные коды или текстовые подсказки для синтеза 3D текстурированных сеток.
Извлечение сеток: Используйте DMTet для извлечения сеток поверхности из сгенерированных SDF.
Применение текстур: Запросите поле текстуры для цветов точек поверхности.
Уточнение и экспорт: Дальнейшая обработка или экспорт сгенерированных активов для последующих приложений.
Варианты использования GET3D
- Генерация 3D-активов
- Контент для виртуальных миров
- Разработка игр
- AR/VR Опыт
- Цифровой дизайн
- Синтез текста в 3D
- Вариативность топологии
