Descrição
GET3D é um modelo generativo inovador desenvolvido pelo Toronto AI Lab e NVIDIA, projetado para produzir formas 3D texturizadas de alta qualidade diretamente a partir de dados de imagem 2D. Atendendo à crescente demanda por ferramentas escaláveis de criação de conteúdo 3D em indústrias como jogos, realidade virtual e design digital, o GET3D sintetiza malhas texturizadas que são imediatamente compatíveis com motores de renderização 3D padrão. Isso contorna as complexidades dos renderizadores neurais frequentemente encontrados em modelos generativos 3D anteriores, tornando a saída diretamente utilizável em softwares 3D comuns.
Ler mais
O modelo opera gerando uma Função de Distância Sinalizada (SDF) 3D e um campo de textura, ambos derivados de códigos latentes. Um renderizador diferenciável, especificamente DMTet, é empregado para extrair uma malha de superfície 3D da SDF. O campo de textura é então consultado em pontos de superfície para atribuir cores, resultando em texturas de alta fidelidade. O treinamento é alcançado através de perdas adversariais definidas em imagens 2D, utilizando dois discriminadores que classificam imagens RGB e silhuetas reais versus falsas. Essa abordagem treinável de ponta a ponta permite que o GET3D aprenda com vastos conjuntos de dados de imagens 2D.
GET3D demonstra capacidades notáveis na geração de ativos 3D diversos, incluindo carros, cadeiras, animais, motocicletas, personagens humanos e edifícios. Ele se destaca na produção de formas com topologia arbitrária, geometria detalhada e texturas de alta fidelidade, superando significativamente os métodos anteriores. Uma característica chave é a desvinculação entre geometria e textura, permitindo a manipulação independente da forma e da aparência. O modelo também suporta interpolação significativa em seu espaço latente, permitindo transições suaves entre diferentes formas e texturas, e pode gerar novas formas com pequenas variações locais.
Além disso, o GET3D pode ser combinado com outras técnicas para geração de materiais não supervisionada e pode ser adaptado para geração de formas guiada por texto. Ao ajustar o gerador 3D usando perda CLIP em imagens 2D renderizadas e prompts de texto fornecidos pelo usuário, o GET3D pode produzir formas significativas com base em descrições textuais. Essa versatilidade o torna uma ferramenta poderosa para criadores de conteúdo que buscam gerar uma ampla gama de ativos 3D de forma eficiente e com alta qualidade visual.
- CategoriaGeradores de modelos 3D
- ImplantaçãoNuvem
- PlataformasWeb
Destaques de GET3D
Gera malhas 3D texturizadas de alta qualidade
Diretamente utilizável em motores de renderização 3D
Sintetiza formas com topologia arbitrária
Produz detalhes geométricos ricos e texturas de alta fidelidade
Aprende a partir de coleções de imagens 2D
Alcança desvinculação entre geometria e textura
Suporta interpolação significativa no espaço latente
Permite a geração de novas formas com variações
Pode ser adaptado para geração de formas guiada por texto
Treinado usando perdas adversariais em imagens 2D
Utiliza um renderizador diferenciável (DMTet)
Gera campos SDF e de textura 3D
Primeiros passos com GET3D
Acessar modelo: Obtenha acesso aos pesos e código do modelo GET3D.
Configurar ambiente: Configure as dependências de software e hardware necessárias.
Integrar via API: Utilize bibliotecas ou APIs fornecidas para interagir com o modelo.
Gerar ativos 3D: Insira códigos latentes ou prompts de texto para sintetizar malhas 3D texturizadas.
Extrair malhas: Use DMTet para extrair malhas de superfície de SDFs geradas.
Aplicar texturas: Consulte o campo de textura para obter cores dos pontos de superfície.
Refinar e exportar: Processe ou exporte ainda mais os ativos gerados para aplicações downstream.
Casos de uso de GET3D
- Geração de Ativos 3D
- Conteúdo para Mundos Virtuais
- Desenvolvimento de Jogos
- Experiências AR/VR
- Design Digital
- Síntese de Texto para 3D
- Variação de Topologia
