Descrição
MVDream é um projeto open-source hospedado no GitHub, desenvolvido pela bytedance, que se concentra em Difusão Multi-visão para Geração 3D. Este repositório contém o modelo de difusão e o código de geração de imagens 2D que formam a base do artigo MVDream. Embora este repositório forneça as capacidades centrais de difusão, a geração 3D real é tratada por um projeto separado, MVDream-threestudio.
Ler mais
O propósito principal do MVDream é gerar imagens multi-visão consistentes a partir de prompts de texto. Essa capacidade é crucial para reconstruir ou gerar modelos 3D, pois múltiplas visões fornecem as informações geométricas necessárias. O projeto aproveita o poder dos modelos de difusão, especificamente construindo sobre a arquitetura e os princípios do Stable Diffusion.
A instalação é simples, permitindo que os usuários configurem o ambiente usando o arquivo de requisitos fornecido ou instalando-o como um módulo Python. O projeto oferece modelos pré-treinados, incluindo versões baseadas no Stable Diffusion 2.1 Base e Stable Diffusion 1.5, disponíveis no Hugging Face. Esses modelos são licenciados sob a licença OpenRAIL.
Os usuários podem gerar imagens multi-visão diretamente da linha de comando usando prompts de texto. Adicionalmente, um script Gradio é fornecido para uma experiência interativa baseada em GUI. Os modelos podem ser carregados automaticamente do Hugging Face ou manualmente usando arquivos de configuração e de checkpoint. O processo de inferência envolve a geração de ruído, a definição de timesteps e o fornecimento de informações de condicionamento, como embeddings de texto e parâmetros de câmera.
MVDream é fortemente inspirado e baseado no projeto Stable Diffusion, com agradecimentos aos seus autores por suas contribuições open-source. O objetivo do projeto é avançar a pesquisa e o desenvolvimento em geração 3D, fornecendo ferramentas de difusão multi-visão acessíveis e poderosas.
- CategoriaGeradores de modelos 3D
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Recursos principais de MVDream
Geração de imagens multi-visão a partir de prompts de texto
Arquitetura de modelo de difusão
Baseado em Stable Diffusion
Fornece código de geração de imagens 2D
Suporta modelos Stable Diffusion 2.1 Base e 1.5
Interface de linha de comando para geração de texto para imagem
Script Gradio para interação baseada em GUI
Carregamento automático de modelos do Hugging Face
Carregamento manual de modelos via arquivos de configuração e checkpoint
Licença OpenRAIL para modelos
Opção de instalação como módulo Python
Primeiros passos com MVDream
Clonar: Clone o repositório MVDream do GitHub.
Instalar: Instale as dependências usando `pip install -r requirements.txt` ou `pip install -e .`.
Configurar: Selecione e carregue um modelo pré-treinado (ex: `sd-v2.1-base-4view`).
Gerar: Execute scripts de geração de texto para imagem (ex: `python scripts/t2i.py`).
Interagir: Use o aplicativo Gradio para uma experiência GUI (`python scripts/gradio_app.py`).
Inferência: Realize inferência de modelo com ruído, timesteps e condicionamento personalizados.
Casos de uso de MVDream
- Geração de Assets 3D
- Síntese de Imagens Multi-visão
- Pesquisa em IA Generativa
- Pipeline de Computação Gráfica
- Conteúdo de Realidade Virtual
- Conteúdo de Realidade Aumentada
