SAM 3D

Descrição

SAM 3D é uma plataforma de ferramentas de terceiros independente construída em torno dos modelos SAM 3D da Meta, que expandem a família Segment Anything da segmentação 2D para a compreensão 3D. Ela fornece ferramentas práticas e APIs para que desenvolvedores e criadores possam reconstruir objetos, pessoas e cenas 3D a partir de uma única imagem, sem precisar gerenciar o código de pesquisa e a infraestrutura por conta própria.

A plataforma expõe duas famílias de modelos: SAM 3D Objects, que reconstrói objetos e cenas gerais, incluindo geometria, textura e layout, e SAM 3D Body, que se especializa na estimativa precisa da pose e forma do corpo humano em 3D a partir de uma única foto. Ambos funcionam a partir de uma única entrada de imagem e são projetados para lidar com imagens do mundo real com iluminação natural, fundos e oclusão razoável.

SAM 3D não é um site oficial da Meta. Seu objetivo é facilitar a integração das capacidades do SAM 3D em fluxos de trabalho e produtos existentes por meio de APIs e ferramentas. Os modelos reconstruídos são exportados em formatos padrão, incluindo GLB, OBJ, PLY e USDZ, que são compatíveis com Blender, Unity, Unreal Engine e outras aplicações 3D.

Recursos principais de SAM 3D

• Reconstrução 3D de objetos, pessoas e cenas a partir de uma única imagem

• SAM 3D Objects para geometria, textura e layout de objetos e cenas gerais

• SAM 3D Body para estimativa de pose e forma do corpo humano em 3D

• APIs para integrar SAM 3D em aplicativos e pipelines

• Suporte para entradas de imagem JPG, PNG e WEBP

• Exportação para formatos GLB, OBJ, PLY e USDZ

• Compatibilidade com Blender, Unity e Unreal Engine

Como usar SAM 3D?

1. 1

   Escolha um modelo: Selecione SAM 3D Objects para objetos e cenas, ou SAM 3D Body para pose e forma humana.

2. 2

   Envie uma imagem: Forneça uma única foto JPG, PNG ou WEBP com uma visão clara do sujeito.

3. 3

   Reconstrua: Execute a reconstrução para gerar um modelo 3D a partir da imagem.

4. 4

   Exporte: Baixe o resultado como GLB, OBJ, PLY ou USDZ para uso em seu software 3D.

5. 5

   Integre: Opcionalmente, use a API para adicionar a reconstrução SAM 3D dentro do seu próprio produto ou pipeline.

Casos de uso de SAM 3D

• Ativos 3D de objetos
• Reconstrução do corpo humano
• Integração de pipeline
• AR e 3D na web

Perguntas frequentes de SAM 3D

• O que é SAM 3D?

  SAM 3D é um conjunto de modelos de IA da Meta que reconstrói objetos, pessoas e cenas 3D a partir de imagens únicas, expandindo a família Segment Anything para a compreensão 3D.

• Qual é a diferença entre SAM 3D Objects e SAM 3D Body?

  SAM 3D Objects reconstrói objetos e cenas gerais com geometria, textura e layout, enquanto SAM 3D Body se especializa na estimativa precisa da pose e forma do corpo humano em 3D a partir de uma única foto.

• Este é um site oficial da Meta?

  Não. Este é um site de ferramentas independentes de terceiros construído em torno do SAM 3D e modelos relacionados para torná-los mais fáceis de usar em projetos reais.

• Posso integrar o SAM 3D no meu próprio aplicativo?

  Sim. A plataforma expõe as capacidades do SAM 3D por meio de APIs e ferramentas que você pode integrar em fluxos de trabalho existentes para automatizar a reconstrução 3D ou adicionar recursos de geração ao seu produto.

• Quais imagens funcionam melhor?

  Imagens do mundo real com iluminação natural e visões claras de objetos ou pessoas produzem as melhores reconstruções, embora os modelos lidem com oclusão e desordem razoáveis. JPG, PNG e WEBP são suportados.

• Quais formatos de arquivo são suportados?

  Os modelos reconstruídos são exportados como GLB, OBJ, PLY e USDZ, todos compatíveis com Blender, Unity, Unreal Engine e outras aplicações 3D.