Descrição
Apresentando o Meta Segment Anything Model 2 (SAM 2), um avanço significativo na segmentação de imagens e vídeos impulsionada por IA. Desenvolvido pela Meta FAIR, o SAM 2 é o primeiro modelo unificado capaz de segmentar objetos em imagens estáticas e vídeos dinâmicos com velocidade e precisão notáveis. Esta poderosa ferramenta permite que os usuários selecionem qualquer objeto dentro de um quadro de imagem ou vídeo usando entradas simples, como um clique, uma caixa delimitadora ou uma máscara.
A inovação central do SAM 2 reside em sua capacidade de estender a segmentação por prompt para o domínio de vídeo. Ele incorpora um módulo de memória por sessão que retém informações sobre o objeto alvo entre os quadros. Isso permite que o SAM 2 rastreie objetos selecionados, mesmo que eles desapareçam temporariamente de vista, aproveitando informações contextuais de quadros anteriores. Além disso, os usuários podem refinar as previsões do modelo fornecendo prompts adicionais em qualquer quadro, permitindo ajustes precisos nas máscaras de segmentação.
O modelo demonstra um desempenho robusto de zero-shot, o que significa que ele pode segmentar efetivamente objetos, imagens e vídeos que não encontrou durante o treinamento. Essa adaptabilidade torna o SAM 2 adequado para uma ampla gama de aplicações do mundo real. Seu design prioriza o processamento eficiente de vídeo por meio de inferência em streaming, facilitando aplicações interativas em tempo real. O SAM 2 atinge desempenho de ponta, superando modelos existentes na segmentação de objetos para imagens e vídeos, particularmente no rastreamento de partes de objetos e exigindo menos tempo de interação em comparação com outros métodos interativos de segmentação de vídeo.
A Meta está comprometida com a inovação aberta, lançando um modelo SAM 2 pré-treinado, o conjunto de dados SA-V, uma demonstração e o código associado para a comunidade de pesquisa. O conjunto de dados SA-V, compreendendo mais de 600.000 "masklets" em aproximadamente 51.000 vídeos, foi criado usando um motor de dados interativo "model-in-the-loop" e enfatiza a diversidade geográfica e cenários do mundo real. Este lançamento visa promover mais pesquisas e desenvolvimento no campo da segmentação impulsionada por IA.
Destaques de Meta Segment Anything Model 2
Modelo unificado de segmentação para imagens e vídeos
Seleção precisa de objetos via prompts de clique, caixa ou máscara
Módulo de memória por sessão para rastreamento de objetos entre quadros de vídeo
Capacidades de refinamento com prompts adicionais em qualquer quadro
Desempenho robusto de zero-shot em objetos e vídeos não vistos
Interatividade em tempo real através de inferência em streaming
Desempenho de ponta em segmentação de objetos
Supera modelos existentes de segmentação de objetos de vídeo
Requer menos tempo de interação do que métodos tradicionais
Modelo pré-treinado, conjunto de dados e código de código aberto
Conjunto de dados SA-V grande e diversificado com mais de 600 mil "masklets"
Cenários do mundo real geograficamente diversos nos dados de treinamento
Saídas extensíveis para integração com outros sistemas de IA
Entradas extensíveis para interação criativa em tempo real
Primeiros passos com Meta Segment Anything Model 2
Explore a demonstração: Interaja com o SAM 2 para segmentar objetos em imagens e vídeos de amostra.
Baixe o modelo: Obtenha o modelo SAM 2 pré-treinado para integração em seus projetos.
Explore o conjunto de dados: Acesse o conjunto de dados SA-V para fins de treinamento e pesquisa.
Integre o SAM 2: Utilize a API ou o código do modelo para tarefas de segmentação personalizadas.
Refine previsões: Use prompts adicionais para ajustar as máscaras de segmentação conforme necessário.
Aplique a aplicações: Aproveite as capacidades do SAM 2 para edição de vídeo, criação de conteúdo e muito mais.
Casos de uso de Meta Segment Anything Model 2
- Rastreamento de Objetos em Vídeo
- Segmentação de Imagem
- Edição Interativa de Vídeo
- Criação de Conteúdo
- Aplicações em Tempo Real
- Pesquisa em IA
- Geração de Máscaras de Objetos
- Segmentação Zero-Shot
