Descripción
Presentamos Meta Segment Anything Model 2 (SAM 2), un avance significativo en la segmentación de imágenes y videos impulsada por IA. Desarrollado por Meta FAIR, SAM 2 es el primer modelo unificado capaz de segmentar objetos tanto en imágenes estáticas como en videos dinámicos con notable velocidad y precisión. Esta potente herramienta permite a los usuarios seleccionar cualquier objeto dentro de un fotograma de imagen o video utilizando entradas sencillas como un clic, un cuadro delimitador o una máscara.
La innovación central de SAM 2 radica en su capacidad para extender la segmentación programable al dominio del video. Incorpora un módulo de memoria por sesión que retiene información sobre el objeto objetivo a través de los fotogramas. Esto permite a SAM 2 rastrear objetos seleccionados incluso si desaparecen temporalmente de la vista, aprovechando la información contextual de fotogramas anteriores. Además, los usuarios pueden refinar las predicciones del modelo proporcionando indicaciones adicionales en cualquier fotograma, lo que permite ajustes precisos en las máscaras de segmentación.
El modelo demuestra un rendimiento robusto de cero disparos, lo que significa que puede segmentar eficazmente objetos, imágenes y videos que no ha encontrado durante el entrenamiento. Esta adaptabilidad hace que SAM 2 sea adecuado para una amplia gama de aplicaciones del mundo real. Su diseño prioriza el procesamiento eficiente de video a través de la inferencia en streaming, facilitando aplicaciones interactivas en tiempo real. SAM 2 logra un rendimiento de vanguardia, superando a los modelos existentes en la segmentación de objetos tanto para imágenes como para videos, particularmente en el seguimiento de partes de objetos y requiriendo menos tiempo de interacción en comparación con otros métodos de segmentación de video interactiva.
Meta está comprometida con la innovación abierta, lanzando un modelo SAM 2 preentrenado, el conjunto de datos SA-V, una demostración y el código asociado a la comunidad de investigación. El conjunto de datos SA-V, que comprende más de 600.000 "masklets" en aproximadamente 51.000 videos, se creó utilizando un motor de datos interactivo "model-in-the-loop" y enfatiza la diversidad geográfica y los escenarios del mundo real. Este lanzamiento tiene como objetivo fomentar una mayor investigación y desarrollo en el campo de la segmentación impulsada por IA.
Aspectos destacados de Meta Segment Anything Model 2
Modelo de segmentación unificado para imágenes y videos
Selección precisa de objetos mediante indicaciones de clic, cuadro o máscara
Módulo de memoria por sesión para el seguimiento de objetos a través de fotogramas de video
Capacidades de refinamiento con indicaciones adicionales en cualquier fotograma
Rendimiento robusto de cero disparos en objetos y videos no vistos
Interactividad en tiempo real a través de inferencia en streaming
Rendimiento de vanguardia en segmentación de objetos
Supera a los modelos existentes de segmentación de objetos de video
Requiere menos tiempo de interacción que los métodos tradicionales
Modelo preentrenado, conjunto de datos y código de código abierto
Conjunto de datos SA-V grande y diverso con más de 600.000 "masklets"
Escenarios del mundo real geográficamente diversos en los datos de entrenamiento
Salidas extensibles para integración con otros sistemas de IA
Entradas extensibles para interacción creativa en tiempo real
Primeros pasos con Meta Segment Anything Model 2
Explora la demostración: Interactúa con SAM 2 para segmentar objetos en imágenes y videos de muestra.
Descarga el modelo: Obtén el modelo SAM 2 preentrenado para integrarlo en tus proyectos.
Explora el conjunto de datos: Accede al conjunto de datos SA-V para fines de entrenamiento e investigación.
Integra SAM 2: Utiliza la API o el código del modelo para tareas de segmentación personalizadas.
Refina las predicciones: Usa indicaciones adicionales para ajustar las máscaras de segmentación según sea necesario.
Aplica a aplicaciones: Aprovecha las capacidades de SAM 2 para edición de video, creación de contenido y más.
Casos de uso de Meta Segment Anything Model 2
- Seguimiento de Objetos de Video
- Segmentación de Imágenes
- Edición de Video Interactiva
- Creación de Contenido
- Aplicaciones en Tiempo Real
- Investigación en IA
- Generación de Máscaras de Objetos
- Segmentación de Cero Disparos
