Descripción
TaskMatrix es un proyecto de código abierto alojado en GitHub, con espejos bajo la organización de GitHub de Microsoft. Es el nombre actual del enfoque publicado en el artículo "Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models," y aún lleva esa herencia: el script principal se llama visual_chatgpt.py y su demostración oficial en Hugging Face se titula "visual_chatgpt." La idea central no ha cambiado: conectar un modelo conversacional como ChatGPT a un conjunto de modelos de fundación visual especializados para que la conversación pueda enviar y recibir imágenes, no solo texto.
Leer más
La idea central es una división del trabajo. ChatGPT, o otro modelo de lenguaje grande, actúa como una interfaz general que entiende una solicitud en lenguaje sencillo, mientras que modelos de fundación separados actúan como expertos en dominio para una tarea visual específica, como detectar un objeto, segmentarlo o rellenar una región. TaskMatrix formaliza esto con un sistema de plantillas: una plantilla es un flujo de ejecución predefinido que permite a ChatGPT encadenar múltiples modelos de fundación para completar una tarea más compleja de lo que cualquier modelo individual podría manejar solo. La plantilla InfinityOutPainting es un ejemplo, combinando un modelo de generación de descripciones de imágenes, un modelo de inpainting y un modelo de respuesta a preguntas visuales para que un usuario pueda pedir extender una imagen a un tamaño específico y obtener un resultado de outpainting sin necesidad de entrenamiento adicional.
En la práctica, un flujo de trabajo común es la edición de imágenes guiada por texto: un usuario dice "encuentra xxx en la imagen" o "segmenta xxx en la imagen," y TaskMatrix utiliza GroundingDINO para localizar el objeto por su descripción textual, Segment Anything para generar una máscara precisa, y Stable Diffusion inpainting para editar solo esa región enmascarada. El proyecto también admite conversaciones en chino.
TaskMatrix se puede probar sin instalar nada, a través de una demostración en Hugging Face Spaces o un cuaderno de Google Colab. Ejecutarlo localmente requiere clonar el repositorio, crear un entorno de Python, instalar los modelos de fundación listados y proporcionar una clave de API de OpenAI para el lado de ChatGPT. Qué modelos de fundación carga un usuario es configurable, ya que cada uno tiene una huella de memoria GPU diferente, desde modelos ligeros que no necesitan memoria GPU dedicada hasta modelos de generación de imágenes que requieren varios gigabytes cada uno. El proyecto está dirigido a desarrolladores e investigadores que experimentan con edición de imágenes conversacional de múltiples modelos en lugar de usuarios finales que buscan una aplicación de consumo terminada.
- CategoríaHerramientas de visión artificial
- Modelo de preciosCódigo abierto
- ImplementaciónAutoalojado, Nube
- PlataformasWeb
Características principales de TaskMatrix
Envía y recibe imágenes dentro de una conversación de ChatGPT a través de modelos de fundación visual conectados
Detección y segmentación de objetos guiadas por texto utilizando GroundingDINO y Segment Anything
Inpainting basado en máscaras con Stable Diffusion para editar solo la parte solicitada de una imagen
Plantilla InfinityOutPainting que extiende una imagen a un tamaño mayor sin entrenamiento adicional
Sistema de plantillas para encadenar múltiples modelos de fundación en un flujo de tarea reutilizable
Soporte para conversaciones en chino además de inglés
Ejecutable a través de una demostración en Hugging Face Spaces o un cuaderno de Google Colab sin instalación local
Carga de modelos configurable para que solo se ejecuten los modelos de fundación que necesita una tarea en un dispositivo dado
Primeros pasos con TaskMatrix
Prueba la demostración: Abre el espacio de Hugging Face o el cuaderno de Colab para probar TaskMatrix sin instalar nada
Configura localmente: Clona el repositorio, crea un entorno de Python e instala los requisitos listados
Agrega una clave de API: Proporciona una clave de API de OpenAI para el lado de ChatGPT del sistema
Carga los modelos que necesitas: Inicia la aplicación con una bandera --load que enumere qué modelos de fundación ejecutar y en qué dispositivo
Chatea y edita: Describe una solicitud de imagen, o di "encuentra xxx" o "segmenta xxx" para detectar y editar un objeto en una imagen cargada
Casos de uso de TaskMatrix
- Edición de imágenes conversacional
- Outpainting de imágenes
- Prototipado de investigación de múltiples modelos
