Vision Transformer

Descripción

Este repositorio de GitHub, `google-research/vision_transformer`, ofrece una colección completa de recursos para trabajar con las arquitecturas Vision Transformer (ViT) y MLP-Mixer en visión por computadora. Sirve como un centro central para modelos y código derivados de varios artículos de investigación clave, incluyendo "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" y "MLP-Mixer: An all-MLP Architecture for Vision."

El repositorio proporciona modelos pre-entrenados que han sido entrenados en conjuntos de datos a gran escala como ImageNet e ImageNet-21k. Estos modelos están disponibles para su descarga y pueden ser ajustados para tareas específicas posteriores. El código está escrito principalmente en JAX y Flax, ofreciendo flexibilidad a investigadores y desarrolladores que trabajan dentro de este ecosistema.

Las capacidades clave incluyen la posibilidad de ajustar modelos en conjuntos de datos personalizados, con ejemplos proporcionados para conjuntos de datos comunes como CIFAR-10 y CIFAR-100. El repositorio también detalla cómo configurar máquinas virtuales con GPUs o TPUs en Google Cloud para un entrenamiento y experimentación más extensos. Además, incluye recursos para explorar más de 50.000 puntos de control del artículo "How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers", permitiendo a los usuarios seleccionar y ajustar modelos basándose en métricas de rendimiento específicas.

La audiencia objetivo de este repositorio incluye investigadores de IA, ingenieros de aprendizaje automático y profesionales de visión por computadora interesados en aprovechar modelos de última generación basados en transformadores para el reconocimiento de imágenes, clasificación y otras tareas visuales. La propuesta de valor radica en proporcionar código y modelos pre-entrenados accesibles y bien documentados que aceleran la investigación y el desarrollo en el campo de los transformadores de visión.

Además de ViT y MLP-Mixer, el repositorio también presenta recursos para modelos LiT (Locked-image text Tuning), que permiten capacidades de transferencia zero-shot. Esto amplía la utilidad del repositorio a aplicaciones multimodales que involucran tanto imágenes como texto. El proyecto enfatiza la reproducibilidad y proporciona instrucciones detalladas para la instalación, el ajuste y el despliegue en la nube.

Aspectos destacados de Vision Transformer

• Implementaciones del modelo Vision Transformer (ViT)

• Implementaciones de la arquitectura MLP-Mixer

• Modelos pre-entrenados en ImageNet e ImageNet-21k

• Código de fine-tuning en JAX/Flax

• Soporte para modelos LiT (Locked-image text Tuning)

• Notebooks de Colab para exploración interactiva y fine-tuning

• Instrucciones detalladas para la configuración de VM en la nube (GPU/TPU)

• Acceso a más de 50.000 puntos de control para modelos ViT

• Citas BibTeX para artículos de investigación relevantes

• Registro de cambios que detalla las actualizaciones del repositorio y las adiciones de modelos

• Código para estrategias de aumento de datos y regularización

Primeros pasos con Vision Transformer

1. 1

   Acceder al Modelo: Clonar el repositorio de GitHub o acceder a modelos pre-entrenados desde los buckets de GCS proporcionados.

2. 2

   Configurar el Entorno: Instalar JAX, dependencias de Python y Flaxformer según su hardware (GPU/TPU).

3. 3

   Configurar el Entrenamiento: Seleccionar o crear archivos de configuración para la arquitectura del modelo, el conjunto de datos y los parámetros de entrenamiento.

4. 4

   Ajustar el Modelo: Ejecutar scripts de ajuste utilizando la base de código JAX/Flax con su conjunto de datos y configuraciones elegidas.

5. 5

   Explorar Puntos de Control: Utilizar los notebooks de Colab proporcionados para explorar y seleccionar de una gran colección de puntos de control pre-entrenados.

6. 6

   Desplegar en la Nube: Configurar máquinas virtuales en Google Cloud con aceleradores apropiados (GPU/TPU) para entrenamiento a mayor escala.

Casos de uso de Vision Transformer

• Clasificación de Imágenes
• Ajuste de Modelos (Fine-tuning)
• Transferencia Zero-Shot
• Investigación en Visión por Computadora
• IA Multimodal
• Entrenamiento a Gran Escala

Preguntas frecuentes de Vision Transformer

• ¿Cuáles son los modelos principales disponibles en el repositorio Vision Transformer?

  El repositorio presenta principalmente implementaciones y modelos pre-entrenados para las arquitecturas Vision Transformer (ViT) y MLP-Mixer. También incluye recursos para modelos LiT (Locked-image text Tuning).

• ¿En qué conjuntos de datos se pre-entrenaron los modelos?

  Los modelos en este repositorio se pre-entrenaron en los conjuntos de datos ImageNet e ImageNet-21k. Algunos modelos también utilizan técnicas de aumento y regularización.

• ¿Qué lenguajes de programación y frameworks se utilizan en este repositorio?

  El código está escrito principalmente en Python utilizando los frameworks JAX y Flax para aprendizaje profundo.

• ¿Puedo ajustar estos modelos en mi propio conjunto de datos?

  Sí, el repositorio proporciona código e instrucciones para ajustar los modelos liberados en conjuntos de datos personalizados. Se incluyen ejemplos para CIFAR-10 y CIFAR-100.

• ¿Cómo puedo ejecutar estos modelos si no tengo hardware local potente?

  El repositorio ofrece orientación detallada sobre cómo configurar y utilizar máquinas virtuales con GPUs o TPUs en Google Cloud para entrenamiento y experimentación.

• ¿Qué son los modelos LiT y cómo se soportan?

  Los modelos LiT permiten la transferencia zero-shot combinando la comprensión de imágenes y texto. El repositorio proporciona información y notebooks de Colab para usar estos modelos.

• ¿Dónde puedo encontrar puntos de control pre-entrenados para modelos ViT?

  Los puntos de control pre-entrenados están disponibles en varios buckets de GCS, y el repositorio proporciona enlaces e instrucciones sobre cómo descargarlos y usarlos. Más de 50.000 puntos de control son accesibles a través de un notebook de Colab dedicado.

• ¿Cuál es el propósito de los notebooks de Colab `vit_jax.ipynb` y `vit_jax_augreg.ipynb`?

  El notebook `vit_jax.ipynb` demuestra código JAX para Vision Transformers y MLP-Mixers. El notebook `vit_jax_augreg.ipynb` permite explorar más de 50.000 puntos de control relacionados con el aumento de datos y la regularización en ViTs.

• ¿Hay soporte para tareas multimodales?

  Sí, el repositorio incluye recursos para modelos LiT, que están diseñados para tareas multimodales que involucran la comprensión de imágenes y texto.

• ¿Cuáles son los términos de licencia del código y los modelos?

  El repositorio se publica bajo la licencia Apache-2.0, y se señala como una versión de código abierto preparada por Andreas Steiner, bifurcada de `google-research/big_transfer`.