Descripción
Vision GNN (ViG) representa un avance significativo en la aplicación de Graph Neural Networks (GNNs) a tareas de visión por computadora. Desarrollado por Huawei Noah's Ark Lab, este proyecto proporciona implementaciones en PyTorch de backbones de IA eficientes, centrándose en las arquitecturas ViG y Pyramid ViG. Estos modelos tratan las imágenes como grafos de nodos, permitiendo enfoques novedosos para la extracción de características y el aprendizaje de representaciones.
Leer más
El proyecto incluye modelos pre-entrenados para varias configuraciones de ViG, como ViG-Ti, ViG-S, ViG-B, Pyramid ViG-Ti, Pyramid ViG-S, Pyramid ViG-M y Pyramid ViG-B. Estos modelos se comparan por su recuento de parámetros (M) y FLOPs (B), junto con su precisión Top-1 en tareas de clasificación de imágenes. Por ejemplo, ViG-Ti cuenta con 7.1M de parámetros y 1.3B de FLOPs con una precisión Top-1 del 73.9%, mientras que Pyramid ViG-B ofrece 82.6M de parámetros y 16.8B de FLOPs con una precisión Top-1 del 83.7%.
Se proporcionan instrucciones detalladas para la preparación de datos, evaluación y entrenamiento. Los usuarios pueden evaluar modelos utilizando scripts proporcionados, y se describen comandos de entrenamiento tanto para ViG como para Pyramid ViG en conjuntos de datos como ImageNet. Los comandos de entrenamiento especifican hiperparámetros como la tasa de aprendizaje, el optimizador, las épocas y las técnicas de aumento, lo que permite la personalización y una mayor experimentación. El repositorio también incluye enlaces para descargar modelos pre-entrenados, algunos de los cuales requieren contraseñas específicas para acceder.
ViG se basa en PyTorch 1.7.0 y requiere bibliotecas como timm 0.3.2, torchprofile 0.0.4 y apex. El proyecto reconoce el uso parcial de código de deep_gcns_torch y timm. Esta iniciativa tiene como objetivo ampliar los límites de los modelos de visión aprovechando las representaciones basadas en grafos, ofreciendo una alternativa potente a las redes neuronales convolucionales tradicionales para una variedad de aplicaciones de visión por computadora.
- CategoríaModelos de IA y LLM
- Modelo de preciosCódigo abierto
- ImplementaciónNube, Autoalojado
- PlataformasWeb
Características principales de Vision GNN (ViG)
Implementación en PyTorch de las arquitecturas Vision GNN (ViG) y Pyramid ViG
Incluye modelos pre-entrenados para varias configuraciones de ViG
Proporciona métricas de rendimiento del modelo (Parámetros, FLOPs, Precisión Top-1)
Ofrece scripts de entrenamiento para modelos ViG y Pyramid ViG
Soporta el conjunto de datos ImageNet para evaluación y entrenamiento
Requiere PyTorch 1.7.0, timm 0.3.2, torchprofile 0.0.4 y apex
La base de código utiliza parcialmente deep_gcns_torch y timm
Los modelos tratan las imágenes como grafos de nodos para el aprendizaje de características
Incluye instrucciones detalladas para la preparación de datos y la evaluación
Modelos pre-entrenados descargables disponibles con cierta protección por contraseña
Primeros pasos con Vision GNN (ViG)
Acceder al Modelo: Clone el repositorio de GitHub en su máquina local.
Configurar el Entorno: Instale las bibliotecas requeridas, incluyendo PyTorch 1.7.0, timm, torchprofile y apex.
Preparar los Datos: Organice su conjunto de datos de imágenes (por ejemplo, ImageNet) según la estructura de directorios especificada.
Evaluar el Modelo: Utilice el script `train.py` proporcionado con la bandera `--evaluate` y la ruta a los pesos pre-entrenados.
Entrenar el Modelo: Ejecute los comandos de entrenamiento para ViG o Pyramid ViG, especificando el modelo, el conjunto de datos y los hiperparámetros de entrenamiento.
Integrar el Modelo: Cargue los pesos pre-entrenados en su modelo PyTorch para inferencia o ajuste fino en tareas personalizadas.
Casos de uso de Vision GNN (ViG)
- Clasificación de Imágenes
- Extracción de Características
- Investigación en Visión por Computadora
- Desarrollo de Modelos
- Aprendizaje por Transferencia
