Descrição
Vision GNN (ViG) representa um avanço significativo na aplicação de Graph Neural Networks (GNNs) a tarefas de visão computacional. Desenvolvido pelo Huawei Noah's Ark Lab, este projeto fornece implementações em PyTorch de backbones de IA eficientes, com foco nas arquiteturas ViG e Pyramid ViG. Esses modelos tratam imagens como grafos de nós, permitindo novas abordagens para extração de características e aprendizado de representação.
Ler mais
O projeto inclui modelos pré-treinados para várias configurações de ViG, como ViG-Ti, ViG-S, ViG-B, Pyramid ViG-Ti, Pyramid ViG-S, Pyramid ViG-M e Pyramid ViG-B. Esses modelos são comparados por sua contagem de parâmetros (M) e FLOPs (B), juntamente com sua precisão Top-1 em tarefas de classificação de imagem. Por exemplo, ViG-Ti possui 7,1M de parâmetros e 1,3B de FLOPs com 73,9% de precisão Top-1, enquanto Pyramid ViG-B oferece 82,6M de parâmetros e 16,8B de FLOPs com 83,7% de precisão Top-1.
Instruções detalhadas são fornecidas para preparação de dados, avaliação e treinamento. Os usuários podem avaliar modelos usando scripts fornecidos, e os comandos de treinamento são delineados para ViG e Pyramid ViG em datasets como ImageNet. Os comandos de treinamento especificam hiperparâmetros como taxa de aprendizado, otimizador, épocas e técnicas de aumento, permitindo personalização e experimentação adicional. O repositório também inclui links para download de modelos pré-treinados, com alguns exigindo senhas específicas para acesso.
ViG é construído sobre PyTorch 1.7.0 e requer bibliotecas como timm 0.3.2, torchprofile 0.0.4 e apex. O projeto reconhece o uso parcial de código de deep_gcns_torch e timm. Esta iniciativa visa expandir os limites dos modelos de visão, aproveitando representações baseadas em grafos, oferecendo uma alternativa poderosa às redes neurais convolucionais tradicionais para uma variedade de aplicações de visão computacional.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Recursos principais de Vision GNN (ViG)
Implementação em PyTorch das arquiteturas Vision GNN (ViG) e Pyramid ViG
Inclui modelos pré-treinados para várias configurações de ViG
Fornece métricas de desempenho do modelo (Parâmetros, FLOPs, Precisão Top-1)
Oferece scripts de treinamento para modelos ViG e Pyramid ViG
Suporta o dataset ImageNet para avaliação e treinamento
Requer PyTorch 1.7.0, timm 0.3.2, torchprofile 0.0.4 e apex
A base de código utiliza parcialmente deep_gcns_torch e timm
Modelos tratam imagens como grafos de nós para aprendizado de características
Inclui instruções detalhadas para preparação de dados e avaliação
Modelos pré-treinados para download disponíveis com alguma proteção por senha
Primeiros passos com Vision GNN (ViG)
Acessar Modelo: Clone o repositório GitHub para sua máquina local.
Configurar Ambiente: Instale as bibliotecas necessárias, incluindo PyTorch 1.7.0, timm, torchprofile e apex.
Preparar Dados: Organize seu dataset de imagens (por exemplo, ImageNet) de acordo com a estrutura de diretórios especificada.
Avaliar Modelo: Utilize o script `train.py` fornecido com a flag `--evaluate` e o caminho para os pesos pré-treinados.
Treinar Modelo: Execute os comandos de treinamento para ViG ou Pyramid ViG, especificando o modelo, dataset e hiperparâmetros de treinamento.
Integrar Modelo: Carregue pesos pré-treinados em seu modelo PyTorch para inferência ou fine-tuning em tarefas personalizadas.
Casos de uso de Vision GNN (ViG)
- Classificação de Imagem
- Extração de Características
- Pesquisa em Visão Computacional
- Desenvolvimento de Modelos
- Aprendizado por Transferência
