Descrição
PatchTST é uma implementação oficial do artigo "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers". Este modelo de IA é projetado para previsão de séries temporais de longo prazo, aproveitando o poder das arquiteturas Transformer. A inovação principal reside em seu mecanismo de "patching", que segmenta séries temporais em patches de nível de sub-série que são então tratados como tokens de entrada para o Transformer.
Ler mais
Os princípios de design chave incluem independência de canal, onde cada canal representa uma única série temporal univariada. Essas séries compartilham o mesmo embedding e pesos Transformer em todas as entradas, promovendo aprendizado eficiente. O projeto é estruturado em duas pastas principais: PatchTST_supervised e PatchTST_self_supervised, atendendo a diferentes paradigmas de aprendizado.
Para aprendizado supervisionado, os usuários podem instalar os requisitos, baixar conjuntos de dados de fontes como Autoformer e iniciar o treinamento usando scripts fornecidos. Hiperparâmetros como comprimento do patch, janelas de look-back e comprimentos de previsão podem ser ajustados. O repositório também inclui códigos para modelos de base para análise comparativa.
No domínio do aprendizado auto-supervisionado, PatchTST oferece capacidades de pré-treinamento e fine-tuning. O script de pré-treinamento, `patchtst_pretrain.py`, treina o modelo usando uma taxa de máscara especificada. Os modelos pré-treinados resultantes são salvos para tarefas downstream. O script `patchtst_finetune.py` facilita o linear probing ou o fine-tuning completo da rede nesses modelos pré-treinados.
O projeto reconhece contribuições valiosas de vários repositórios do GitHub, incluindo LTSF-Linear, Informer2020, Autoformer, FEDformer, Pyraformer, RevIN e tsai, destacando sua integração na comunidade mais ampla de pesquisa de séries temporais. Isso torna PatchTST uma ferramenta poderosa para pesquisadores e praticantes focados em previsão de séries temporais de longo prazo precisa e escalável.
- CategoriaModelos de IA e LLMs
- Modelo de preçosCódigo aberto
- ImplantaçãoNuvem, Auto-hospedado
- PlataformasWeb
Destaques de PatchTST
Arquitetura baseada em Transformer para previsão de séries temporais
Segmentação de séries temporais em patches de nível de sub-série
Independência de canal para compartilhamento eficiente de pesos
Implementação oficial do artigo PatchTST
Suporte para aprendizado supervisionado
Suporte para aprendizado auto-supervisionado (pré-treinamento e fine-tuning)
Hiperparâmetros ajustáveis para comprimento de patch, look-back e janelas de previsão
Inclusão de modelos de base para comparação
Base de código disponível no GitHub
Pesos do modelo salvos para tarefas downstream
Opções de linear probing e fine-tuning completo da rede
Primeiros passos com PatchTST
Integrar: Acesse o repositório GitHub para o código PatchTST.
Configurar ambiente: Instale os pacotes Python necessários usando `pip install -r requirements.txt`.
Baixar dados: Obtenha conjuntos de dados de séries temporais e coloque-os em uma pasta `./dataset`.
Treinamento Supervisionado: Execute scripts de treinamento do diretório `./scripts/PatchTST`, por exemplo, `sh ./scripts/PatchTST/weather.sh`.
Pré-treinamento Auto-supervisionado: Execute `python patchtst_pretrain.py` com parâmetros de conjunto de dados e taxa de máscara.
Fine-tuning Auto-supervisionado: Use `python patchtst_finetune.py` com o nome do modelo pré-treinado e o conjunto de dados.
Casos de uso de PatchTST
- Previsão de longo prazo
- Análise de séries temporais
- Previsão com Transformers
- Aprendizado auto-supervisionado
- Aprendizado supervisionado
- Previsão multivariada
