Deskripsi
PatchTST adalah implementasi resmi dari makalah "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers". Model AI ini dirancang untuk peramalan deret waktu jangka panjang, memanfaatkan kekuatan arsitektur Transformer. Inovasi intinya terletak pada mekanisme "patching" yang membagi deret waktu menjadi patch tingkat sub-deret yang kemudian diperlakukan sebagai token input untuk Transformer.
Baca Selengkapnya
Prinsip desain utama meliputi independensi saluran, di mana setiap saluran mewakili satu deret waktu univariat. Deret-deret ini berbagi bobot embedding dan Transformer yang sama di semua input, mendorong pembelajaran yang efisien. Proyek ini terstruktur menjadi dua folder utama: PatchTST_supervised dan PatchTST_self_supervised, yang melayani paradigma pembelajaran yang berbeda.
Untuk pembelajaran terawasi, pengguna dapat menginstal persyaratan, mengunduh dataset dari sumber seperti Autoformer, dan memulai pelatihan menggunakan skrip yang disediakan. Hyperparameter seperti panjang patch, jendela look-back, dan panjang prediksi dapat disesuaikan. Repositori ini juga menyertakan kode untuk model dasar untuk analisis komparatif.
Dalam domain pembelajaran mandiri, PatchTST menawarkan kemampuan pra-pelatihan dan fine-tuning. Skrip pra-pelatihan, `patchtst_pretrain.py`, melatih model menggunakan rasio mask yang ditentukan. Model pra-terlatih yang dihasilkan disimpan untuk tugas hilir. Skrip `patchtst_finetune.py` kemudian memfasilitasi probing linier atau fine-tuning jaringan penuh pada model pra-terlatih ini.
Proyek ini mengakui kontribusi berharga dari beberapa repositori GitHub, termasuk LTSF-Linear, Informer2020, Autoformer, FEDformer, Pyraformer, RevIN, dan tsai, menyoroti integrasinya dalam komunitas riset deret waktu yang lebih luas. Hal ini menjadikan PatchTST alat yang ampuh bagi para peneliti dan praktisi yang berfokus pada peramalan deret waktu jangka panjang yang akurat dan terukur.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Sorotan PatchTST
Arsitektur berbasis Transformer untuk peramalan deret waktu
Segmentasi deret waktu menjadi patch tingkat sub-deret
Independensi saluran untuk berbagi bobot yang efisien
Implementasi resmi makalah PatchTST
Dukungan untuk pembelajaran terawasi
Dukungan untuk pembelajaran mandiri (pra-pelatihan dan fine-tuning)
Hyperparameter yang dapat disesuaikan untuk panjang patch, look-back, dan jendela prediksi
Penyertaan model dasar untuk perbandingan
Basis kode tersedia di GitHub
Bobot model disimpan untuk tugas hilir
Opsi probing linier dan fine-tuning jaringan penuh
Memulai dengan PatchTST
Integrasi: Akses repositori GitHub untuk kode PatchTST.
Siapkan lingkungan: Instal paket Python yang diperlukan menggunakan `pip install -r requirements.txt`.
Unduh data: Dapatkan dataset deret waktu dan letakkan di folder `./dataset`.
Pelatihan Terawasi: Jalankan skrip pelatihan dari direktori `./scripts/PatchTST`, contohnya `sh ./scripts/PatchTST/weather.sh`.
Pra-pelatihan Mandiri: Jalankan `python patchtst_pretrain.py` dengan parameter dataset dan rasio mask.
Fine-tuning Mandiri: Gunakan `python patchtst_finetune.py` dengan nama model pra-terlatih dan dataset.
Kasus Penggunaan PatchTST
- Peramalan jangka panjang
- Analisis deret waktu
- Peramalan dengan Transformer
- Pembelajaran mandiri
- Pembelajaran terawasi
- Peramalan multivariat
