Deskripsi
Autoformer adalah model AI canggih yang dirancang untuk peramalan deret waktu jangka panjang, diperkenalkan pada konferensi NeurIPS 2021. Model ini menjawab permintaan kritis untuk prediksi yang akurat dalam aplikasi dunia nyata dengan mengusulkan arsitektur baru yang melampaui model Transformer tradisional. Inovasi intinya terletak pada koneksi antar-deretnya, yang dicapai melalui arsitektur dekomposisi mendalam dan mekanisme Auto-Korelasi yang unik.
Baca Selengkapnya
Arsitektur dekomposisi mendalam secara progresif memecah deret waktu menjadi komponen tren dan musiman, memungkinkan pemahaman dan prediksi nilai masa depan yang lebih bernuansa. Hal ini dilengkapi oleh mekanisme Auto-Korelasi, yang terinspirasi oleh teori proses stokastik. Mekanisme ini menemukan dependensi berbasis periode dan mengagregasi informasi pada tingkat deret, menghasilkan kompleksitas log-linear yang melekat. Koneksi antar-deret ini merupakan penyimpangan signifikan dari mekanisme perhatian diri yang lazim di keluarga Transformer lainnya.
Autoformer telah menunjukkan kinerja mutakhir, mencapai peningkatan relatif sebesar 38% dibandingkan baseline sebelumnya pada enam tolok ukur di lima aplikasi praktis: energi, lalu lintas, ekonomi, cuaca, dan penyakit. Proyek ini menyediakan rilis kode untuk makalah penelitian, memungkinkan pengguna untuk mereproduksi hasil dan mengintegrasikan model ke dalam tugas peramalan mereka sendiri. Repositori ini mencakup skrip untuk pelatihan dan evaluasi pada berbagai kumpulan data, serta instruksi untuk menyiapkan lingkungan dan menjalankan eksperimen.
Pembaruan terbaru menyoroti dampak Autoformer yang terus berkembang, termasuk penyertaannya di Hugging Face dan versi perpanjangannya yang diterbitkan di Nature Machine Intelligence. Selain itu, Autoformer diterapkan selama Olimpiade Musim Dingin 2022 untuk peramalan cuaca. Model ini juga merupakan bagian dari Time-Series-Library yang lebih luas, mencakup berbagai tugas deret waktu. Proyek ini menekankan kemudahan penggunaan dengan integrasi Docker dan Make untuk hasil yang dapat direproduksi.
Target audiens untuk Autoformer meliputi peneliti, ilmuwan data, dan insinyur yang bekerja pada analisis deret waktu dan masalah peramalan. Kemampuannya untuk menangani dependensi jangka panjang dan mencapai akurasi yang unggul membuatnya berharga untuk aplikasi yang membutuhkan prediksi masa depan yang andal. Arsitektur unik dan peningkatan kinerja model menawarkan kemajuan signifikan di bidang peramalan deret waktu.
- KategoriModel AI & LLM
- Model HargaOpen source
- PenerapanCloud, Di-host sendiri
- PlatformWeb
Fitur Inti Autoformer
Arsitektur dekomposisi mendalam untuk analisis komponen progresif
Mekanisme Auto-Korelasi antar-deret untuk dependensi berbasis periode
Kompleksitas log-linear yang melekat
Kinerja mutakhir dalam peramalan deret jangka panjang
Mencapai peningkatan relatif 38% pada enam tolok ukur
Dapat diterapkan pada peramalan energi, lalu lintas, ekonomi, cuaca, dan penyakit
Rilis kode tersedia untuk penelitian dan implementasi
Tidak memerlukan penyematan posisi karena koneksi antar-deret
Blok gaya normalisasi batch untuk Auto-Korelasi yang ramah akses memori
Hasil yang dapat direproduksi dengan Docker, conda, dan Make
Memulai dengan Autoformer
Siapkan lingkungan: Instal Python 3.6 dan PyTorch 1.9.0.
Unduh data: Dapatkan kumpulan data tolok ukur dari Google Drive.
Latih model: Jalankan skrip eksperimen yang disediakan di folder ./scripts.
Integrasikan melalui API: Manfaatkan kemampuan peramalan model dalam aplikasi kustom.
Reproduksi hasil: Ikuti instruksi Docker untuk inisialisasi lingkungan dan eksekusi skrip.
Jalankan eksperimen: Gunakan skrip bash yang disediakan untuk kumpulan data tertentu seperti ETTm1 atau ECL.
Adaptasi untuk tugas baru: Jelajahi Time-Series-Library untuk peramalan, imputasi, dan deteksi anomali yang diperluas.
Kasus Penggunaan Autoformer
- Peramalan Energi
- Prediksi Lalu Lintas
- Peramalan Ekonomi
- Peramalan Cuaca
- Prediksi Wabah Penyakit
- Analisis Deret Waktu Keuangan
- Optimasi Rantai Pasokan
