Beschreibung
PatchTST ist eine offizielle Implementierung des Papers "A Time Series is Worth 64 Words: Long-term Forecasting with Transformers". Dieses KI-Modell wurde für die langfristige Zeitreihenprognose entwickelt und nutzt die Leistungsfähigkeit von Transformer-Architekturen. Die Kerninnovation liegt in seinem "Patching"-Mechanismus, der Zeitreihen in Patches auf Subserien-Ebene segmentiert, die dann als Eingabetokens für den Transformer behandelt werden.
Weiterlesen
Zu den wichtigsten Designprinzipien gehört die Kanalunabhängigkeit, bei der jeder Kanal eine einzelne univariate Zeitreihe darstellt. Diese Serien teilen sich die gleichen Embedding- und Transformer-Gewichte über alle Eingaben hinweg, was ein effizientes Lernen fördert. Das Projekt ist in zwei Hauptordner unterteilt: PatchTST_supervised und PatchTST_self_supervised, die verschiedene Lernparadigmen abdecken.
Für überwachtes Lernen können Benutzer die Anforderungen installieren, Datensätze von Quellen wie Autoformer herunterladen und das Training mit den bereitgestellten Skripten starten. Hyperparameter wie Patch-Länge, Look-back-Fenster und Vorhersage-Längen können angepasst werden. Das Repository enthält auch Codes für Basismodelle zur vergleichenden Analyse.
Im Bereich des selbstüberwachten Lernens bietet PatchTST Funktionen für Pre-Training und Fine-Tuning. Das Pre-Training-Skript `patchtst_pretrain.py` trainiert das Modell unter Verwendung eines angegebenen Maskierungsverhältnisses. Die resultierenden vortrainierten Modelle werden für nachfolgende Aufgaben gespeichert. Das Skript `patchtst_finetune.py` ermöglicht dann entweder lineares Probing oder ein vollständiges Netz-Fine-Tuning dieser vortrainierten Modelle.
Das Projekt würdigt wertvolle Beiträge aus mehreren GitHub-Repositories, darunter LTSF-Linear, Informer2020, Autoformer, FEDformer, Pyraformer, RevIN und tsai, und unterstreicht seine Integration in die breitere Forschungsgemeinschaft für Zeitreihen. Dies macht PatchTST zu einem leistungsstarken Werkzeug für Forscher und Praktiker, die sich auf genaue und skalierbare langfristige Zeitreihenprognosen konzentrieren.
- KategorieKI-Modelle & LLMs
- PreismodellOpen Source
- BereitstellungCloud, Selbst gehostet
- PlattformenWeb
PatchTST im Überblick
Transformer-basierte Architektur für Zeitreihenprognosen
Segmentierung von Zeitreihen in Patches auf Subserien-Ebene
Kanalunabhängigkeit für effiziente Gewichtsfreigabe
Offizielle Implementierung des PatchTST-Papers
Unterstützung für überwachtes Lernen
Unterstützung für selbstüberwachtes Lernen (Pre-Training und Fine-Tuning)
Anpassbare Hyperparameter für Patch-Länge, Look-back- und Vorhersage-Fenster
Einbeziehung von Basismodellen zum Vergleich
Codebasis auf GitHub verfügbar
Modellgewichte für nachfolgende Aufgaben gespeichert
Optionen für lineares Probing und vollständiges Netz-Fine-Tuning
Erste Schritte mit PatchTST
Integrieren: Greifen Sie auf das GitHub-Repository für den PatchTST-Code zu.
Umgebung einrichten: Installieren Sie die notwendigen Python-Pakete mit `pip install -r requirements.txt`.
Daten herunterladen: Besorgen Sie sich Zeitreihendatensätze und legen Sie sie in einem Ordner `./dataset` ab.
Überwachtes Training: Führen Sie die Trainingsskripte aus dem Verzeichnis `./scripts/PatchTST` aus, z. B. `sh ./scripts/PatchTST/weather.sh`.
Selbstüberwachtes Pre-Training: Führen Sie `python patchtst_pretrain.py` mit den Parametern für Datensatz und Maskierungsverhältnis aus.
Selbstüberwachtes Fine-Tuning: Verwenden Sie `python patchtst_finetune.py` mit dem Namen des vortrainierten Modells und dem Datensatz.
PatchTST's Anwendungsfälle
- Langfristige Prognose
- Zeitreihenanalyse
- Prognose mit Transformers
- Selbstüberwachtes Lernen
- Überwachtes Lernen
- Multivariate Prognose
