説明
PatchTSTは、「A Time Series is Worth 64 Words: Long-term Forecasting with Transformers」論文の公式実装です。このAIモデルは、Transformerアーキテクチャの強力な能力を活用し、長期時系列予測のために設計されています。その中心的な革新は、「パッチング」メカニズムにあり、時系列データをサブシリーズレベルのパッチに分割し、それらをTransformerの入力トークンとして扱います。
続きを読む
主な設計原則には、各チャネルが単一の単変量時系列を表すチャネル独立性が含まれます。これらの系列は、すべての入力間で同じ埋め込みとTransformerの重みを共有し、効率的な学習を促進します。プロジェクトは、異なる学習パラダイムに対応するため、PatchTST_supervisedとPatchTST_self_supervisedの2つの主要なフォルダに構造化されています。
教師あり学習の場合、ユーザーは要件をインストールし、Autoformerなどのソースからデータセットをダウンロードし、提供されたスクリプトを使用してトレーニングを開始できます。パッチ長、ルックバックウィンドウ、予測長などのハイパーパラメータを調整できます。リポジトリには、比較分析のためのベースラインモデルのコードも含まれています。
自己教師あり学習の分野では、PatchTSTは事前トレーニングとファインチューニングの機能を提供します。事前トレーニングスクリプト `patchtst_pretrain.py` は、指定されたマスク比率を使用してモデルをトレーニングします。結果として得られた事前トレーニング済みモデルは、下流タスクのために保存されます。その後、`patchtst_finetune.py` スクリプトは、これらの事前トレーニング済みモデルに対して、線形プロービングまたは完全なネットワークファインチューニングを容易にします。
このプロジェクトは、LTSF-Linear、Informer2020、Autoformer、FEDformer、Pyraformer、RevIN、tsaiを含むいくつかのGitHubリポジトリからの貴重な貢献を認識しており、より広範な時系列研究コミュニティ内での統合を強調しています。これにより、PatchTSTは、正確でスケーラブルな長期時系列予測に焦点を当てた研究者や実務家にとって強力なツールとなります。
- カテゴリーAIモデルとLLM
- 料金モデルオープンソース
- デプロイクラウド, セルフホスト
- プラットフォームWeb
PatchTSTのハイライト
時系列予測のためのTransformerベースのアーキテクチャ
時系列のサブシリーズレベルパッチへの分割
効率的な重み共有のためのチャネル独立性
PatchTST論文の公式実装
教師あり学習のサポート
自己教師あり学習(事前トレーニングおよびファインチューニング)のサポート
パッチ長、ルックバック、予測ウィンドウの調整可能なハイパーパラメータ
比較のためのベースラインモデルの包含
GitHubで利用可能なコードベース
下流タスクのためのモデル重みの保存
線形プロービングおよび完全ネットワークファインチューニングオプション
PatchTSTをはじめる
統合: PatchTSTコードのGitHubリポジトリにアクセスします。
環境設定: `pip install -r requirements.txt` を使用して、必要なPythonパッケージをインストールします。
データダウンロード: 時系列データセットを取得し、`./dataset` フォルダに配置します。
教師ありトレーニング: `./scripts/PatchTST` ディレクトリからトレーニングスクリプトを実行します。例: `sh ./scripts/PatchTST/weather.sh`。
自己教師あり事前トレーニング: データセットとマスク比率のパラメータを指定して `python patchtst_pretrain.py` を実行します。
自己教師ありファインチューニング: 事前トレーニング済みモデル名とデータセットを指定して `python patchtst_finetune.py` を使用します。
PatchTSTの使用例
- 長期予測
- 時系列分析
- Transformerによる予測
- 自己教師あり学習
- 教師あり学習
- 多変量予測













