多変量時系列予測: 独立した予測か、それとも共同の予測か?

今日は、NTU が今年 4 月に公開した記事を紹介します。主に、多変量時系列予測問題における独立予測 (チャネル独立) と結合予測 (チャネル依存) の効果の違いとその背後にある理由について説明しています。と最適化方法。

論文タイトル: 容量と堅牢性のトレードオフ: 多変量時系列予測のためのチャネルに依存しない戦略の再考

ダウンロード アドレス: https://arxiv.org/pdf/2304.05206v1.pdf

1. 独立予測と共同予測

多変量時系列予測問題では、多変量モデリング手法の次元は次のとおりです。 2 つのタイプがあり、1 つは多変量シーケンスを複数の一変量予測として扱い、各変数を個別にモデル化する独立予測 (チャネル独立、CI)、もう 1 つは結合予測 (チャネル依存、CD) です。複数の変数を一緒にモデル化し、各変数間の関係を考慮することです。両者の違いは以下の通りです。

2 つの方法にはそれぞれ独自の特徴があります。CI 方法は 1 つの変数のみを考慮し、モデルはより単純ですが、考慮しないため上限も低くなります。各シーケンス間の関係を考慮するため、重要な情報の一部が失われますが、CD 法ではより包括的な情報が考慮されますが、モデルもより複雑になります。

2. どちらの方法が優れているか

最初に詳細な比較実験を実施し、線形モデルを使用して複数のデータセットに対する CI 方法と CD 方法の効果を観察し、どちらが優れているかを判断します。メソッド より良い方法。この記事の実験の主な結論は、CI 手法の方がほとんどのタスクで優れたパフォーマンスを示し、効果の安定性が高いということです。下の図からわかるように、CI の MAE や MSE などの指標は、基本的に各データセットにおいて CD よりも小さく、効果の変動も小さくなっています。

以下の実験結果からわかるように、CD と比較して、CI はほとんどの予測ウィンドウの長さとデータセットに対して同じ効果があります。 。

実際のアプリケーションでは、CI 手法が CD よりも優れており、安定しているのはなぜですか?この記事ではいくつかの理論的証明が行われ、その中心的な結論は、実際のデータには分布ドリフトが存在することが多く、CI 手法を使用するとこの問題を緩和し、モデルの一般化を改善できるということです。下の図は、各データ セットのトレインセットとテストセットの ACF (将来のシーケンスと過去のシーケンスの間の関係を反映する自己相関係数) の時間の経過に伴う分布を示しています。分布ドリフトがさまざまなデータ セットに広がっていることがわかります。トレインセットの ACF はテストセットの ACF とは異なります。つまり、2 つの履歴と将来のシーケンスの関係が異なります)。

この記事は、CI が分布ドリフトの緩和に効果的であることを理論を通じて証明しています。CI と CD の選択は、一種のモデル能力とモデルの堅牢性です。 . 粘りとのトレードオフ。 CD モデルはより複雑ですが、分布の変化の影響もより受けやすくなります。これは実際には、モデルの能力とモデルの一般化の関係に似ています。モデルが複雑になればなるほど、モデルが適合するトレーニング セットのサンプルの精度は高くなりますが、一般化は不十分です。トレーニング セットとテスト セットの間の分布の差が大きくなると、大きいと効果はさらに悪化します。

3. 最適化方法

CD モデリングの問題を目的として、この記事では CD モデルをより堅牢にするのに役立ついくつかの最適化方法を提案します。

正則化: 正則化損失を導入し、予測用の履歴シーケンス入力モデルとしてシーケンスから最も近いサンプル点を差し引いたものを使用し、予測結果が予測値から大きく逸脱しないように平滑化を使用して予測結果を制限します。最近傍観測値。大きいため、推定結果が平坦になります。

低階数分解: 全結合パラメータ行列を 2 つの低次数に分解します。行列を減らすことと等価です。モデルの容量が増加し、過剰適合の問題が緩和され、モデルの堅牢性が向上します。

損失関数: MSE の代わりに MAE が使用され、外れ値に対するモデルの感度が低下します。

履歴入力シーケンスの長さ: CD モデルの場合、入力履歴シーケンスが長いほど、その効果が減少する可能性があります。これは、履歴シーケンスが長いほど、モデルが分布シフトの影響を受けやすくなるためでもあります。CI の場合モデルを使用すると、履歴シーケンスの長さの増加が比較的安定し、予測パフォーマンスが向上します。

4. 実験結果

この記事では、上記の CD モデルの改善方法を複数のデータセットでテストしましたが、CD と比較して比較的安定した効果の改善が達成され、上記の効果が示されました。この方法は、多変量シーケンスを改善するのに役立ち、予測のロバスト性は比較的明白な効果をもたらします。実験結果によると、低ランク分解、履歴ウィンドウの長さ、損失関数のタイプなどの要因も、効果に影響を与えるという点で記事にリストされています。

以上が多変量時系列予測: 独立した予測か、それとも共同の予測か?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。