多元時序預測：獨立預測 or 聯合預測？

今天介紹一篇南大今年4月發表的文章，主要探討了多元時間序列預測問題中，獨立預測（channel independent）和聯合預測（channel dependent）二者效果的差異、背後的原因以及優化方法。

論文標題：The Capacity and Robustness Trade-off: Revisiting the Channel Independent Strategy for Multivariate Time Series Forecasting

下載地址：https://arxiv.org/pdf/2304.05206v1.pdf

1、獨立預測和聯合預測

多元時間序列預測問題中，從多變量建模方法的維度有兩種類型，一種是獨立預測（channel independent，CI），指的是把多元序列當成多個單變量預測，每個變量分別建模；另一種是聯合預測（channel dependent，CD），指的是多變量一起建模，考慮各個變數之間的關係。二者的差異如下圖。

這兩種方式各有特點：CI方法只考慮單一變量，模型更簡單，但是天花板也較低，因為沒有考慮各個序列之間的關係，損失了一部分關鍵資訊；而CD方法考慮的資訊更全面，但是模型也更加複雜。

2、哪種方法比較好

先進行詳細的比較實驗，使用線性模型在多個資料集上觀察CI方法和CD方法的效果，以確定哪種方法更好。在文中的實驗中，一個主要的結論是CI方法在多數任務上表現出更優異的表現，並且效果穩定性更強。下面這張圖可以看到，CI的MAE、MSE等指標在各個資料集上基本上都小於CD，同時效果的波動也更小一些。

從下面的實驗結果可以看到，CI比起CD，在絕大多數預測視窗長度和資料集上，效果都是提升的。

為什麼CI方法在實際應用上比CD效果更好、更穩定呢？文中進行了一些理論證明，核心的結論是：真實資料往往存在Distribution Drift，而使用CI方法有助於緩解這個問題，提升模型泛化性。下面這張圖，展示了各個資料集trainset和testset的ACF（自相關係數，反映了未來序列和歷史序列之間的關係）隨時間變化分佈，可以看到Distribution Drift在各個資料集上是廣泛存在的（也就是trainset的ACF和testset的ACF不同，也就是兩者的歷史與未來序列的關係不同）。

文中透過理論證明了CI對於緩解因此Distribution Drift有效，CI和CD之間的選擇，是一種模型容量和模型魯棒性之間的權衡。儘管CD模型更複雜，但它對分佈偏移也更具敏感性。這其實和模型容量與模型泛化性之間的關係類似，越複雜的模型，模型擬合的訓練集樣本越準確，但是泛化性較差，一旦訓練集和測試集分佈差異較大，效果就會變差。

3、如何最佳化

針對CD建模的問題，文中提出了一些最佳化方法，可以幫助CD模型更具穩健性。

正則化：引入一個正則化損失，用序列減去最近的樣本點作為歷史序列輸入模型進行預測，同時使用平滑約束預測結果，讓預測結果和最近鄰的觀測值偏差不要太大，使得預估結果更平；

低秩分解：全連接參數矩陣分解成兩個低階矩陣，相當於減少了模型容量，緩解過擬合問題，提升模型穩健性；

損失函數：採用MAE取代MSE，降低模型對於異常值的敏感度；

歷史輸入序列長度：對於CD模型來說，輸入的歷史序列越長，可能反而會造成效果的下降，也是因為歷序列越長，模型越容易受到Distribution Shift的影響，而對於CI模型，增長歷史序列長度可以比較穩定的提升預測效果。

4、實驗效果

文中將上述的改進CD模型的方法在多個資料集上進行實驗，相較於CD取得較穩定的效果提升，說明上述方法對於提升多元序列預測魯棒性有比較明顯的作用。實驗結果顯示，低秩分解、歷史視窗長度和損失函數類型等因素在影響效果方面也被列舉在文中。

以上是多元時序預測：獨立預測 or 聯合預測？的詳細內容。更多資訊請關注PHP中文網其他相關文章！