時間序列預測 NLP大模型新作：為時序預測自動產生隱式Prompt

今天我想分享一個最新的研究工作，這項研究來自康乃狄克大學，提出了一種將時間序列資料與自然語言處理（NLP）大模型在隱空間上對齊的方法，以提高時間序列預測的效果。此方法的關鍵在於利用隱空間提示（prompt）來增強時間序列預測的準確性。

論文標題：S2IP-LLM: Semantic Space Informed Prompt Learning with LLM for Time Series Forecasting

下載位址：https://www .php.cn/link/3695d85c350d924e662ea2cd3b760d40

1、問題背景

大模型在時間序列上的應用越來越多，主要分為兩類：第一類使用各類時間序列資料訓練一個時間序列領域自己的大模型；第二類直接使用NLP領域訓練好的文本大模型應用到時間序列中。由於時間序列不同於圖像、文本，不同資料集的輸入格式不同、分佈不同，且存在distribution shift等問題，導致使用所有時間序列資料訓練統一的模型比較困難。因此，越來越多的工作開始嘗試如何直接使用NLP大模型解決時間序列相關問題。

本文也關注第二種解決時間序列問題的方法，也就是利用NLP大模型。目前的做法通常使用時間序列的描述作為提示，但並非所有時間序列資料集都包含這種資訊。此外，基於patch的時間序列資料處理方法也無法完全保留時間序列資料的所有資訊。

基於上述問題，這篇文章提出了一種新的建模方法，核心建模思路，一方面將時間序列通過tokenize處理後映射成embedding，另一方面將這些時間序列空間的表徵對齊到大模型中的word embedding。透過這種方式，讓時間序列的預測過程中，可以找到對齊的word embedding相關的資訊作為prompt，提升預測效果。

圖片

2、實作方法

#下面從資料處理、隱空間對齊、模型細節等3個面向介紹一下這篇工作的實作方法。

資料處理：由於時間序列的distribution shift等問題，本文對輸入序列做了一步趨勢項季節項分解。每個分解後的時間序列，都單獨做標準化，然後分割成有重疊的patch。每一組patch對應趨勢項patch、季節項patch、殘差patch，將這3組patch拼接到一起，輸入到MLP中，得到每組patch的基礎embedding表徵。

隱空間對齊：這是本文中最核心的一步。 Prompt的設計對大模型的效果影響很大，而時間序列的prompt又難以設計。因此本文提出，將時間序列的patch表徵和大模型的word embedding在隱空間對齊，然後檢索出topK的word embedding，作為隱式的prompt。具體做法為，使用上一個步驟產生的patch embedding，和語言模型中的word embedding計算餘弦相似度，選擇topK的word embedding，再將這些word embedding作為prompt，拼接到時間序列patch embedding的前方。由於大模型word embedding大多，為了減少計算量，先對word embedding做了一步映射，映射到數量很少的聚類中心。

模型細節：在模型細節上，使用GPT2作為語言模型部分，除了position embedding和layer normalization部分的參數外，其餘的都凍結。優化目標除了MSE外，還引入patch embedding和檢索出的topK cluster embedding的相似度作為約束，要求二者之間的距離越小越好。最終的預測結果，也是

圖片

3、實驗效果

文中比較了和一些時間序列大模型、iTransformer、 PatchTST等SOTA模型的效果，在大部分資料集的不同時間視窗的預測中都取得了比較好的效果提升。

圖片

同時，文中也透過t-SNE視覺化分析了embedding，從圖中可以看出，時間序列的embedding在對齊之前並沒有明顯的類簇現象，而透過prompt產生的embedding有明顯的類簇變化，說明本文提出的方法有效的利用文本和時間序列的空間對齊，以及相應的prompt，提升時間序列表徵的品質。

圖片

#

以上是時間序列預測 NLP大模型新作：為時序預測自動產生隱式Prompt的詳細內容。更多資訊請關注PHP中文網其他相關文章！