NLP大模型如何應用到時間序列？五類方法大總結！

最近，加州大學發布了一篇綜述文章，探討了將自然語言處理領域的預訓練大語言模型應用於時間序列預測的方法。文章總結了5種不同的NLP大模型在時間序列領域的應用方式。接下來，我們將簡要介紹這篇綜述中提及的這5種方法。

圖片

論文標題：Large Language Models for Time Series: A Survey

下載網址：https://arxiv.org /pdf/2402.01801.pdf

圖片

1、基於Prompt的方法

透過直接利用prompt的方法，模型可以針對時間序列資料進行預測輸出。先前的prompt方法中，基本想法是預先訓練一個prompt文本，將時間序列資料填入其中，讓模型產生預測結果。例如，在建構描述時間序列任務的文字時，填入時間序列數據，讓模型直接輸出預測結果。

圖片

在處理時間序列時，數字經常被視為文字的一部分，數字的tokenize問題也備受關注。有些方法特別在數字之間加入空格，以便更清晰地區分數字，避免字典中對數字的不合理區分。

2、離散化

這類方法將時間序列離散化處理，將連續的數值轉換為離散的id化結果，以適配NLP大模型的輸入形式。例如，一種方法是藉助Vector Quantized-Variational AutoEncoder（VQ-VAE）技術，將時間序列映射成離散的表徵。 VQ-VAE是一種VAE基礎上的autoencoder結構，VAE透過Encoder將原始輸入映射成表徵向量，再透過Decoder還原原始資料。而VQ-VAE則保證了中間產生的表徵向量是離散化的。根據這個離散化表徵向量建構成一個詞典，實現時間序列資料離散化的映射。另一種方法是基於K-means的離散化，利用Kmeans生成的質心將原始的時間序列離散化。另外再一些工作中，也將時間序列直接轉換成文本，例如在一些金融場景中，將每天的漲價、降價等信息直接轉換成相應的字母符號作為NLP大模型的輸入。

圖片

3、時間序列-文字對齊

這類方法借助到多模態領域的對齊技術，將時間序列的表徵對齊到文字空間，以此實現時間序列資料直接輸入到NLP大模型的目標。

在這類方法中，一些多模態對齊的方法被廣泛地應用其中。一種最典型的就是基於對比學習的多模態對齊，類似CLIP，使用時間序列編碼器和大模型分別輸入時間序列和文本的表示向量，然後使用對比學習拉近正樣本對之間的距離，在隱空間對齊時間序列資料和文字資料的表徵。

另一種方法是基於時間序列資料的finetune，以NLP大模型作為backbone，在此基礎上引入額外的網路適配時間序列資料。這其中，LoRA等跨模態finetune的高效方法比較常見，凍結backbone的大部分參數，只對小部分參數進行finetune，或者引入少量的adaptor參數進行finetune，以達到多模態對齊的效果。

圖片

4、引入視覺訊息

這種方法比較少見，一般是將時間序列和視覺訊息建立聯繫，再將利用圖像和文字已經經過比較深入研究的多模態能力引入進來，為下游任務提取有效的特徵。例如ImageBind中對6個模態的數據進行統一的對齊，其中就包括時間序列類型的數據，實現多模態的大模型統一。一些金融領域的模型，將股票的價格轉換成圖表數據，再配合CLIP進行圖文對齊，產生圖表相關的特徵用於下游的時間序列任務。

5、大模型工具

這類方法不再對NLP大模型進行模型上的改進，或是改造時間序列資料形式進行大模型適配，而是直接將NLP大模型當成一個工具，解決時間序列問題。例如，讓大模型產生解決時間序列預測的程式碼，應用到時間序列預測上；或是讓大模型呼叫開源的API解決時間序列問題。當然這類方式就比較偏向實際應用了。

最後，文中總結了各類別方法的代表工作以及代表資料集：

#圖片

以上是NLP大模型如何應用到時間序列？五類方法大總結！的詳細內容。更多資訊請關注PHP中文網其他相關文章！