搜尋
首頁科技週邊人工智慧基於Adaptor和GPT的時間序列多任務一體化大型模型

今天跟大家聊一聊大模型时间序列预测的最新工作,来自阿里巴巴达摩院,提出了一种基于adaptor的通用时间序列分析框架,在长周期预测、短周期预测、zero-shot、few-shot、异常检测、时间序列分类、时间序列填充等7项时间序列任务上都取得了显著的效果。

基於Adaptor和GPT的時間序列多任務一體化大型模型

论文标题:一刀切:使用预训练语言模型和特别设计的适配器进行通用时间序列分析

可下载链接:https://arxiv.org/pdf/2311.14782v1.pdf

1、背景

时间序列预测领域中,搭建大型模型的难点之一在于缺乏如NLP或CV领域那样的充足的训练数据。本文提出了一种解决方案,即以NLP或CV领域中训练好的大型模型为基础,并结合Adaptor技术,将其适配到时间序列中,以解决各种时间序列问题

Adaptor在NLP、CV等领域应用很广泛,尤其是最近大模型应用中,adaptor经常被用来进行大模型的轻量级finetune。Adaptor是一个轻量级网络,通过将其插入到大模型中的一些模块中,然后fix大模型参数,只更新adaptor的参数,就可以实现轻量级的大模型finetune。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

下面,给大家介绍阿里达摩院这篇工作中,是如何利用adaptor结合预训练的NLP、CV模型搭建统一时间序列模型的。

2、整体结构

本文提出的模型基于Freeze参数的预训练语言模型,结合4种类型的adaptor实现。整体模型结构如下图所示。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

首先,对于输入的时间序列,我们将使用RevIN的方法进行归一化。这意味着我们会从每个时间序列中减去均值,并除以方差。接下来,我们将使用PatchTST的方法,将时间序列通过滑动窗口切分成多个片段,生成片段嵌入。处理好的时间序列将被输入到一个NLP领域的预训练语言模型中。在整个训练过程中,语言模型的原始参数将保持不变,我们只会更新新增的4类适配器参数

3、Adaptor设计

本文介绍了四种类型的适配器,这些适配器可以插入到NLP和CV领域的大型模型的不同位置,以实现对时间序列进行适配的目标。这四种适配器分别是时间适配器、通道适配器、频率适配器和异常适配器

时间适配器:时间适配器是一个MLP网络,用于融合时间维度的信息。在文中,我们采用了瓶颈结构,先将时间维度或空间维度的高维信息映射到低维空间,然后再映射回高维空间。这样做的目的是在提取时序关系的过程中避免过拟合的风险

Channel Adaptor:channel adaptor的结构和temporal adaptor相似,区别在于在空间维度进行,用来提取多元序列各个变量之间的关系,也采用了bottlenect;

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

Frequency Adaptor:frequency adaptor在频域进行时间序列的信息提取,这部分将时间序列映射到频域,在频域做MLP,然后再映射回时域,以此实现频域这种全局信息的提取。

Anomaly Adapter:这部分主要是实现了一种新的时间序列异常检测方法,这里利用了attention score矩阵,对于正常序列attention score矩阵呈现周期重复的特性,而异常序列则没有,因此文中使用一个高斯核作为anomaly adaptor,用attention的输出结果和其计算KL散度进行时间序列异常检测。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

另外,不同的数据会受到各个适配器的影响程度不同,因此,在文中采用了一个门控网络,以有选择地使用适配器

4、实验效果

对7种时间序列任务进行了效果对比,本文提出的时间序列统一大模型在各个任务中取得了超出业内各个SOTA模型的效果。以长周期预测任务为例,基于GPT2 Adaptor的统一模型表现最优

基於Adaptor和GPT的時間序列多任務一體化大型模型圖片

#

以上是基於Adaptor和GPT的時間序列多任務一體化大型模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
外推指南外推指南Apr 15, 2025 am 11:38 AM

介紹 假設有一個農民每天在幾週內觀察農作物的進展。他研究了增長率,並開始思考他的植物在幾週內可以生長的高度。從Th

軟AI的興起及其對當今企業的意義軟AI的興起及其對當今企業的意義Apr 15, 2025 am 11:36 AM

軟AI(被定義為AI系統,旨在使用近似推理,模式識別和靈活的決策執行特定的狹窄任務 - 試圖通過擁抱歧義來模仿類似人類的思維。 但是這對業務意味著什麼

為AI前沿的不斷發展的安全框架為AI前沿的不斷發展的安全框架Apr 15, 2025 am 11:34 AM

答案很明確 - 只是雲計算需要向雲本地安全工具轉變,AI需要專門為AI獨特需求而設計的新型安全解決方案。 雲計算和安全課程的興起 在

生成AI的3種方法放大了企業家:當心平均值!生成AI的3種方法放大了企業家:當心平均值!Apr 15, 2025 am 11:33 AM

企業家,並使用AI和Generative AI來改善其業務。同時,重要的是要記住生成的AI,就像所有技術一樣,都是一個放大器 - 使得偉大和平庸,更糟。嚴格的2024研究O

Andrew Ng的新簡短課程Andrew Ng的新簡短課程Apr 15, 2025 am 11:32 AM

解鎖嵌入模型的力量:深入研究安德魯·NG的新課程 想像一個未來,機器可以完全準確地理解和回答您的問題。 這不是科幻小說;多虧了AI的進步,它已成為R

大語言模型(LLM)中的幻覺是不可避免的嗎?大語言模型(LLM)中的幻覺是不可避免的嗎?Apr 15, 2025 am 11:31 AM

大型語言模型(LLM)和不可避免的幻覺問題 您可能使用了諸如Chatgpt,Claude和Gemini之類的AI模型。 這些都是大型語言模型(LLM)的示例,在大規模文本數據集上訓練的功能強大的AI系統

60%的問題 -  AI搜索如何消耗您的流量60%的問題 - AI搜索如何消耗您的流量Apr 15, 2025 am 11:28 AM

最近的研究表明,根據行業和搜索類型,AI概述可能導致有機交通下降15-64%。這種根本性的變化導致營銷人員重新考慮其在數字可見性方面的整個策略。 新的

麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心Apr 15, 2025 am 11:26 AM

埃隆大學(Elon University)想像的數字未來中心的最新報告對近300名全球技術專家進行了調查。由此產生的報告“ 2035年成為人類”,得出的結論是,大多數人擔心AI系統加深的採用

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具