搜尋
首頁科技週邊人工智慧基於Adaptor和GPT的時間序列多任務一體化大型模型

今天跟大家聊一聊大模型时间序列预测的最新工作,来自阿里巴巴达摩院,提出了一种基于adaptor的通用时间序列分析框架,在长周期预测、短周期预测、zero-shot、few-shot、异常检测、时间序列分类、时间序列填充等7项时间序列任务上都取得了显著的效果。

基於Adaptor和GPT的時間序列多任務一體化大型模型

论文标题:一刀切:使用预训练语言模型和特别设计的适配器进行通用时间序列分析

可下载链接:https://arxiv.org/pdf/2311.14782v1.pdf

1、背景

时间序列预测领域中,搭建大型模型的难点之一在于缺乏如NLP或CV领域那样的充足的训练数据。本文提出了一种解决方案,即以NLP或CV领域中训练好的大型模型为基础,并结合Adaptor技术,将其适配到时间序列中,以解决各种时间序列问题

Adaptor在NLP、CV等领域应用很广泛,尤其是最近大模型应用中,adaptor经常被用来进行大模型的轻量级finetune。Adaptor是一个轻量级网络,通过将其插入到大模型中的一些模块中,然后fix大模型参数,只更新adaptor的参数,就可以实现轻量级的大模型finetune。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

下面,给大家介绍阿里达摩院这篇工作中,是如何利用adaptor结合预训练的NLP、CV模型搭建统一时间序列模型的。

2、整体结构

本文提出的模型基于Freeze参数的预训练语言模型,结合4种类型的adaptor实现。整体模型结构如下图所示。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

首先,对于输入的时间序列,我们将使用RevIN的方法进行归一化。这意味着我们会从每个时间序列中减去均值,并除以方差。接下来,我们将使用PatchTST的方法,将时间序列通过滑动窗口切分成多个片段,生成片段嵌入。处理好的时间序列将被输入到一个NLP领域的预训练语言模型中。在整个训练过程中,语言模型的原始参数将保持不变,我们只会更新新增的4类适配器参数

3、Adaptor设计

本文介绍了四种类型的适配器,这些适配器可以插入到NLP和CV领域的大型模型的不同位置,以实现对时间序列进行适配的目标。这四种适配器分别是时间适配器、通道适配器、频率适配器和异常适配器

时间适配器:时间适配器是一个MLP网络,用于融合时间维度的信息。在文中,我们采用了瓶颈结构,先将时间维度或空间维度的高维信息映射到低维空间,然后再映射回高维空间。这样做的目的是在提取时序关系的过程中避免过拟合的风险

Channel Adaptor:channel adaptor的结构和temporal adaptor相似,区别在于在空间维度进行,用来提取多元序列各个变量之间的关系,也采用了bottlenect;

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

Frequency Adaptor:frequency adaptor在频域进行时间序列的信息提取,这部分将时间序列映射到频域,在频域做MLP,然后再映射回时域,以此实现频域这种全局信息的提取。

Anomaly Adapter:这部分主要是实现了一种新的时间序列异常检测方法,这里利用了attention score矩阵,对于正常序列attention score矩阵呈现周期重复的特性,而异常序列则没有,因此文中使用一个高斯核作为anomaly adaptor,用attention的输出结果和其计算KL散度进行时间序列异常检测。

基於Adaptor和GPT的時間序列多任務一體化大型模型图片

另外,不同的数据会受到各个适配器的影响程度不同,因此,在文中采用了一个门控网络,以有选择地使用适配器

4、实验效果

对7种时间序列任务进行了效果对比,本文提出的时间序列统一大模型在各个任务中取得了超出业内各个SOTA模型的效果。以长周期预测任务为例,基于GPT2 Adaptor的统一模型表现最优

基於Adaptor和GPT的時間序列多任務一體化大型模型圖片

#

以上是基於Adaptor和GPT的時間序列多任務一體化大型模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
Markitdown MCP可以將任何文檔轉換為Markdowns!Markitdown MCP可以將任何文檔轉換為Markdowns!Apr 27, 2025 am 09:47 AM

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

如何使用Google ADK進行建築代理? - 分析Vidhya如何使用Google ADK進行建築代理? - 分析VidhyaApr 27, 2025 am 09:42 AM

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

在LLM上使用SLM進行有效解決問題-Analytics Vidhya在LLM上使用SLM進行有效解決問題-Analytics VidhyaApr 27, 2025 am 09:27 AM

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

如何將Google Gemini模型用於計算機視覺任務? - 分析Vidhya如何將Google Gemini模型用於計算機視覺任務? - 分析VidhyaApr 27, 2025 am 09:26 AM

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Apr 27, 2025 am 09:20 AM

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較

如何使用OpenAI GPT-Image-1 API生成和編輯圖像如何使用OpenAI GPT-Image-1 API生成和編輯圖像Apr 27, 2025 am 09:16 AM

Openai的最新多模式模型GPT-Image-1徹底改變了Chatgpt和API的形像生成。 本文探討了其功能,用法和應用程序。 目錄 了解gpt-image-1 gpt-image-1的關鍵功能

如何使用清潔行執行數據預處理? - 分析Vidhya如何使用清潔行執行數據預處理? - 分析VidhyaApr 27, 2025 am 09:15 AM

數據預處理對於成功的機器學習至關重要,但是實際數據集通常包含錯誤。清潔行提供了一種有效的解決方案,它使用其Python軟件包來實施自信的學習算法。 它自動檢測和

AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具