Modèle à grande échelle intégré multitâche de séries chronologiques basé sur Adapter et GPT

Aujourd'hui, j'aimerais vous parler des derniers travaux sur la prévision de séries chronologiques à grande échelle. Ils proviennent de l'Alibaba Damo Academy, qui propose un cadre universel d'analyse de séries chronologiques basé sur des adaptateurs, qui peut être utilisé dans la prévision de cycles longs. prévision de cycle court, tir nul et quelques résultats remarquables ont été obtenus sur 7 tâches de séries chronologiques, notamment le tir, la détection d'anomalies, la classification des séries chronologiques et le remplissage des séries chronologiques.

Titre de l'article : Taille unique : Analyse universelle de séries temporelles à l'aide de modèles linguistiques pré-entraînés et d'adaptateurs spécialement conçus

Lien téléchargeable : https://arxiv.org/pdf/2311.14782v1.pdf

1. Contexte

Dans le domaine de la prévision de séries chronologiques, l'une des difficultés liées à la construction de modèles à grande échelle est le manque de données de formation suffisantes comme dans les domaines de la PNL ou du CV. Cet article propose une solution, qui s'appuie sur des modèles à grande échelle formés dans le domaine de la PNL ou du CV, combinés à la technologie Adapter, pour l'adapter aux séries temporelles afin de résoudre divers problèmes de séries temporelles

Adaptateur en PNL, il est largement utilisé dans des domaines tels que CV, en particulier dans les applications récentes de grands modèles, les adaptateurs sont souvent utilisés pour effectuer un réglage léger des grands modèles. L'adaptateur est un réseau léger. En l'insérant dans certains modules du grand modèle, puis en fixant les paramètres du grand modèle et en mettant uniquement à jour les paramètres de l'adaptateur, vous pouvez obtenir un réglage fin du grand modèle léger.

Photos

Maintenant, permettez-moi de vous présenter comment, dans ce travail de l'Alibaba Damo Academy, nous utilisons un adaptateur pour combiner des modèles PNL et CV pré-entraînés afin de créer un modèle de série chronologique unifié.

2. Structure globale

Le modèle proposé dans cet article est basé sur le modèle de langage pré-entraîné des paramètres Freeze et est implémenté en combinant 4 types d'adaptateurs. La structure globale du modèle est présentée dans la figure ci-dessous.

Pictures

Tout d'abord, pour la série chronologique d'entrée, nous utiliserons la méthode RevIN pour la normalisation. Cela signifie que nous soustrayons la moyenne de chaque série chronologique et divisons par la variance. Ensuite, nous utiliserons la méthode PatchTST pour diviser la série chronologique en plusieurs segments via des fenêtres coulissantes et générer des intégrations de segments. Les séries chronologiques traitées seront saisies dans un modèle de langage pré-entraîné dans le domaine PNL. Pendant tout le processus de formation, les paramètres d'origine du modèle de langage resteront inchangés et nous mettrons à jour uniquement les 4 types de paramètres d'adaptateur nouvellement ajoutés

3 Conception de l'adaptateur

Cet article présente quatre types d'adaptateurs pouvant être branchés. PNL et différentes positions des grands modèles dans le domaine du CV pour atteindre l'objectif d'adaptation des séries temporelles. Ces quatre adaptateurs sont l'adaptateur de temps, l'adaptateur de canal, l'adaptateur de fréquence et l'adaptateur d'exception : l'adaptateur de temps est un réseau MLP utilisé pour fusionner les informations de dimension temporelle. Dans cet article, nous adoptons une structure de goulot d'étranglement pour mapper d'abord les informations de haute dimension dans la dimension temporelle ou spatiale vers un espace de basse dimension, puis les retracer vers l'espace de haute dimension. Le but de ceci est d'éviter le risque de surajustement dans le processus d'extraction des relations temporelles.

Adaptateur de canal : La structure de l'adaptateur de canal est similaire à celle de l'adaptateur temporel. La différence est qu'il est réalisé dans la dimension spatiale et. est utilisé pour extraire la relation entre les variables de la séquence multivariée. , Bottlenect est également utilisé

pictureAdaptateur de fréquence : l'adaptateur de fréquence extrait les informations de série chronologique dans le domaine fréquentiel ; domaine fréquentiel, effectue du MLP dans le domaine fréquentiel, puis le mappe au domaine temporel, afin de réaliser l'extraction d'informations globales telles que le domaine fréquentiel.

Adaptateur d'anomalies : cette partie implémente principalement une nouvelle méthode de détection d'anomalies de séries chronologiques. La matrice de score d'attention est utilisée ici pour les séquences normales, la matrice de score d'attention montre des caractéristiques de répétition périodiques, mais pas les séquences anormales, donc cet article l'utilise. a Le noyau gaussien sert d'adaptateur d'anomalie et utilise les résultats de sortie de l'attention et sa divergence KL calculée pour la détection d'anomalies de séries chronologiques.

PhotosDe plus, différentes données seront affectées par chaque adaptateur à des degrés divers. Par conséquent, un réseau fermé est utilisé dans l'article pour utiliser sélectivement les adaptateurs

4. de tâches de séries chronologiques ont été comparées. Le grand modèle unifié de séries chronologiques proposé dans cet article a obtenu de meilleurs résultats que les différents modèles SOTA de l'industrie dans chaque tâche. En prenant comme exemple la tâche de prédiction à long terme, le modèle unifié basé sur GPT2+Adaptor est le plus performant

Photos

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!