Analyse du timing Guerrier du Pentagone ! L'Université Tsinghua propose TimesNet : leader en matière de prédiction, de remplissage, de classification et de détection

Atteindre la polyvalence des tâches est une question centrale dans la recherche de modèles de base d'apprentissage profond, et constitue également l'une des principales préoccupations dans l'orientation récente des grands modèles.

Cependant, dans le domaine des séries chronologiques, les différents types de tâches d'analyse varient considérablement, notamment les tâches de prédiction qui nécessitent une modélisation fine et les tâches de classification qui nécessitent l'extraction d'informations sémantiques de haut niveau. Comment créer un modèle de base profond unifié pour effectuer efficacement diverses tâches d'analyse temporelleIl n'y avait pas de solution établie auparavant.

À cette fin, une équipe de l'École de logiciel de l'Université Tsinghua a mené des recherches sur la question fondamentale de la modélisation des changements de timing et a proposé TimesNet, un modèle de base de timing universel pour les tâches. Le document a été accepté par l'ICLR 2023.

Liste des auteurs : Wu Haixu*, Hu Tenge*, Liu Yong*, Zhou Hang, Wang Jianmin, Long Mingsheng

Lien : https://openreview.net/pdf ?id=ju_Uqw384Oq

Code : https://github.com/thuml/TimesNet

Bibliothèque d'algorithmes de séries temporelles : https://github.com/thuml/Time-Series-Library

TimesNet Il a atteint un leadership complet dans les cinq tâches principales que sont la prévision à long terme et à court terme, le remplissage des valeurs manquantes, la détection des anomalies et la classification.

1 Analyse du problème

Différent du langage naturel, de la vidéo et d'autres données de séquence, seuls certains scalaires sont enregistrés à un seul instant de la série chronologique, et ses informations clés sont davantage contenues dans la variation temporelle (Variation temporelle) milieu.

Par conséquent, La modélisation des changements de timing est un problème central commun à tous les types de tâches d'analyse de timing.

Ces dernières années, divers modèles profonds ont été largement utilisés dans les tâches d'analyse temporelle, tels que les réseaux de neurones récurrents (RNN), les réseaux convolutifs temporels (TCN) et les réseaux de transformateurs (Transformer).

Cependant, les deux premiers types de méthodes se concentrent principalement sur la capture des changements entre des instants proches et ont des capacités de modélisation insuffisantes pour les dépendances à long terme.

Bien que Transformer présente des avantages naturels dans la modélisation des dépendances à long terme, en raison des changements de timing extrêmement complexes dans le monde réel, il est difficile d'exploiter des dépendances de timing fiables uniquement en s'appuyant sur l'attention entre des points temporels discrets.

À cette fin, cet article analyse les changements de timing dans une nouvelle perspective multi-périodicité, comme le montre la figure ci-dessous. On observe que :

• les séries temporelles sont naturellement multi-périodiques.

Les données de séries chronologiques dans le monde réel sont souvent la superposition de différents processus périodiques. Par exemple, les données de trafic changent quotidiennement à court terme, alors qu'à long terme elles changent de manière hebdomadaire. Ces données de différentes périodes se chevauchent et interfèrent les unes avec les autres, ce qui pose de grands défis à l'analyse des séries chronologiques.

• La série chronologique présente deux types de changements de séries chronologiques au sein du cycle et entre les cycles.

Plus précisément, pour le processus d'une certaine période, le changement à chaque instant est non seulement lié au moment adjacent, mais également fortement lié à des processus similaires dans la période adjacente. Parmi eux, les changements intra-cycles correspondent à des processus à court terme, tandis que les changements inter-cycles peuvent refléter des tendances à long terme dans des cycles consécutifs. Remarque : Si la série chronologique n'a pas de périodicité évidente, cela équivaut à la situation où la période est infiniment longue.

2 Idées de conception

Sur la base des deux observations ci-dessus, nous avons conçu la structure de TimesNet comme suit :

La

• multi-périodicité des séries temporelles a naturellement inspiré une idée de conception modulaire, c'est-à-dire qu'un module capture les changements de séries chronologiques dominés par une période spécifique. Cette idée de conception modulaire peut découpler des changements de temps complexes, ce qui est bénéfique pour la modélisation ultérieure. Pour les
• changements intra-cycles et inter-cycles des séries chronologiques, cet article propose de manière innovanteétendre les données de séries chronologiques unidimensionnelles à un espace bidimensionnel pour analyse. Comme le montre la figure ci-dessus, en repliant une série temporelle unidimensionnelle basée sur plusieurs cycles, plusieurs tenseurs bidimensionnels (tenseurs 2D) peuvent être obtenus. Les colonnes et les lignes de chaque tenseur bidimensionnel reflètent la série temporelle au sein du cycle. et entre les cycles respectivement, c'est-à-dire que nous obtenons des Variations temporelles 2D.

L'exemple ci-dessus montre l'effet de visualisation du pliage de données de séries chronologiques unidimensionnelles dans un espace bidimensionnel. Ici, la direction Période reflète les changements intra-cycles, tandis que la direction Fréquence représente les changements inter-cycles. Nous pouvons voir que les données de séries chronologiques transformées en espace bidimensionnel ont une localité bidimensionnelle évidente (localité 2D).

Par conséquent, après avoir plié les données de séries chronologiques, nous pouvons directement utiliser le

Visual Backbone Network

avancé pour effectuer une extraction de fonctionnalités sur les données de séries chronologiques, telles que Swin Transformer, ResNeXt, ConvNeXt, etc. Cette conception permet également aux tâches d'analyse temporelle de bénéficier directement du domaine en plein essor de la vision par ordinateur. 3 TimesNet

Sur la base des idées ci-dessus, nous avons proposé le modèle TimesNet, qui décompose les changements de séries chronologiques complexes en différents cycles via une structure modulaire, et réalise une modélisation intra-cycle et unifiée des variations hebdomadaires

.

Dans cette section, nous présenterons d'abord la méthode d'extension des données de séries chronologiques à un espace bidimensionnel, puis présenterons l'architecture globale du modèle.

3.1 Changements de timing : 1D->2D

Le processus de pliage chronométré est illustré dans la figure ci-dessus, qui est principalement divisé en deux étapes suivantes :

(1) Extraction du cycle

pour Une série temporelle unidimensionnelle avec une longueur temporelle de et une dimension de canal de , peut extraire directement des informations périodiques grâce à la transformée de Fourier rapide (FFT) de la dimension temporelle, c'est-à-dire :

où représente l'intensité de chaque composante de fréquence dans , la fréquence avec la plus grande intensité correspond à la durée de la période la plus significative.

(2) Pliage de séquence 1D->2D

Pour les périodes sélectionnées, la série temporelle unidimensionnelle originale est pliée respectivement. Le processus peut être formalisé comme :

.

Parmi eux, le remplissage 0 à la fin de la séquence rend la longueur de la séquence divisible.

Grâce aux opérations ci-dessus, nous obtenons un ensemble de tenseurs bidimensionnels, qui correspondent à des changements de séries temporelles bidimensionnelles avec une période de .

3.2 Conception du modèle

L'architecture globale de TimesNet est illustrée dans la figure :

Dans l'ensemble, TimesNet se compose de TimesBlocks empilés. La séquence d'entrée passe d'abord par la couche d'intégration pour obtenir des fonctionnalités profondes. Pour la couche TimesBlock, son entrée est et sa sortie est :

Plus précisément, comme le montre la figure ci-dessous, chaque TimesBlock contient les sous-processus suivants :

(1) Pliage des séries temporelles (1D->2D)  : TimesBlock d'abord, les fonctionnalités de série chronologique unidimensionnelle d'entrée extraient le cycle, puis le convertissent en changements de séries chronologiques bidimensionnelles, ce qui a été abordé dans la section précédente :

(2) Extraire les données bidimensionnelles représentation des changements de séries chronologiques (représentation 2D)  : comme analysé précédemment, les changements de séries chronologiques bidimensionnels convertis ont une localité 2D, de sorte que la convolution 2D peut être utilisée directement pour extraire des caractéristiques. Ici, nous avons choisi le modèle Inception classique, à savoir :

Il est à noter que parce que nous avons converti des caractéristiques temporelles 1D en espace 2D, nous pouvons également utiliser de nombreux modèles de pointe dans le domaine de l'informatique. vision, par exemple, ResNeXt, ConvNeXt, Attention-based Swin Transformer, etc. Cela permet à l’analyse des séries chronologiques de fonctionner main dans la main avec le réseau fédérateur visuel. ⋅ Supprimez le 0 ajouté par l'opération Padding (⋅) à l'étape (1).

(4) Fusion adaptative (agrégation 1D) : Afin de fusionner des informations multipériodes, nous effectuons une sommation pondérée des représentations de séries chronologiques bidimensionnelles extraites, et le poids de sommation sélectionné est obtenu à l'étape ( 1) L'intensité de fréquence correspondante :

En convertissant une série chronologique 1D en une conception spatiale 2D, TimesNet réalise la construction de changements de séries chronologiques de "plusieurs périodes pour extraire séparément les changements de séries chronologiques bidimensionnelles, puis effectuer un processus de moulage par fusion adaptative.

4 Expériences

Nous avons mené des expériences sur cinq tâches principales : prédiction à long terme, prédiction à court terme, remplissage des valeurs manquantes, détection d'anomalies et classification, couvrant 36 ensembles de données et 81 paramètres expérimentaux différents.

Dans le même temps, 19 méthodes approfondies différentes ont été comparées, y compris les derniers modèles basés sur RNN, CNN, MLP et Transformer, tels que N-BEATS (2019), Autoformer (2021), LSSL (2022) ), N-Hits (2022), FEDformer (2022), Dlinear (2023), etc.

4.1 Résultats globaux

Comme le montre le graphique radar d'ouverture, TimesNet a atteint SOTA sur les cinq tâches.

(1) Prédiction à long terme : dans cette tâche de grande envergure, TimesNet surpasse les modèles de pointe basés sur Transformer et MLP.

(2) Prédiction à court terme : L'ensemble de données M4 utilisé dans cette expérience contient 6 sous-ensembles de données avec différentes fréquences d'échantillonnage, avec un total de plus de 100 000 éléments de données. TimesNet a néanmoins obtenu des résultats optimaux dans cette situation complexe de distribution de données, en vérifiant les capacités de modélisation des changements temporels du modèle.

(3) Tâche de classification  : Dans cette tâche, TimesNet a surpassé l'algorithme classique de Rocket et le modèle d'apprentissage en profondeur de pointe Flowformer.

Veuillez consulter le document pour plus de comparaisons de tâches.

4.2 Généralisation du réseau fédérateur visuel

Nous remplaçons le réseau Inception dans TimesNet par différents réseaux fédérateurs visuels, tels que ResNet, ConvNext, Swin Transformer, etc.

Comme le montre la figure ci-dessous, un réseau fédérateur visuel plus avancé peut apporter de meilleurs résultats. Cela signifie également que dans le cadre de TimesNet, l’analyse des séries chronologiques peut directement bénéficier des avancées dans le domaine des réseaux fédérateurs visuels.

4.3 Analyse de représentation

Afin d'explorer davantage la source de l'effet TimesNet, nous montrons la relation entre "la similarité CKA entre la couche inférieure du modèle et la représentation de la couche supérieure" et "effet de modèle". Parmi eux, plus la similarité CKA est faible, plus la différence de représentation entre la couche inférieure et la couche supérieure du modèle est grande, c'est-à-dire une représentation plus hiérarchique. À partir de la visualisation ci-dessus, nous pouvons observer : , cela indique que la tâche nécessite des représentations de niveau inférieur ;

Dans les tâches de classification et de remplissage de valeurs manquantes, plus le modèle est bon, plus la similarité de représentation entre les couches inférieure et supérieure est faible, indiquant que cette tâche nécessite une hiérarchie représentation, c’est-à-dire de meilleures capacités globales d’extraction de fonctionnalités.

Grâce à l'opération de convolution dans l'espace 2D, TimesNet peut apprendre des représentations appropriées en fonction de différentes tâches. Par exemple, dans les tâches de prédiction et de détection d'anomalies, il apprend les représentations de bas niveau dans les tâches de classification et de remplissage de valeurs manquantes. apprend les fonctionnalités abstraites hiérarchiques. Cela prouve en outre la généralisation des tâches de TimesNet en tant que modèle de base.

Dans le même temps, l'analyse de représentation ci-dessus fournit également des idées de conception de modèles profonds pour des tâches spécifiques. Par exemple, pour les tâches de prédiction, nous devons nous concentrer sur l'extraction de fonctionnalités sous-jacentes à granularité fine, et pour les tâches de remplissage, nous devons réfléchir davantage à l’apprentissage des représentations globales.

• 5 RésuméInspiré par la nature multipériode des séries chronologiques, cet article propose un modèle de base pour l'analyse des séries chronologiques qui est universel pour les tâches - TimesNet. Ce modèle plie de manière innovante les séries chronologiques unidimensionnelles dans un espace bidimensionnel et utilise la convolution 2D pour obtenir des caractéristiques de séries chronologiques. Cette innovation permet aux tâches d’analyse temporelle de bénéficier directement du réseau fédérateur visuel en plein essor, ce qui est très inspirant pour les recherches ultérieures.
• Dans le même temps, TimesNet a atteint un leadership complet dans les cinq tâches principales d'analyse de séries chronologiques que sont la prévision à long terme et à court terme, le remplissage des valeurs manquantes, la détection des anomalies et la classification, et possède une excellente valeur d'application.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!