Comment appliquer les grands modèles NLP aux séries chronologiques ? Un résumé des cinq catégories de méthodes !

Récemment, l'Université de Californie a publié un article de synthèse explorant les méthodes d'application de grands modèles de langage pré-entraînés dans le domaine du traitement du langage naturel à la prévision de séries chronologiques. Cet article résume l'application de 5 grands modèles NLP différents dans le domaine des séries chronologiques. Ensuite, nous présenterons brièvement ces 5 méthodes mentionnées dans cette revue.

Pictures

Titre de l'article : Grands modèles linguistiques pour les séries temporelles : une enquête

Adresse de téléchargement : https://arxiv.org/pdf/2402.01801.pdf

Pictures

1. Méthode d'invite

En utilisant directement la méthode d'invite, le modèle peut prédire la sortie des données de séries chronologiques. Dans la méthode d'invite précédente, l'idée de base était de pré-entraîner un texte d'invite, de le remplir de données de séries chronologiques et de laisser le modèle générer des résultats de prédiction. Par exemple, lors de la création d'un texte décrivant une tâche de série chronologique, remplissez les données de série chronologique et laissez le modèle générer directement les résultats de prédiction.

Images

Lors du traitement des séries chronologiques, les nombres sont souvent considérés comme faisant partie du texte, et la question de la tokenisation des nombres a également attiré beaucoup d'attention. Certaines méthodes ajoutent spécifiquement des espaces entre les nombres pour distinguer plus clairement les nombres et éviter les distinctions déraisonnables entre les nombres dans les dictionnaires.

2. Discrétisation

Ce type de méthode discrétise les séries temporelles et convertit les valeurs continues en résultats d'identification discrets pour s'adapter à la forme d'entrée des grands modèles NLP. Par exemple, une approche consiste à mapper des séries temporelles en représentations discrètes à l’aide de la technologie Vector Quantized-Variational AutoEncoder (VQ-VAE). VQ-VAE est une structure d'encodeur automatique basée sur VAE qui mappe l'entrée d'origine dans un vecteur de représentation via l'encodeur, puis restaure les données d'origine via le décodeur. VQ-VAE garantit que le vecteur de représentation intermédiaire généré est discrétisé. Un dictionnaire est construit sur la base de ce vecteur de représentation discrétisé pour réaliser la cartographie de la discrétisation des données de séries chronologiques. Une autre méthode est basée sur la discrétisation des K-means, utilisant les centroïdes générés par Kmeans pour discrétiser la série temporelle originale. De plus, dans certains travaux, les séries chronologiques sont également directement converties en texte. Par exemple, dans certains scénarios financiers, les augmentations de prix quotidiennes, les diminutions de prix et d'autres informations sont directement converties en symboles de lettres correspondants en entrée du grand modèle NLP.

Images

3. Alignement du texte des séries chronologiques

Ce type de méthode s'appuie sur la technologie d'alignement dans le domaine multimodal pour aligner la représentation des séries chronologiques dans l'espace texte, permettant ainsi aux données des séries chronologiques d'être directement entrée dans les cibles de grand modèle PNL.

Dans ce type de méthode, certaines méthodes d'alignement multimodal sont largement utilisées. Le plus typique est l'alignement multimodal basé sur l'apprentissage contrastif. Semblable à CLIP, un encodeur de séries temporelles et un grand modèle sont utilisés pour saisir respectivement les vecteurs de représentation des séries temporelles et du texte, puis l'apprentissage contrastif est utilisé pour raccourcir la distance. entre des paires d'échantillons positives. Alignement des représentations de séries temporelles et de données textuelles dans l'espace latent.

Une autre méthode consiste à affiner la base des données de séries chronologiques, en utilisant le grand modèle NLP comme épine dorsale et en introduisant des données de séries chronologiques d'adaptation réseau supplémentaires sur cette base. Parmi elles, les méthodes de réglage fin intermodales efficaces telles que LoRA sont relativement courantes. Elles gèlent la plupart des paramètres du backbone et affinent seulement un petit nombre de paramètres, ou introduisent un petit nombre de paramètres d'adaptateur pour un réglage fin afin d'obtenir un alignement multimodal.

Images

4. Introduction d'informations visuelles

Cette méthode est relativement rare. Elle établit généralement un lien entre les séries chronologiques et les informations visuelles, puis introduit des capacités multimodales qui ont été étudiées en profondeur à l'aide d'images et de texte. , pour extraire des fonctionnalités efficaces pour les tâches en aval. Par exemple, ImageBind aligne uniformément les données de 6 modalités, y compris les données de type série chronologique, pour parvenir à l'unification de grands modèles multimodaux. Certains modèles dans le domaine financier convertissent les cours des actions en données graphiques, puis utilisent CLIP pour aligner les graphiques et le texte afin de générer des fonctionnalités liées aux graphiques pour les tâches de séries chronologiques en aval.

5. Outils de grand modèle

Ce type de méthode n'améliore plus le grand modèle NLP, ni ne transforme le formulaire de données de séries chronologiques pour une adaptation de grand modèle, mais utilise directement le grand modèle NLP comme outil pour résoudre les problèmes de séries chronologiques. Par exemple, laissez le grand modèle générer du code pour résoudre la prédiction de séries chronologiques et l'appliquer à la prédiction de séries chronologiques ou laissez le grand modèle appeler l'API open source pour résoudre les problèmes de séries chronologiques ; Bien entendu, cette méthode est davantage orientée vers les applications pratiques.

Enfin, l'article résume le travail représentatif et les ensembles de données représentatifs de diverses méthodes :

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!