Qu'est-ce qu'un réseau neuronal pour traiter les données de séries chronologiques ?

Le réseau neuronal récurrent (RNN) est un type de réseau qui prend des données de séquence en entrée, effectue une récursion dans le sens d'évolution de la séquence et a tous les nœuds (unités cycliques) connectés dans une chaîne. .

La recherche sur les réseaux neuronaux récurrents a commencé dans les années 1980 et 1990, et au début du 21e siècle. Les algorithmes d'apprentissage en profondeur, parmi lesquels les réseaux RNN bidirectionnels (Bi-RNN) et mémoire à long terme et à court terme (LSTM), sont des réseaux neuronaux récurrents courants. (Apprentissage recommandé : Tutoriel vidéo frontal Web)

Le réseau neuronal récurrent a de la mémoire, du partage de paramètres et de l'exhaustivité de Turing, donc lors de l'apprentissage des caractéristiques non linéaires de la séquence présente certains avantages.

Les réseaux de neurones récurrents sont utilisés dans le traitement du langage naturel (NLP), tels que la reconnaissance vocale, la modélisation du langage, la traduction automatique et d'autres domaines, et sont également utilisés dans diverses prévisions de séries chronologiques.

Présentation d'un réseau neuronal convolutif (Convoutional Neural Network, CNN) pour construire un réseau neuronal récurrent capable de gérer des problèmes de vision par ordinateur impliquant des entrées de séquence.

À la même période où le SRN est apparu, la théorie de l'apprentissage des réseaux de neurones récurrents a également été développée. Après que la recherche sur l’algorithme de rétropropagation ait attiré l’attention [18], la communauté universitaire a commencé à essayer de former des réseaux neuronaux récurrents dans le cadre BP.

En 1989, Ronald Williams et David Zipser ont proposé l'apprentissage récurrent en temps réel (RTRL) des réseaux de neurones récurrents. Puis Paul Werbos a proposé BP Through Time (BPTT) pour les réseaux de neurones récurrents en 1990. RTRL et BPTT sont encore utilisés aujourd'hui et constituent les principales méthodes d'apprentissage des réseaux de neurones récurrents.

En 1991, Sepp Hochreiter a découvert le problème des dépendances à long terme des réseaux de neurones récurrents, c'est-à-dire que lorsque des séquences d'apprentissage, une disparition de gradient et une explosion de gradient se produiront dans des réseaux de neurones récurrents (explosion de gradient), il est impossible appréhender la relation non linéaire sur une longue période.

Afin de résoudre le problème de dépendance à long terme, un grand nombre de théories d'optimisation ont été introduites et de nombreux algorithmes améliorés ont été dérivés, notamment le compresseur d'histoire neuronale (NHC) et les réseaux de mémoire à long terme (LSTM). ) ), réseaux d'unités récurrentes fermées (GRU), réseau d'état d'écho (réseau d'état d'écho), RNN indépendant, etc.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!