Was ist ein neuronales Netzwerk zur Verarbeitung von Zeitreihendaten?

Recurrent Neural Network (RNN) ist eine Art Netzwerk, das Sequenzdaten als Eingabe verwendet, eine Rekursion in der Entwicklungsrichtung der Sequenz durchführt und alle Knoten (zyklische Einheiten) in einer Kette verbindet .

Die Forschung an rekurrenten neuronalen Netzen begann in den 1980er und 1990er Jahren und entwickelte sich zu Beginn des 21. Jahrhunderts zu einem der Deep-Learning-Algorithmen, darunter bidirektionale RNN (Bi-RNN) und Long-Short-Term-Memory-Netzwerke (LSTM), sind gängige wiederkehrende neuronale Netzwerke. (Empfohlenes Lernen: Web-Front-End-Video-Tutorial)

Rekurrentes neuronales Netzwerk verfügt über Speicher, Parameterfreigabe und Turing-Vollständigkeit, sodass es beim Erlernen der nichtlinearen Eigenschaften der Sequenz bestimmte Vorteile hat.

Rekurrente neuronale Netze werden in der Verarbeitung natürlicher Sprache (NLP) wie Spracherkennung, Sprachmodellierung, maschineller Übersetzung und anderen Bereichen verwendet und werden auch in verschiedenen Zeitreihenvorhersagen verwendet.

Einführung eines Faltungs-Neuronalen Netzwerks (Convoutional Neural Network, CNN) zum Aufbau eines wiederkehrenden Neuronalen Netzwerks, das Computer-Vision-Probleme mit Sequenzeingaben bewältigen kann.

Im gleichen Zeitraum, als SRN erschien, wurde auch die Lerntheorie rekurrenter neuronaler Netze entwickelt. Nachdem die Forschung zum Backpropagation-Algorithmus Aufmerksamkeit erregt hatte [18], begann die akademische Gemeinschaft zu versuchen, wiederkehrende neuronale Netze unter dem BP-Framework zu trainieren.

Im Jahr 1989 schlugen Ronald Williams und David Zipser das Real-Time Recurrent Learning (RTRL) rekurrenter neuronaler Netze vor. Dann schlug Paul Werbos 1990 BP Through Time (BPTT) für wiederkehrende neuronale Netze vor. RTRL und BPTT werden auch heute noch verwendet und sind die Hauptmethoden zum Lernen wiederkehrender neuronaler Netze.

Im Jahr 1991 entdeckte Sepp Hochreiter das Problem der Langzeitabhängigkeiten wiederkehrender neuronaler Netze. Das heißt, wenn in wiederkehrenden neuronalen Netzen das Phänomen des Gradientenverschwindens und der Gradientenexplosion (Gradientenexplosion) auftritt, ist dies unmöglich den nichtlinearen Zusammenhang über einen langen Zeitraum zu erfassen.

Um das Problem der Langzeitabhängigkeit zu lösen, wurden zahlreiche Optimierungstheorien eingeführt und viele verbesserte Algorithmen abgeleitet, darunter Neural History Compressor (NHC) und Long Short-Term Memory Networks (LSTM). ) ), Gated Recurrent Unit Networks (GRU), Echo State Network (Echo State Network), Independent RNN usw.

Das obige ist der detaillierte Inhalt vonWas ist ein neuronales Netzwerk zur Verarbeitung von Zeitreihendaten?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!