Einführung in neuronale Netzwerkalgorithmen

Neuronales Netzwerk ist eine wichtige Technologie des maschinellen Lernens. Es ist die Grundlage des Deep Learning, der derzeit beliebtesten Forschungsrichtung. Durch das Erlernen neuronaler Netze können Sie nicht nur eine leistungsstarke Methode des maschinellen Lernens beherrschen, sondern auch die Deep-Learning-Technologie besser verstehen.

Lassen Sie uns den Entwicklungsprozess neuronaler Netze überprüfen. Die Geschichte der Entwicklung neuronaler Netze ist voller Wendungen. Es gibt Momente, in denen es in den Himmel gelobt wird, und es gibt auch Zeiten, in denen es auf die Straße fällt und sich niemand darum kümmert Tiefen in der Mitte.

Ausgehend von einem einschichtigen neuronalen Netzwerk (Perzeptron) über ein zweischichtiges neuronales Netzwerk mit einer verborgenen Schicht bis hin zu einem mehrschichtigen tiefen neuronalen Netzwerk gibt es drei Aufstiege.

Die Gipfel und Täler in der obigen Abbildung können als die Gipfel und Täler der Entwicklung neuronaler Netze angesehen werden. Die horizontale Achse im Diagramm ist die Zeit, gemessen in Jahren. Die vertikale Achse ist eine schematische Darstellung des Einflusses eines neuronalen Netzwerks. Wenn die 10 Jahre vom Vorschlag des Hebb-Modells im Jahr 1949 bis zur Geburt des Perzeptrons im Jahr 1958 als fallend (nicht steigend) betrachtet werden, dann hat das neuronale Netzwerk einen Prozess von „drei Höhen und Tiefen“ erlebt, ähnlich wie bei Comrade „Xiaoping“. Wie das Sprichwort sagt: Wenn der Himmel einem Menschen eine große Verantwortung anvertrauen will, muss er zunächst hart an seinem Geist und Körper arbeiten. Der Erfolg neuronaler Netze, die in dieser Phase so viele Wendungen erlebt haben, kann als eine Anhäufung harter Arbeit angesehen werden.

Der größte Vorteil der Geschichte besteht darin, dass sie als Referenz für die Gegenwart dienen kann. Wissenschaftliche Forschung stellt einen Aufwärtsspiralprozess dar und kann nicht reibungslos ablaufen. Gleichzeitig ist dies auch eine Warnung für diejenigen, die sich mittlerweile zu sehr für Deep Learning und künstliche Intelligenz begeistern, denn es ist nicht das erste Mal, dass Menschen wegen neuronaler Netze verrückt werden. Von 1958 bis 1969 und von 1985 bis 1995 waren die Erwartungen der Menschen an neuronale Netze und künstliche Intelligenz nicht so niedrig wie heute, aber jeder kann klar erkennen, wie die Ergebnisse aussehen werden.

Daher ist Gelassenheit der beste Weg, mit dem aktuellen Deep-Learning-Trend umzugehen. Wenn Leute hereinstürmen, weil Deep Learning angesagt ist oder weil sie damit Geld verdienen können, dann werden am Ende nur sie selbst das Opfer sein. Die neuronale Netzwerkgemeinschaft wurde von den Menschen zweimal in den Himmel gelobt. Ich glaube, je höher das Lob, desto schlimmer der Absturz. Daher müssen auch Wissenschaftler auf dem Gebiet der neuronalen Netze dieser Begeisterung ein Ende setzen und dürfen nicht zulassen, dass die Medien und Investoren diese Technologie überschätzen. Es ist sehr wahrscheinlich, dass das neuronale Netzwerk nach dreißig Jahren in Hedong und dreißig Jahren in Hexi in ein paar Jahren wieder den Tiefpunkt erreichen wird. Basierend auf der historischen Grafik oben ist dies sehr gut möglich.

Lassen Sie uns darüber sprechen, warum neuronale Netze so beliebt sind. Kurz gesagt, es ist der starke Lerneffekt. Mit der Entwicklung neuronaler Netze wird deren Darstellungsleistung immer stärker.

Von einem einschichtigen neuronalen Netzwerk über ein zweischichtiges neuronales Netzwerk bis hin zu einem mehrschichtigen neuronalen Netzwerk zeigt die folgende Abbildung, dass die Anzahl der Netzwerkschichten zunimmt und angepasst wird Durch die Aktivierungsfunktion kann das neuronale Netzwerk die Fähigkeit anpassen, Entscheidungen über die Abgrenzungsebene zu treffen.

Es ist ersichtlich, dass mit zunehmender Anzahl der Schichten die Fähigkeit zur nichtlinearen Grenzanpassung weiter zunimmt. Die Trennlinie im Bild stellt nicht den tatsächlichen Trainingseffekt dar, sondern ist eher ein schematischer Effekt.

Der Grund, warum sich die Forschung und Anwendung neuronaler Netze weiterhin energisch weiterentwickeln kann, ist untrennbar mit ihrer leistungsstarken Fähigkeit zur Funktionsanpassung verbunden.

Natürlich führt eine starke innere Fähigkeit allein nicht unbedingt zum Erfolg. Eine erfolgreiche Technologie und Methode erfordert nicht nur die Rolle interner Faktoren, sondern auch das Zusammenwirken der aktuellen Situation und der Umgebung. Die externen Gründe für die Entwicklung neuronaler Netze lassen sich wie folgt zusammenfassen: stärkere Rechenleistung, mehr Daten und bessere Trainingsmethoden. Nur wenn diese Bedingungen erfüllt sind, kann die Funktionsanpassungsfähigkeit des neuronalen Netzwerks vollständig widergespiegelt werden, wie in der folgenden Abbildung dargestellt.

Der Grund, warum Rosenblat im Zeitalter einschichtiger neuronaler Netze keinen zweischichtigen Klassifikator erstellen konnte, war, dass die Rechenleistung zu dieser Zeit unzureichend war, und Minsky nutzte dies auch zur Unterdrückung neuronaler Netze. Aber Minsky hatte nicht damit gerechnet, dass die rasante Entwicklung von Computer-CPUs es uns nur zehn Jahre später ermöglichen würde, zweischichtige neuronale Netze zu trainieren, und dass es auch einen schnell lernenden Algorithmus BP geben würde.

Aber in einer Zeit, in der zweischichtige neuronale Netze immer beliebter werden. Aufgrund von Problemen mit der Rechenleistung und einigen Problemen mit der Berechnungsmethode können die Vorteile neuronaler Netze auf höherer Ebene nicht berücksichtigt werden. Bis 2012 entdeckten Forscher, dass Grafikbeschleunigerkarten (GPUs) für Hochleistungsrechnen die Anforderungen für das Training neuronaler Netze perfekt erfüllen können: hohe Parallelität, hoher Speicher, wenig Steuerungsanforderungen und vor dem Training Warten auf Algorithmen, können neuronale Netze Glanz.

Im Internetzeitalter werden große Datenmengen gesammelt und organisiert und es werden ständig bessere Trainingsmethoden entdeckt. All dies schafft die Voraussetzungen dafür, dass mehrschichtige neuronale Netze ihre Fähigkeiten entfalten können.

„Umstände machen Helden“, wie Hinton in seiner Arbeit von 2006 sagte

„... vorausgesetzt, dass die Computer schnell genug sind, die Datensätze groß genug sind und die Anfangsgewichte nahe genug an einer guten Lösung liegen.“,

Äußere Bedingungen Die Zufriedenheit des neuronalen Netzwerks ist auch ein wichtiger Faktor bei der Entwicklung des neuronalen Netzwerks von Neuronen zum aktuellen tiefen neuronalen Netzwerk.

Darüber hinaus ist die Entwicklung einer Technologie ohne „Bole“ nicht möglich. In der langen Geschichte neuronaler Netze ist es gerade der Beharrlichkeit und kontinuierlichen Forschung vieler Forscher zu verdanken, dass die aktuellen Erfolge erzielt wurden. In den frühen Tagen von Rosenblat war Rumelhart nicht Zeuge der aktuellen Popularität und des Status neuronaler Netze. Aber zu diesem Zeitpunkt wird der Grundstein, den sie für die Entwicklung neuronaler Netze gelegt haben, für immer weitergegeben und wird nicht verblassen.

Das obige ist der detaillierte Inhalt vonEinführung in neuronale Netzwerkalgorithmen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!