Introduction aux algorithmes de réseaux neuronaux

Le réseau neuronal est une technologie d'apprentissage automatique importante. C’est la base du deep learning, la direction de recherche la plus populaire à l’heure actuelle. L'apprentissage des réseaux de neurones vous permet non seulement de maîtriser une méthode d'apprentissage automatique puissante, mais vous aide également à mieux comprendre la technologie d'apprentissage profond.

Passons en revue le processus de développement des réseaux de neurones. L'histoire du développement des réseaux de neurones est pleine de rebondissements. Il y a des moments où ils sont portés vers le ciel, et il y a aussi des moments où ils tombent dans les rues et personne ne s'en soucie. des bas au milieu.

Partant d'un réseau neuronal monocouche (perceptron), jusqu'à un réseau neuronal à deux couches contenant une couche cachée, puis vers un réseau neuronal profond multicouche, il y a trois montées.

Les pics et les vallées de la figure ci-dessus peuvent être considérés comme les pics et les vallées du développement des réseaux de neurones. L’axe horizontal du graphique représente le temps, mesuré en années. L'axe vertical est une représentation schématique de l'influence d'un réseau neuronal. Si les 10 années écoulées entre la proposition du modèle Hebb en 1949 et la naissance du perceptron en 1958 sont considérées comme une période descendante (et non ascendante), alors le réseau neuronal a connu un processus de « trois montées et trois chutes », semblable à celui du camarade "Xiaoping". Comme le dit le proverbe, lorsque le ciel est sur le point de confier une grande responsabilité à une personne, elle doit d’abord travailler dur sur son esprit et son corps. Le succès des réseaux de neurones qui ont connu tant de rebondissements à ce stade peut être vu comme une accumulation de travail acharné.

Le plus grand avantage de l’histoire est qu’elle peut servir de référence pour le présent. La recherche scientifique présente un processus en spirale ascendante et ne peut pas se dérouler sans heurts. Dans le même temps, cela constitue également un avertissement pour ceux qui sont désormais trop enthousiasmés par l’apprentissage profond et l’intelligence artificielle, car ce n’est pas la première fois que les gens deviennent fous à cause des réseaux de neurones. De 1958 à 1969 et de 1985 à 1995, les attentes des gens à l'égard des réseaux de neurones et de l'intelligence artificielle n'étaient pas aussi faibles qu'aujourd'hui, mais chacun peut clairement voir quels en seront les résultats.

Par conséquent, le calme est le meilleur moyen de faire face à l’engouement actuel pour l’apprentissage profond. Si les gens se précipitent parce que l’apprentissage profond est à la mode ou parce qu’ils peuvent gagner de l’argent, alors la victime ultime ne sera qu’eux-mêmes. La communauté des réseaux neuronaux a été saluée à deux reprises par les gens. Je pense que plus les éloges sont élevés, plus la chute est grave. Par conséquent, les chercheurs dans le domaine des réseaux neuronaux doivent également verser de l’eau sur cet engouement et ne pas laisser les médias et les investisseurs surestimer cette technologie. Il est très probable qu'après trente ans à Hedong et trente ans à Hexi, le réseau de neurones touchera à nouveau le fond dans quelques années. Sur la base du graphique historique ci-dessus, cela est tout à fait possible.

Parlons de pourquoi les réseaux de neurones sont si populaires ? En bref, c'est le puissant effet d'apprentissage. Avec le développement des réseaux de neurones, leurs performances de représentation sont de plus en plus fortes.

D'un réseau neuronal monocouche, à un réseau neuronal à deux couches, puis à un réseau neuronal multicouche, la figure ci-dessous illustre qu'avec l'augmentation du nombre de couches réseau et l'ajustement de la fonction d'activation, le réseau neuronal peut s'adapter à la capacité de prendre des décisions concernant les plans de démarcation.

On peut voir qu'à mesure que le nombre de couches augmente, sa capacité d'ajustement des limites non linéaires continue d'augmenter. La ligne de démarcation sur l’image ne représente pas l’effet d’entraînement réel, mais plutôt un effet schématique.

La raison pour laquelle la recherche et l'application des réseaux de neurones peuvent continuer à se développer vigoureusement est indissociable de sa puissante capacité d'adaptation fonctionnelle.

Bien sûr, avoir à lui seul de fortes capacités intérieures ne mène pas nécessairement au succès. Une technologie et une méthode efficaces nécessitent non seulement le rôle de facteurs internes, mais également la coopération de la situation actuelle et de l'environnement. Les raisons externes derrière le développement des réseaux de neurones peuvent être résumées comme suit : des performances informatiques plus élevées, plus de données et de meilleures méthodes de formation. Ce n'est que lorsque ces conditions sont remplies que la capacité d'adaptation fonctionnelle du réseau neuronal peut être pleinement reflétée, comme le montre la figure ci-dessous.

La raison pour laquelle Rosenblat n'a pas pu créer un classificateur à deux couches à l'ère des réseaux neuronaux monocouches était que les performances informatiques à l'époque étaient insuffisantes, et Minsky également utilisé cela pour supprimer les réseaux de neurones. Mais Minsky ne s'attendait pas à ce que, dix ans plus tard, le développement rapide des processeurs informatiques nous permettrait de former des réseaux neuronaux à deux couches, et qu'il y aurait également un algorithme d'apprentissage rapide BP.

Mais à l'ère où les réseaux de neurones à deux couches deviennent rapidement populaires. En raison de problèmes de performances informatiques et de certains problèmes de méthode de calcul, les avantages des réseaux neuronaux de niveau supérieur ne peuvent pas être pris en compte. Jusqu'en 2012, les chercheurs ont découvert que les cartes accélératrices graphiques (GPU) pour le calcul haute performance pouvaient parfaitement répondre aux exigences requises pour la formation des réseaux neuronaux : un parallélisme élevé, un stockage élevé, peu d'exigences de contrôle et une pré-formation. En attendant les algorithmes, les réseaux neuronaux peuvent briller.

À l'ère d'Internet, une grande quantité de données est collectée et organisée, et de meilleures méthodes de formation sont constamment découvertes. Tout cela réunit les conditions permettant aux réseaux de neurones multicouches d’exercer leurs capacités.

« Les circonstances font les héros », comme le disait Hinton dans son article de 2006

« ... à condition que les ordinateurs soient suffisamment rapides, que les ensembles de données soient suffisamment volumineux et que les poids initiaux soient suffisamment proches d'une bonne solution. »,

Conditions externes. la satisfaction du réseau neuronal est également un facteur important dans le développement du réseau neuronal, des neurones au réseau neuronal profond actuel.

De plus, le développement d'une technologie est impossible sans "Bole". Dans la longue histoire des réseaux de neurones, c’est précisément grâce à la persévérance et aux recherches continues de nombreux chercheurs que les réalisations actuelles ont été réalisées. Au début de Rosenblat, Rumelhart n’était pas témoin de la popularité et du statut actuels des réseaux de neurones. Mais à ce moment-là, les bases qu’ils ont posées pour le développement des réseaux de neurones seront transmises pour toujours et ne s’effaceront pas.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!