Un examen d’exemples de calculs de pool dans l’apprentissage automatique

Reservoir computing (RC) est un cadre informatique qui utilise des réseaux de neurones récurrents. Contrairement aux réseaux de neurones traditionnels, il ne met à jour que certains paramètres tout en sélectionnant et en fixant d'autres paramètres de manière aléatoire.

Le pool de réserve est un système non linéaire fixe qui mappe le signal d'entrée à un espace de calcul de dimension supérieure grâce à sa dynamique. Le réservoir peut être considéré comme une boîte noire. Une fois le signal d’entrée renvoyé au réservoir, un mécanisme de lecture simple est formé pour lire l’état du réservoir et le mapper à la sortie requise.

La dynamique du réservoir étant fixe, l'entraînement n'a lieu que pendant la phase de lecture.

Le calcul traditionnel du pool de réserve doit remplir deux conditions : il est composé d'unités non linéaires indépendantes et peut stocker des informations.

Le calcul du pool de réserve est essentiellement une méthode utilisée pour accélérer l'exécution des algorithmes d'apprentissage automatique.

Le « Réservoir » dans le terme fait référence au système électrique. Un système dynamique est représenté par une fonction mathématique qui explique comment les points de l'espace changent au fil du temps. Sachant cela, vous pouvez prédire l'emplacement du point dans l'espace.

Le pool de réserve se compose de plusieurs unités connectées de manière circulaire. Le calcul du pool de réserve utilise un réseau neuronal récurrent, au lieu de mettre à jour tous les paramètres du réseau, il ne met à jour que quelques paramètres et conserve les autres paramètres inchangés après une sélection aléatoire.

Le cadre de calcul du pool de réserve est similaire au cadre du réseau neuronal récursif. Le réseau d'état d'écho, la machine à états liquides et d'autres modèles de réseau neuronal récursif constituent le cadre de base du calcul du pool de réserve. calcul à traiter Très efficace pour les tâches avec des données temporelles ou séquentielles.

Le but du calcul du pool de réserve

Le calcul du pool de réserve est de transformer séquentiellement l'entrée non linéaire en un espace de grande dimension afin que les caractéristiques de l'entrée puissent être lues de manière efficace grâce à un algorithme d'apprentissage simple. . En plus d'utiliser des réseaux de neurones récurrents, d'autres systèmes dynamiques peuvent également être utilisés comme pools de réserve. L’objectif du pool de réserve informatique est de créer des systèmes capables de traiter les informations et les données plus rapidement avec des coûts d’apprentissage inférieurs. Ceci est particulièrement important dans le cas de l’apprentissage automatique, car la consommation d’énergie est souvent élevée lors de la formation de grands ensembles de données. Type de calcul du pool de réserve . Réseau de réverbération contextuelle

Dans le réseau de réverbération contextuelle, la couche d'entrée entre le signal dans le système dynamique de haute dimension, et les informations contenues dans ce système dynamique de haute dimension sont lues par un perceptron monocouche pouvant être entraîné. Il comporte deux types de systèmes dynamiques : l’un est un réseau neuronal récurrent avec des poids aléatoires fixes, et l’autre système dynamique est un système de réaction-diffusion continue inspiré du modèle de morphogenèse de Turing.

2. Echo State Network
• Le réseau Echo State a une couche cachée peu connectée. La connectivité de la couche cachée est généralement inférieure à 10 %. Tente de piloter un réseau neuronal récurrent à poids aléatoire plus grand avec un signal d'entrée, induisant un signal de réponse non linéaire dans chaque neurone du réservoir, qui est ensuite connecté au signal de sortie souhaité à l'aide d'une combinaison linéaire entraînable de tous les signaux de réponse.
• 3. Machine à état liquide

La machine à état liquide (LSM) utilise un réseau neuronal à impulsions. Le LSM se compose d'un grand nombre de nœuds ou neurones. Chaque neurone reçoit des informations variables dans le temps provenant d'autres neurones et de sources externes. En raison de la nature répétitive des connexions, les entrées variables dans le temps deviennent des modèles d'activation spatio-temporels dans les nœuds du réseau. Ces modèles d'activation spatio-temporels sont ensuite lus par des unités discriminantes linéaires.

4. Calcul transitoire non linéaire

Lorsque des signaux d'entrée variant dans le temps quittent la dynamique interne d'un mécanisme, ces écarts provoquent des changements transitoires ou temporaires qui se reflètent dans la sortie de l'appareil.

5. Calcul du pool de réserve profonde

Avec l'émergence des modèles de calcul du pool de réserve profonde, le cadre de calcul du pool de réserve a commencé à s'étendre vers l'apprentissage profond pour traiter les données temporelles de manière hiérarchique, et a également permis l'étude de combinaisons hiérarchiques Rôle dans RNN.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!