Que faire si la loi de Moore échoue ? Expert en informatique neuromorphique : se concentrer sur l'apprentissage dendritique

​En 1965, Gordon Moore résumait une règle empirique : le nombre de transistors pouvant être logés sur un circuit intégré doublera environ tous les 18 à 24 mois. En d’autres termes, les performances du processeur doublent environ tous les deux ans.

Cette règle empirique est appelée « loi de Moore ». Au cours des quatre décennies suivantes, le processus de fabrication des puces semi-conductrices a en effet doublé à un rythme vertigineux. Cependant, ces dernières années, l'effet doublement de la loi de Moore s'est ralenti et certains prédisent même qu'elle expirera dans un avenir proche.

L'industrie a proposé diverses solutions pour faire face à ce goulot d'étranglement du développement. Kwabena Boahen, ingénieur neuromorphique de l'Université de Stanford, a récemment proposé une nouvelle idée : les neurones artificiels devraient imiter les dendrites des neurones biologiques plutôt que les synapses. Le document de recherche a été publié dans Nature.

Adresse papier : https://www.nature.com/articles/s41586-022-05340-6

Actuellement, l'informatique neuromorphique vise à imiter les neurones qui composent le cerveau humain et des mécanismes synaptiques pour mettre en œuvre l’intelligence artificielle (IA). Les réseaux neuronaux artificiels ajustent à plusieurs reprises les synapses reliant les neurones pour modifier le « poids » de chaque synapse ou la force de l’influence d’un neurone sur un autre. Le réseau neuronal détermine ensuite si les modèles comportementaux résultants sont plus efficaces pour les trouver. Au fil du temps, le système découvre quels modes sont les meilleurs pour calculer les résultats et adopte ces modes par défaut.

Les réseaux de neurones contiennent généralement de nombreuses couches de neurones. Par exemple, GPT-3 a 175 milliards de poids, des connexions équivalentes à 8,3 millions de neurones et une profondeur de 384 couches. À mesure que la taille et les fonctionnalités des réseaux neuronaux augmentent, ils deviennent de plus en plus coûteux et énergivores. En prenant GPT-3 comme exemple, OpenAI a dépensé 4,6 millions de dollars pour exécuter 9 200 GPU pendant deux semaines afin de former ce grand modèle. Kwabena Boahen a déclaré : "L'énergie consommée par GPT-3 pendant l'entraînement est convertie en émissions de carbone équivalentes à 1 300 voitures

C'est également une raison importante pour laquelle Boahen a proposé que la prochaine étape pour les réseaux de neurones soit d'essayer le nombre." apprentissage des graphes. L'imitation des dendrites dans les réseaux neuronaux augmentera la quantité d'informations transmises dans les signaux transmis, permettant ainsi aux systèmes d'IA de ne plus nécessiter des mégawatts de puissance dans le cloud GPU et de fonctionner sur des appareils mobiles tels que les téléphones portables.

Les dendrites peuvent se ramifier massivement, permettant à un neurone de se connecter à de nombreux autres neurones. Des études ont montré que l’ordre dans lequel une dendrite reçoit les signaux de ses branches détermine la force de sa réponse.

Le modèle informatique des dendrites proposé par Boahen ne réagit que lorsqu'il reçoit une séquence précise de signaux du neurone. Cela signifie que chaque dendrite peut coder des données, pas seulement de simples signaux électriques comme 0/1. Le système de base deviendra plus puissant en fonction du nombre de connexions dont il dispose et de la longueur de la séquence de signaux qu'il reçoit.

En termes de construction réelle, Boahen a proposé d'utiliser des FET ferroélectriques (FeFET) pour simuler des dendrites. Un FeFET de 1,5 microns de long avec 5 portes peut simuler une dendrite de 15 microns de long avec 5 synapses. Une version de cette version pourrait être implémentée dans une « puce 3D », a déclaré Boahen.

Les lecteurs intéressés peuvent lire le texte original de l'article pour en savoir plus sur la recherche.

Lien de référence : https://spectrum.ieee.org/dendrocentric-learning​

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!