Les réseaux de neurones ont aussi une conscience spatiale ! Apprenez à créer des cartes dans Minecraft, publié dans le sous-magazine Nature

C'est la première fois que les humains démontrent que les réseaux de neurones peuvent créer leurs propres cartes. Imaginez que vous êtes dans une ville étrange, même si l'environnement vous est inconnu au début, vous pouvez explorer les environs et éventuellement dessiner une carte de l'environnement dans votre cerveau, qui comprend les bâtiments, les rues, les panneaux, etc. qui interagissent les uns avec les autres. . relation de position entre eux. Cette capacité à construire des cartes spatiales dans le cerveau est à la base de types de cognition d'ordre supérieur chez l'homme : par exemple, il est théorisé que le langage est codé par des structures semblables à des cartes dans le cerveau. Cependant, même l’intelligence artificielle et les réseaux neuronaux les plus avancés ne peuvent pas créer une telle carte à partir de rien. Matt Thomson, professeur adjoint de biologie computationnelle et chercheur à l'Heritage Medical Research Institute, a déclaré : « On a le sentiment que même les modèles d'intelligence artificielle les plus avancés ne sont pas vraiment intelligents. Ils ne peuvent pas résoudre des problèmes comme nous ; ils ne peuvent pas prouver des résultats mathématiques non prouvés. ne parviennent pas non plus à générer de nouvelles idées. « Nous pensons que c'est parce qu'ils ne peuvent pas naviguer dans l'espace conceptuel ; résoudre des problèmes complexes, c'est comme se déplacer dans l'espace conceptuel, comme la navigation. L'IA ressemble davantage à un apprentissage par cœur. En arrière, vous lui donnez une contribution et elle donne vous une réponse, mais il ne peut pas synthétiser différentes idées. » Récemment, un nouvel article du laboratoire Thomson a découvert que les réseaux de neurones peuvent utiliser un algorithme appelé « codage prédictif ». Construire des cartes spatiales. L'article a été publié dans la revue Nature Machine Intelligence le 18 juillet.

1. Adresse papier : https://www.nature.com/articles/s42256-024-00863-1

2. Adresse code : https://github.com/jgornet/predictive-coding-recovers-maps

L'étudiant diplômé James Gornet a dirigé l'équipe pour construire un environnement dans Minecraft, incorporant des éléments complexes (tels que des arbres, des rivières, des grottes). Ils ont enregistré des vidéos de joueurs se promenant au hasard dans la zone et ont utilisé ces vidéos pour entraîner un réseau neuronal équipé d'un algorithme de codage prédictif.

Des recherches ont montré que les réseaux de neurones apprennent comment les objets du monde Minecraft sont organisés et peuvent « prédire » l'environnement que les joueurs rencontreront lorsqu'ils se déplaceront dans l'espace.

La combinaison de l'algorithme de codage prédictif et du jeu Minecraft a réussi à « apprendre » au réseau neuronal comment créer des cartes spatiales, puis utiliser ces cartes spatiales pour prédire les images suivantes de la vidéo. En conséquence, l'erreur quadratique moyenne entre les images est obtenue. l'image prédite et l'image finale n'était que de 0,094 %.

Plus important encore, l'équipe de recherche a « ouvert » le réseau neuronal (ce qui équivaut à examiner la structure interne) et a découvert que les représentations de divers objets sont stockées spatialement les unes par rapport aux autres. En d’autres termes, ils ont vu une carte de l’environnement Minecraft stockée dans un réseau neuronal.

Les réseaux de neurones peuvent naviguer dans les cartes qui leur sont fournies par des concepteurs humains, comme les voitures autonomes utilisant le GPS, mais c'est la première fois que les humains démontrent que les réseaux de neurones peuvent créer leurs propres cartes. Cette capacité à stocker et à organiser les informations spatialement aidera à terme les réseaux neuronaux à devenir plus « intelligents », leur permettant de résoudre des problèmes vraiment complexes comme ceux des humains.

Ce projet démontre les véritables capacités de conscience spatiale de l’IA, qui ne sont toujours pas visibles dans des technologies comme Sora d’OpenAI, qui présente des problèmes étranges.

James Gornet est étudiant au département des systèmes informatiques et neuronaux (SNC) de Caltech, qui couvre les neurosciences, l'apprentissage automatique, les mathématiques, les statistiques et la biologie.

« Le programme CNS offre vraiment à James un endroit où il peut faire un travail unique qui ne serait pas possible ailleurs », a déclaré Thomson. « Nous adoptons une approche d’apprentissage automatique d’inspiration biologique qui nous permet de procéder à l’ingénierie inverse des propriétés du cerveau dans des réseaux neuronaux artificiels, et nous espérons comprendre le cerveau à notre tour. Chez Caltech, nous avons une équipe très réceptive à ce type de processus. work. Community. 》

Réseaux neuronaux qui effectuent un codage prédictif

Inspirés par la représentation spatiale implicite du problème d'inférence de codage prédictif, les chercheurs ont développé une implémentation informatique d'un agent de codage prédictif et ont étudié le comportement de l'agent tout en explorant un environnement virtuel. Représentation spatiale apprise.

Ils ont commencé par créer un environnement utilisant l'environnement Malmo dans Minecraft. L'environnement physique a des dimensions de 40 × 65 tuiles et englobe trois aspects de la scène visuelle : une grotte fournit un repère visuel global, une forêt permet la similitude entre les scènes visuelles et une rivière avec un pont limite la façon dont l'agent traverse. l’environnement (Fig. 1a).

1. L'agent suit un chemin déterminé par une recherche A* pour trouver le chemin le plus court entre des emplacements échantillonnés aléatoirement et reçoit une image visuelle sur chaque chemin.

2. Untuk melaksanakan pengekodan ramalan, pengarang membina rangkaian neural konvolusi penyahkod pengekod, pengekod menggunakan seni bina ResNet-18, dan penyahkod menggunakan seni bina ResNet-18 konvolusi alih alih (Rajah 1b). Seni bina penyahkod pengekod menggunakan seni bina U-Net untuk menghantar unit terpendam yang dikodkan ke dalam penyahkod.
3. Proses perhatian berbilang kepala mengekod jujukan unit terpendam untuk mengekod sejarah pemerhatian visual yang lalu. Perhatian berbilang kepala mempunyai h = 8 kepala. Untuk unit terpendam pengekodan dimensi D = C × H × W, dengan ketinggian H, lebar W dan saluran C, dimensi kepala tunggal ialah d = C × H × W/j.

   

   Pengekod ramalan menggunakan strategi pengecilan ralat kuasa dua min untuk menyesuaikan perbezaan antara nilai cerapan yang diramalkan dan nilai cerapan sebenar.

Butiran latihan:

• Bilangan sampel: 82,630
• Evolusi: 200
• Pengoptimum: Keturunan Kecerunan Momentum Nesterov
• Kadar 5 ×
:(Pembelajaran awal 5 ×
• ) 10^( - 1)
• Penjadualan kadar pembelajaran: Selepas latihan OneCycle

, pengekod ramalan mencapai kesetiaan visual yang baik, dan ralat kuasa dua min antara imej yang diramalkan dan imej sebenar ialah 0.094 (ditunjukkan dalam Rajah 1c).

Sila lihat kertas asal untuk butiran lanjut.

Pautan rujukan:

https://techxplore.com/news/2024-07-neural-network-minecraft.html

https://www.tomshardware.com/tech-industry/artificial-intelligence/neural- rangkaian-belajar-untuk-membuat-peta-dengan-kod-minecraft-tersedia-di-github

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!