L'UCSD, le MIT et d'autres équipes chinoises apprennent aux chiens robots à percevoir le monde en 3D ! Avec la puce M1, vous pouvez monter les escaliers et franchir les obstacles.

Récemment, des chercheurs des institutions UCSD, IAIFI et MIT ont utilisé une nouvelle architecture de mémoire volumétrique neuronale (NVM) pour apprendre à un chien robot à percevoir le monde tridimensionnel.

Grâce à cette technologie, le chien robot peut monter des escaliers, franchir des interstices, franchir des obstacles, etc. via un seul réseau neuronal - complètement autonome, sans avoir besoin d'une télécommande.

Je me demande si vous avez remarqué la boîte blanche sur le dos du chien ?

Il est équipé de la puce M1 d'Apple, qui est chargée d'exécuter les tâches de traitement visuel du chien robot. De plus, l’équipe l’a supprimé d’un Mac.

Il n'est pas difficile de voir que ce chien robot du MIT peut facilement grimper sur un tronçon de branches devant lui sans aucun effort (en gros).

Un MacBook à 4 pattes ?

Comme nous le savons tous, il est très difficile pour les chiens robots et autres robots à pattes de traverser des routes inégales.

Plus les conditions routières sont complexes, plus il y a d'obstacles invisibles.

Afin de résoudre le problème de « l'environnement partiellement observable », la technologie de mouvement visuel actuelle de SOTA connecte les canaux d'image via l'empilement d'images.

Cependant, cette méthode de traitement simple est loin derrière la technologie actuelle de vision par ordinateur, qui peut modéliser explicitement le flux optique et des géométries 3D spécifiques.

Inspirée par cela, l'équipe a proposé une architecture de mémoire de volume neuronal (NVM) qui peut pleinement prendre en compte l'équivalence SE(3) du monde tridimensionnel.

Adresse du projet : https://rchalyang.github.io/NVM/

Différent des méthodes précédentes, NVM est un format volumétrique. Il regroupe les volumes de fonctionnalités de plusieurs vues de caméra dans le cadre égocentrique du robot, permettant au robot de mieux comprendre son environnement.

Les résultats des tests montrent qu'après avoir utilisé la mémoire volumétrique neuronale (NVM) pour entraîner les mouvements des jambes, les performances du robot sur un terrain complexe sont nettement meilleures que la technologie précédente.

De plus, les résultats des expériences d'ablation montrent que le contenu stocké dans la mémoire volumétrique neuronale capture suffisamment d'informations géométriques pour reconstruire la scène 3D.

Expériences dans le monde réel

Pour vérifier dans différents scénarios du monde réel en dehors des simulations, l'équipe a mené des expériences dans des scénarios intérieurs et extérieurs.

Lorsque le chien robot constate qu'un obstacle apparaît soudainement devant lui, il choisira directement de l'éviter.

Il ne semble y avoir aucun problème à marcher sur un sol rocailleux, même si cela reste plus fatigant que sur un terrain plat.

Des obstacles relativement grands par rapport à soi peuvent encore être surmontés avec un travail acharné.

En utilisant la technologie de contrôle de reconnaissance précédente, les pattes arrière du chiot ont manifestement fait des erreurs en jugeant la distance. Il est entré dans un fossé et s'est renversé, ce qui a échoué.

Après avoir adopté la NVM proposée par le MIT, le chiot a franchi le fossé, bonheur et réussite stables !

En utilisant la technologie de contrôle de reconnaissance précédente, le chiot a raté la cible avec son premier coup de pied, et la tête du chien a saisi le sol et a échoué.

Après avoir adopté la NVM proposée par le MIT, le chiot a parcouru la matrice en douceur.

Mémoire volumique des mouvements des jambes

L'utilisation d'une perspective de caméra égocentrique est essentiellement un problème de gestion d'un "environnement partiellement observable" (Partiellement-Observé).

Pour concrétiser le problème de contrôle, le robot doit collecter des informations à partir des images précédentes et déduire correctement le terrain occlus.

Pendant le mouvement, la caméra montée directement sur le châssis du robot subit des changements de position drastiques et soudains.

De cette façon, dans le processus de caractérisation d'une série d'images, il devient très important qu'un seul cadre puisse être placé dans la bonne position.

À cette fin, le concept de mémoire de volume neuronal (NVM) proposé par l'équipe peut convertir une série d'informations visuelles d'entrée en caractéristiques de scène pour une représentation 3D, puis une sortie.

Apprentissage de la NVM via l'apprentissage auto-supervisé

Alors que « l'objectif de clonage comportemental » est suffisant pour produire une bonne stratégie, l'équivariance de la translation et de la rotation fournit automatiquement un apprentissage indépendant et auto-supervisé. objectifs.

Apprentissage auto-supervisé : L'équipe de recherche a formé un décodeur indépendant. Laissez-le prédire les observations visuelles dans différentes images en prenant une observation visuelle et en estimant la transition entre deux images.

Comme le montre l'image ci-dessus, on peut supposer que la scène 3D environnante reste inchangée entre les images. Puisque la caméra regarde vers l’avant, nous pouvons normaliser le volume caractéristique des images précédentes et l’utiliser pour prédire les images suivantes.

Reconstruction visuelle du décodeur

La première image montre le robot se déplaçant dans l'environnement, la deuxième image est le résultat de l'observation visuelle d'entrée et la troisième image est la vision synthétisée à l'aide du volume de caractéristiques 3D et de l'image estimée Observer l'effet.

Pour l'observation visuelle de l'entrée, l'équipe de recherche a appliqué un grand nombre d'améliorations de données aux images pour améliorer la robustesse du modèle.

À propos de l'auteur

Ruihan Yan

Ruihan Yan est doctorante en deuxième année à Université de Californie, San Diego. Avant cela, il a obtenu un baccalauréat en génie logiciel de l'Université de Nankai en 2019

Ses intérêts de recherche sont l'apprentissage par renforcement, l'apprentissage automatique, la robotique, etc. Plus précisément, il souhaite créer des agents intelligents qui utilisent des informations provenant de différentes sources pour prendre des décisions.

Ge Yang

Ge Yang est diplômé de l'Université de Yale avec un baccalauréat en physique et en mathématiques, et a obtenu un doctorat en physique de l'Université de Chicago. Actuellement, il est chercheur postdoctoral à l'Institut pour l'intelligence artificielle et les interactions fondamentales (IAIFI) de la National Science Foundation.

Les recherches de Ge Yang portent sur deux ensembles de questions liées. Le premier groupe consiste à améliorer l'apprentissage en revisitant la manière dont nous représentons les connaissances dans les réseaux de neurones et la manière dont les connaissances sont transférées à travers les distributions. Le deuxième groupe examine l'apprentissage par renforcement à travers le prisme d'outils théoriques tels que les noyaux tangents neuronaux, la géométrie non euclidienne et la dynamique hamiltonienne.

Xiaolong Wang

Xiaolong Wang est professeur adjoint au département ECE de l'Université de Californie à San Diego. Il est membre de l'équipe de robotique de l'Institut pour l'intelligence artificielle de la TILOS National Science Foundation.

Il a obtenu son doctorat en robotique à l'Université Carnegie Mellon et a effectué des recherches postdoctorales à l'Université de Californie à Berkeley.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!