LeCun prédit l'AGI : les grands modèles et l'apprentissage par renforcement sont tous deux monnaie courante ! Mon 'modèle mondial' est la nouvelle façon

Yann LeCun, l'un des géants contemporains les plus célèbres de l'industrie de l'IA et l'âme du laboratoire d'IA de Meta, s'engage depuis longtemps à donner aux machines une compréhension de base des concepts de fonctionnement du monde, c'est-à-dire permettre à l'IA d'acquérir des connaissances communes. sens. Ce que LeCun a fait dans le passé, c'est d'utiliser des extraits vidéo pour entraîner des réseaux de neurones et laisser l'IA prédire, pixel par pixel, ce qui apparaîtra dans la prochaine image des vidéos d'activité quotidienne. Sans surprise, il a admis que cette approche se heurtait à un mur de briques. Après y avoir réfléchi pendant plusieurs mois à un an et demi, LeCun a eu de nouvelles idées pour la prochaine génération d'IA.

Nouvelle voie pour l'IA

Dans une interview avec MIT Technology Review, LeCun a décrit sa nouvelle voie de recherche, affirmant que cela donnerait aux machines une base de bon sens pour explorer le monde. Pour LeCun, il s’agit de la première étape dans la construction de l’AGI (Artificial General Intelligence). Les machines capables de penser comme les humains sont la vision directrice depuis la naissance de l’industrie de l’IA, et c’est également l’un des concepts les plus controversés.

Cependant, le nouveau chemin de LeCun est peut-être encore incomplet et pourrait soulever plus de questions que de réponses. La plus grande question est que LeCun lui-même admet qu’il ne sait pas encore comment construire le type d’IA qu’il décrit. Au cœur de cette approche se trouve un réseau neuronal capable d’observer et d’apprendre du monde réel d’une manière différente qu’auparavant. LeCun a finalement renoncé à laisser l'IA deviner la prochaine image vidéo pixel par pixel, et a seulement laissé le nouveau réseau neuronal acquérir les connaissances clés nécessaires pour accomplir la tâche.

Ensuite, LeCun prévoit de coupler ce réseau de neurones avec un autre réseau de neurones appelé « configurateur ». Le « configurateur » est chargé de décider quels détails le réseau neuronal principal doit apprendre et d'ajuster automatiquement le système principal en conséquence. Pour LeCun, l’AGI fait partie intégrante de l’interaction humaine avec les technologies du futur. Bien entendu, cette perspective coïncide avec celle de son employeur Meta Company, qui a investi toute sa richesse dans le développement du métaverse.

LeCun a déclaré que dans 10 à 15 ans, les lunettes AR remplaceront le statut actuel des smartphones. Les lunettes AR doivent disposer d’un assistant virtuel intelligent capable d’assister les activités humaines quotidiennes. Pour que ces assistants soient les plus efficaces possible, ils doivent plus ou moins suivre l'intelligence du cerveau humain.

Le "Modèle Mondial" est au cœur d'AGI

LeCun s'est récemment passionné pour le "Modèle Mondial". Selon lui, il s'agit du mode de fonctionnement de base de la plupart des cerveaux animaux : exécuter une simulation pour le monde réel. Dès l’enfance, les animaux utilisent des méthodes de prédiction par essais et erreurs pour développer leur intelligence. Les jeunes enfants développent les bases de l’intelligence au cours des premiers mois de leur vie en observant les mouvements et les revers du monde réel.

En observant une petite balle tomber des centaines de fois, les bébés ordinaires ont une compréhension de base de l'existence et du fonctionnement de la gravité même s'ils n'ont jamais suivi de cours de physique de base ni appris les trois lois de Newton. Par conséquent, ce type de raisonnement intuitif/tacite est appelé « bon sens » par les gens ordinaires. Les êtres humains font appel au bon sens pour comprendre la plupart des futurs possibles et des fantasmes impossibles dans le monde réel, pour prévoir les conséquences de leurs actions et prendre des décisions en conséquence. Une telle intelligence humaine ne nécessite ni des détails précis au pixel près, ni une bibliothèque complète de paramètres physiques. Même si une personne n’a pas de vision ou est analphabète, elle peut toujours utiliser son intelligence normalement.

Mais il est difficile d'apprendre à une machine à apprendre le bon sens. Il faut montrer des milliers d'exemples aux réseaux neuronaux d'aujourd'hui avant de commencer à découvrir vaguement des modèles sous-jacents. LeCun a déclaré que la base du renseignement est la capacité du bon sens à prédire l’avenir immédiat. Cependant, après avoir renoncé à laisser l’IA prédire pixel par pixel, LeCun a déclaré qu’il souhaitait changer d’avis. LeCun a donné une analogie : Imaginez que vous tenez un stylo en l'air et que vous le lâchez. Le bon sens vous dit que le stylo va certainement tomber, mais l'emplacement précis de la chute dépasse la portée de la prédiction de l'intelligence humaine. Selon le précédent modèle de développement de l'IA, l'IA doit exécuter des modèles physiques complexes pour prédire si le stylo va tomber et en même temps trouver l'emplacement précis de la chute.

Maintenant, LeCun s'efforce de laisser l'IA prédire uniquement la conclusion de bon sens selon laquelle le stylo va tomber, et la position précise n'est pas à la portée de la solution. LeCun a déclaré que c'était le modèle de base du « modèle mondial ».

LeCun a déclaré avoir créé une première version du « modèle mondial » capable de compléter la reconnaissance d'objets de base, et travaille actuellement à sa formation pour apprendre les prédictions de bon sens mentionnées ci-dessus.

Cependant, LeCun a déclaré qu'il n'avait pas encore compris la fonction du "configurateur". L'IA « configurateur » dans l'imagination de LeCun est le composant de contrôle de l'ensemble du système AGI. Il déterminera les prédictions de bon sens que le modèle mondial doit faire à tout moment et ajustera les détails des données que le modèle mondial doit gérer pour ce faire. LeCun croit désormais fermement qu'un « configurateur » est essentiel, mais il ne sait pas comment entraîner un réseau neuronal pour obtenir cet effet.

"Nous devons explorer une liste de technologies réalisables, et cette liste n'existe pas encore." Dans la vision de LeCun, le "configurateur" et le "modèle mondial" sont les deux noyaux de la future architecture cognitive de base de l'AGI. cela permet de développer des modèles cognitifs pour percevoir le monde, des modèles d’incitation qui poussent l’IA à ajuster les comportements, etc. LeCun a déclaré que le réseau neuronal peut ainsi simuler avec succès chaque partie du cerveau humain. Par exemple, le « configurateur » et le « modèle mondial » jouent le rôle du lobe préfrontal, le modèle de motivation est l'amygdale de l'IA, etc.

L'architecture cognitive et les modèles prédictifs à différents niveaux de détail sont autant de visions établies dans l'industrie depuis de nombreuses années. Cependant, lorsque l’apprentissage profond devient le courant dominant de l’industrie de l’IA, bon nombre de ces vieilles idées deviennent obsolètes. Maintenant, LeCun revient à la sagesse traditionnelle : "La communauté de recherche en IA a beaucoup oublié ces choses." parce que LeCun croit fermement que la voie actuelle de l'industrie est dans une impasse. Concernant la manière de créer l'AGI, il existe actuellement deux points de vue dominants dans l'industrie de l'IA.

Premièrement, de nombreux chercheurs croient fermement à la possibilité de commettre leur propre erreur : tout comme les séries GPT et DALL-E d'OpenAI, plus le modèle est grand, mieux c'est. Lorsqu'il dépasse le point critique, l'IA réveillera l'intelligence humaine. .

La seconde est l'apprentissage par renforcement : essais et erreurs continus, et récompense et punition de l'IA en fonction des résultats des essais et des erreurs. Il s’agit de la méthode de DeepMind pour créer diverses IA d’échecs et de cartes et IA de jeu. Les partisans de cette voie croient que tant que les récompenses sont correctement définies, l’apprentissage par renforcement finira par créer un véritable AGI.

Lecun a déclaré que les deux types de personnes ici sont des ordures : « Augmenter à l'infini l'ampleur des grands modèles de langage existants et enfin être capable de créer une IA au niveau humain ? Je ne crois pas une seconde à cet argument ridicule. Ces modèles ne peuvent traiter que diverses données de texte et d'image, sans aucune expérience directe dans le monde réel. « L'apprentissage par renforcement nécessite une énorme quantité de données pour entraîner le modèle à effectuer les tâches les plus simples. Je ne pense pas que cette méthode ait une chance. ." Sortez avec AGI. "

Les gens de l'industrie ont à la fois du soutien et de l'opposition aux opinions de LeCun. Si la vision de LeCun se réalise, l'IA deviendra la prochaine génération de technologies de base hautes performances, au même titre qu'Internet. Mais son annonce n'inclut pas les performances, le mécanisme d'incitation, le mécanisme de contrôle, etc. de son propre modèle. Toutefois, ces lacunes sont des questions mineures, car indépendamment des éloges ou des critiques, les initiés de l'industrie s'accordent sur le fait qu'il faudra beaucoup de temps pour remédier à ces lacunes. Parce que même LeCun ne peut pas faire d'AGI pour le moment.

Lecun lui-même a également reconnu cette situation. Il a déclaré qu'il espérait seulement semer les graines de nouvelles voies théoriques et laisser les retardataires construire des résultats sur cette base. "Atteindre cet objectif nécessite trop de personnes et trop d'efforts. J'en parle maintenant simplement parce que je pense que cette voie est la dernière bonne voie. Même si cela n'est pas possible, LeCun espère persuader ses pairs de ne pas se concentrer uniquement là-dessus." . Grands modèles et apprentissage par renforcement, il est préférable d'ouvrir l'esprit. "Je déteste voir tout le monde perdre du temps."

Réaction de l'industrie : à la fois positive et négative

Yoshua Bengio, un autre leader de l'industrie de l'IA et bon ami de LeCun, s'est dit heureux de voir son vieil ami réaliser son rêve. " Yann en parle depuis un moment, mais je suis assez heureux de le voir résumer de manière exhaustive toutes ses remarques en un seul endroit. Cependant, ce ne sont que des demandes d'orientations de recherche plutôt que des comptes rendus de résultats. Nous n'en discutons généralement qu'en privé. . En partageant cela ci-dessous, le risque de parler publiquement est assez élevé. "

David Silver, qui dirige le développement du jeu AI AlphaZero chez DeepMind, n'est pas d'accord avec les critiques de LeCun sur son projet, mais le salue. pour réaliser sa vision.

"Le modèle mondial décrit par LeCun est en effet une nouvelle idée passionnante." Melanie Mitchell du Santa Fe Institute en Californie est d'accord avec LeCun : "L'industrie ne voit pas souvent ce genre de point de vue dans la communauté du deep learning. Mais la plupart des gens Le modèle de langage manque vraiment de mémoire et n'a pas l'épine dorsale du modèle du monde interne qui peut jouer un rôle."

Natasha Jaques de Google Brain n'est pas d'accord : " Tout le monde a vu que les grands modèles de langage sont extrêmement efficaces et aussi intégrer beaucoup de connaissances humaines. . Sans modèle de langage, comment puis-je améliorer le modèle du monde proposé par LeCun ? Même si les humains apprennent, le chemin ne se fait pas seulement par l'expérience personnelle, mais aussi par le bouche à oreille.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!