Le deep learning se heurte-t-il à un mur après dix ans ? Hinton, LeCun et Li Feifei ne le pensent pas.

Cela fait 10 ans que la percée de la technologie d'apprentissage profond représentée par AlexNet a commencé en 2012.

10 ans plus tard, Geoffrey Hinton et Yann LeCun, désormais lauréats du Turing Award, et Li Feifei, principal initiateur et promoteur du ImageNet Challenge, quel regard portez-vous sur les avancées technologiques de l'IA de la dernière décennie ? Quel jugement portez-vous sur l’évolution technologique dans les dix prochaines années ?

Récemment, un article d'interview exclusif par le média étranger VentureBeat a incité la communauté de l'IA à commencer à discuter de ces questions.

De l'avis de LeCun, les réalisations les plus importantes de la dernière décennie comprennent l'apprentissage auto-supervisé, les ResNets, les graphiques de connexion dynamiques d'attention de porte, le stockage différenciable et les modules équivariants de remplacement, tels que l'auto-attention multi-têtes. Transformateur.

Hinton estime que la dynamique de développement rapide dans le domaine de l'IA continuera de s'accélérer. Auparavant, lui et d'autres personnalités bien connues du domaine de l'IA avaient réfuté l'idée selon laquelle "l'apprentissage profond s'est heurté à un mur". "Nous constatons d'énormes progrès dans le domaine de la robotique, avec des robots flexibles, agiles et plus conformes qui font les choses avec plus d'efficacité et de douceur que les humains", a déclaré Geoffrey Hinton. Source de l'image : https://www.thestar.com/

LeCun et Li Feifei conviennent avec Hinton qu'une série d'études révolutionnaires basées sur l'ensemble de données ImageNet en 2012 a ouvert des progrès majeurs dans le domaine de la vision par ordinateur, en particulier l'apprentissage profond. . Intégrer l’apprentissage profond au grand public et déclencher une dynamique imparable. Li Feifei a déclaré que les changements en matière d'apprentissage profond depuis 2012 dépassaient ses rêves.

Li Feifei

Cependant, le succès entraîne souvent des critiques. Récemment, de nombreux avis ont souligné les limites du deep learning, estimant que son succès se limite à un périmètre restreint. Ces points de vue soutiennent que l’apprentissage profond ne peut pas réaliser la percée fondamentale qu’il prétend aider les humains à atteindre l’intelligence artificielle générale souhaitée, dans laquelle les capacités de raisonnement de l’IA sont véritablement semblables à celles des humains.

Gary Marcus, spécialiste bien connu de l'IA et fondateur de Robust.AI, a publié un article "Deep Learning Hits a Wall" en mars de cette année. Il estime que l'apprentissage profond pur de bout en bout est presque arrivé à son terme. fin, et l'ensemble du domaine de l'IA doit trouver une nouvelle issue. Plus tard, Hinton et LeCun ont réfuté son point de vue, ce qui a déclenché des discussions animées au sein du cercle.

Bien que les voix des critiques continuent, elles ne peuvent nier que des applications critiques telles que la vision par ordinateur et le langage ont fait de grands progrès. Des milliers d'entreprises ont également constaté la puissance du deep learning et ont obtenu des résultats remarquables dans les moteurs de recommandation, les logiciels de traduction, les chatbots, etc.

Nous sommes en 2022. Lorsque l’on revient sur la dernière décennie d’IA en plein essor, que pouvons-nous apprendre des progrès de l’apprentissage profond ? Cette technologie transformatrice qui change le monde sera-t-elle meilleure ou va-t-elle se dégrader à l’avenir ? Hinton, LeCun, Li Feifei et d'autres ont exprimé leurs opinions à ce sujet.

En 2012, la révolution du deep learning a commencé

Hinton a toujours cru à l'arrivée de la révolution du deep learning. En 1986, l'article de Hinton et al. « Apprendre les représentations par des erreurs de rétropropagation » proposait un algorithme de rétropropagation pour former des réseaux neuronaux multicouches, et il croyait fermement que c'était l'avenir de l'intelligence artificielle. Plus tard, LeCun, pionnier de l’utilisation de la rétropropagation et des réseaux neuronaux convolutifs en 1989, a accepté.

Hinton et LeCun et d'autres pensent que les architectures d'apprentissage profond telles que les réseaux neuronaux multicouches peuvent être appliquées à des domaines tels que la vision par ordinateur, la reconnaissance vocale, le traitement du langage naturel et la traduction automatique, et produire des résultats qui rivalisent, voire dépassent les humains. experts. Dans le même temps, Li Feifei a également avancé son hypothèse fermement convaincue selon laquelle tant que l'algorithme sera correct, l'ensemble de données ImageNet deviendra la clé pour faire progresser la recherche sur la vision par ordinateur et l'apprentissage profond.

En 2012, l'article « ImageNet Classification with Deep Convolutional Neural Networks » d'Alex Krizhevsky, Ilya Sutskever et Hinton a été publié. Ils ont utilisé l'ensemble de données ImageNet pour créer l'architecture de réseau neuronal AlexNet que tout le monde connaît très bien aujourd'hui, et. a remporté le champion du concours ImageNet cette année-là. Cette architecture révolutionnaire à l’époque était bien plus précise pour classer différentes images que les méthodes précédentes.

Adresse papier : https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

On peut dire que cette recherche a été directement contribuée par le support de l'ensemble de données ImageNet et plus puissant Matériel GPU Les principales réussites de l'IA de la prochaine décennie, telles que Google Photos, Google Translate, Amazon Alexa, OpenAI DALL-E et DeepMind AlphaFold, etc.

En 2012, lors du lancement d'AlexNet, d'autres personnes et institutions ont commencé à se tourner vers le domaine de la recherche sur l'apprentissage profond. Le Google

Parallèlement, Jeffrey Dean et Andrew Ng réalisent également un travail révolutionnaire dans le domaine de la reconnaissance d'images à grande échelle. L'article CVPR 2012 de Dan Ciregan et al. améliore considérablement les performances de pointe des réseaux neuronaux convolutifs sur plusieurs ensembles de données d'images.

Adresse papier : https://arxiv.org/pdf/1202.2745.pdf

Au total, en 2013, « presque toutes les recherches en vision par ordinateur se sont tournées vers les réseaux de neurones », a déclaré Hinton, qui a commencé avec Depuis, je partage mon temps entre Google Research et l'Université de Toronto. Il a ajouté qu'il y a eu presque une révolution dans le domaine de l'intelligence artificielle depuis 2007 et qu'à l'époque, "il n'aurait même pas été approprié de publier deux articles sur l'apprentissage profond lors d'une seule conférence".

Dix ans de progrès dans l'apprentissage profond

Li Feifei a déclaré qu'elle était profondément impliquée dans la percée de l'apprentissage profond - en annonçant personnellement le gagnant du concours ImageNet lors de la conférence de Florence 2012 en Italie - et que les gens ont reconnu l'importance de à ce moment-là. Pas surprenant.

"ImageNet est une vision qui a débuté en 2006 avec presque aucun soutien", a ajouté Li Feifei, ajoutant qu'elle a ensuite "porté ses fruits d'une manière historique et significative". développé à un rythme étonnant et avec une profondeur impressionnante.

«Certaines barrières sont éliminées à un rythme incroyable», a déclaré LeCun, citant les progrès dans la compréhension du langage naturel, la traduction par génération de texte et la synthèse d'images.

Les progrès dans certains domaines sont encore plus rapides que prévu. Pour Hinton, ces progrès incluent l’utilisation des réseaux neuronaux dans la traduction automatique, qui a fait d’énormes progrès en 2014. "Je pensais que cela prendrait plusieurs années", a-t-il déclaré.

Li Feifei a également admis que les progrès en matière de vision par ordinateur - tels que DALL-E - "sont plus rapides que je ne le pensais

Rejetant les critiques du Deep Learning

Cependant, tout le monde n'est pas d'accord avec le Deep Learning. Les progrès sont époustouflants". goutte. En novembre 2012, Gary Marcus a écrit un article pour le New Yorker, disant : « Pour paraphraser la vieille fable, Hinton construit une meilleure échelle, mais une meilleure échelle ne vous amène pas nécessairement sur la lune. »

Marcus. estime que l'apprentissage profond n'est pas plus proche de la « lune » qu'il y a dix ans, où la lune faisait référence à l'intelligence artificielle générale ou à l'intelligence artificielle au niveau humain.

"Bien sûr, il y a des progrès, mais pour aller sur la Lune, vous devez résoudre la compréhension causale ainsi que la compréhension et le raisonnement du langage naturel", a-t-il déclaré. "Il n'y a pas beaucoup de progrès dans ce domaine."

Marcus estime que les modèles hybrides combinant les réseaux de neurones avec l'IA symbolique (la branche de l'IA qui dominait le domaine avant l'essor du deep learning) sont la voie à suivre pour lutter contre les limites de l'IA symbolique. réseaux de neurones. Mais Hinton et LeCun ont tous deux rejeté les critiques de Marcus.

« L’apprentissage profond n’a pas heurté de mur – si vous regardez les progrès récents, c’est incroyable », a déclaré Hinton, bien qu’il ait reconnu que l’apprentissage profond est limité dans l’éventail de problèmes qu’il peut résoudre.

LeCun a ajouté : "Il n'y a pas de mur à heurter." "Je pense qu'il y a certains obstacles qui doivent être surmontés, et les solutions à ces obstacles ne sont pas tout à fait claires", a-t-il déclaré. "Mais je ne vois pas du tout un ralentissement des progrès... les progrès s'accélèrent."

Cependant, Bender n'est pas convaincu. "Dans une certaine mesure, ils parlent simplement de progrès dans la classification des images sur la base d'étiquettes fournies par des références comme ImageNet, et il semble qu'il y ait eu des avancées en 2012. Mais s'ils parlent de quelque chose de plus grand que cela, ce n'est pas la question. C'est du battage médiatique.

« Je pense que la capacité (puissance de calcul + algorithmes efficaces) à traiter de très grands ensembles de données dans des systèmes capables de générer du texte et des images synthétiques nous a fait dérailler de plusieurs manières », a-t-elle déclaré. Par exemple, les gens semblent être coincés dans un cycle : ils trouvent que le modèle est biaisé et proposent d’essayer de supprimer le biais, mais le résultat accepté est qu’il n’existe pas d’ensemble de données ou de modèle complètement débiaisé.

En outre, elle a déclaré qu'elle souhaitait voir le domaine soumis à de véritables normes de responsabilité, que ce soit pour les tests dans le monde réel ou la sécurité des produits. « Pour cela, nous avons besoin que le grand public comprenne et comment voir à travers le battage médiatique de l'IA. "

Cependant, LeCun a noté qu'il s'agit de questions complexes et importantes que les gens ont tendance à simplifier, et que de nombreuses personnes " ont des hypothèses malveillantes ". Il insiste sur le fait que la plupart des entreprises « veulent réellement faire ce qui est juste ».

De plus, il s'est également plaint de ceux qui ne sont pas impliqués dans la technologie et la recherche sur l'intelligence artificielle. "C'est tout un écosystème, mais certaines personnes tirent depuis les tribunes", a-t-il déclaré, "essentiellement pour attirer l'attention."

Le débat sur l'apprentissage profond va certainement continuer

Même si le débat semble intense, Li Feifei a souligné que tout cela fait partie de la science. "La science n'est pas la vérité, la science est un voyage pour rechercher la vérité. C'est un voyage de découverte et d'amélioration - donc le débat, la critique, la célébration en font partie.

Cependant, certains débats et critiques ont fait ressentir à Li Feifei" un peu artificiel", qu'il s'agisse de dire que l'IA est fausse ou que l'AGI arrive, ce sont des cas extrêmes. "Je pense qu'il s'agit d'une version relativement populaire d'un débat scientifique plus profond, plus nuancé et plus dimensionnel."

Bien sûr, Li Feifei a souligné qu'au cours de la dernière décennie, les progrès de l'intelligence artificielle ont augmenté. a été décevant – – et ce n’est pas toujours une question de technologie.

L'avenir de l'intelligence artificielle et de l'apprentissage profond

LeCun a reconnu que certains défis de l'IA dans lesquels les gens ont investi des ressources importantes n'ont pas encore été résolus, comme la conduite autonome. "Je dirais que d'autres en sous-estiment la complexité", a-t-il déclaré, ajoutant qu'il ne se mettait pas dans cette catégorie.

"Je sais que c'est dur et que ça va prendre beaucoup de temps", a-t-il affirmé. "Je ne suis pas d'accord avec certaines personnes qui disent que nous avons tout compris... il s'agit simplement d'agrandir ces modèles."

En fait, LeCun a récemment publié un guide pour créer une "intelligence artificielle autonome", qui montre également qu'il estime que les méthodes actuelles d'intelligence artificielle ne sont pas capables d'atteindre une intelligence artificielle au niveau humain.

Mais il voit également l'énorme potentiel de l'apprentissage profond à l'avenir, affirmant qu'il est très enthousiaste à l'idée de faire en sorte que les machines apprennent plus efficacement et davantage comme les animaux et les humains.

LeCun a déclaré que pour lui, la plus grande question est de savoir quels sont les principes de base de l'apprentissage des animaux, ce qui est l'une des raisons pour lesquelles il préconise des choses comme l'apprentissage auto-supervisé.

"Ces progrès nous permettront de construire des choses qui sont actuellement hors de portée, comme des systèmes intelligents qui peuvent alimenter notre vie quotidienne comme s'il s'agissait d'assistants humains. C'est quelque chose dont nous aurons besoin car tout le monde mettra des lunettes AR, nous devra interagir avec eux."

Hinton convient que de plus en plus de progrès sont réalisés dans le domaine de l'apprentissage profond. En plus des progrès en robotique, il pense également qu'il y aura une autre avancée dans l'infrastructure informatique des réseaux neuronaux, car les installations actuelles n'effectuent des calculs numériques qu'avec des accélérateurs qui sont très efficaces pour réaliser des multiplicateurs matriciels. Pour la rétropropagation, a-t-il expliqué, les signaux analogiques doivent être convertis en signaux numériques.

« Nous trouverons des alternatives à la rétropropagation qui fonctionnent dans le matériel analogique », a-t-il déclaré. "Je crois fermement qu'à long terme, presque tous nos calculs seront effectués par simulation."

Li Feifei estime que la chose la plus importante pour l'avenir du deep learning est la communication et l'éducation. « À Stanford HAI, nous dépensons en fait une quantité disproportionnée d'énergie à contacter les chefs d'entreprise, le gouvernement, les décideurs politiques, les médias, les reporters et la société dans son ensemble et à créer des symposiums, des conférences, des ateliers, à publier des notes d'orientation, des briefings industriels. »

Avec une technologie aussi nouvelle, Li Feifei craint que le manque de connaissances de base ne contribue pas à transmettre une description plus nuancée et réfléchie de cette époque.

Comment on se souviendra de 10 ans d'apprentissage profond

Pour Hinton, l'apprentissage profond a connu un succès inimaginable au cours de la dernière décennie, mais il a également souligné que ces énormes progrès devraient être attribués aux "avancées matérielles" de l'informatique".

Marcus est le personnage d'un critique qui estime que même si l'apprentissage profond a fait des progrès, cela peut apparaître plus tard comme un malheur.

"Je pense que les gens de 2050 commenceront à examiner ces systèmes en 2022 et diront : oui, ils sont courageux, mais ils ne fonctionnent pas vraiment."

Mais Li Feifei espère que la dernière décennie restera dans les mémoires comme " le début de la grande révolution numérique : "Cela rend la vie et le travail meilleurs pour tout le monde, pas seulement pour quelques-uns ou une partie de l'humanité."

Elle a également ajouté qu'en tant que scientifique, "je ne penserai jamais que l'apprentissage profond d'aujourd'hui C'est la fin de l'exploration de l'intelligence artificielle."

Sur le plan social, elle a dit espérer voir l'intelligence artificielle comme "un outil technologique incroyable qui est développé et développé de la manière la plus centrée sur l'humain. impact considérable de cet outil et adopter un cadre de pensée centré sur l'humain lors de la conception et du déploiement de l'intelligence artificielle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!