Le modèle peut-il être directement connecté à AGI tant qu'il « s'agrandit » ? Marcus bombardé à nouveau : Trois crises sont apparues !

En mai de cette année, DeepMind a lancé Gato, un système d'intelligence artificielle multimodale capable d'effectuer plus de 600 tâches différentes en même temps avec un seul ensemble de paramètres de modèle, ce qui a suscité de vives discussions sur l'intelligence artificielle générale (AGI) dans le monde. industrie.

Nando de Freitas, le directeur de recherche chez DeepMind, avait également tweeté à l'époque que l'IA pouvait être dépassée tant que l'échelle continuait d'augmenter !

Tout ce que nous avons à faire est de rendre le modèle plus grand, plus sûr, plus efficace sur le plan informatique, un échantillonnage plus rapide, un stockage plus intelligent, plus de modalités, innover sur les données, en ligne/hors ligne, etc.

L'AGI peut être atteint en résolvant les problèmes d'échelle. L'industrie doit accorder plus d'attention à ces problèmes !

Récemment, Gary Marcus, spécialiste bien connu de l'IA, fondateur et PDG de Robust.AI et professeur émérite à l'Université de New York, a publié un autre blog, arguant que cette déclaration est « trop tôt » et qu'une crise a commencé !

Marcus continue de prêter attention au développement de l'industrie de l'IA, mais critique le battage médiatique de l'IA. Il a exprimé des objections telles que "l'apprentissage profond heurte un mur" et "GPT-3 n'a absolument aucun sens".

Que dois-je faire si je ne peux pas jouer avec le grand modèle ?

Nando estime que l'intelligence artificielle ne nécessite pas de changement de paradigme, elle nécessite seulement plus de données, une plus grande efficacité et des serveurs plus grands.

Marcus a paraphrasé cette hypothèse ainsi : Sans nouvelle innovation fondamentale, l'AGI pourrait émerger de modèles à plus grande échelle. Cette hypothèse peut également être appelée mise à l'échelle über-alles.

Son hypothèse, maintenant souvent appelée maximalisme de mise à l'échelle, est toujours très populaire, en grande partie parce que les modèles de plus en plus grands sont en effet très puissants et que des tâches telles que la génération d'images nécessitent l'aide de grands modèles.

Mais ce n’est que jusqu’à présent.

Le problème est que certaines des technologies qui ont été améliorées au fil des mois, voire des années, sont en réalité loin d'avoir l'échelle dont nous avons besoin.

Il existe de plus en plus de schémas de Ponzi. L'avantage de performance apporté par l'échelle n'est que le résultat d'une observation empirique et ne peut pas être garanti comme étant correct.

Marcus partage trois signes récents qui pourraient indiquer la fin de l'hypothèse de maximisation d'échelle.

1. Il n'y a peut-être pas suffisamment de volume de données dans le monde pour prendre en charge une échelle maximale.

Beaucoup de gens ont commencé à s’inquiéter à ce sujet.

Les chercheurs William Merrill, Alex Warstadt et Tal Linzen de l'Université de New York et de l'ETH Zurich ont récemment proposé une preuve selon laquelle "les modèles de langage neuronal actuels ne sont pas bien adaptés pour extraire la sémantique du langage naturel sans de grandes quantités de données".

Lien papier : https://arxiv.org/pdf/2209.12407.pdf

Bien que cette preuve contienne trop de présupposés pour être utilisée comme preuve de réfutation, mais si cette hypothèse s'en rapproche, et il pourrait y avoir de véritables problèmes à grande échelle très rapidement.

2. Il n'y a peut-être pas suffisamment de ressources informatiques disponibles dans le monde pour prendre en charge une échelle maximale.

Miguel Solano a récemment envoyé à Marcus un manuscrit co-écrit. L'auteur estime qu'atteindre les super standards actuels tels que BIG-bench nécessitera de consommer un quart de la consommation électrique des États-Unis en 2022.

Lien du référentiel :​​https://www.php.cn/link/e21bd8ab999859f3642d2227e682e66f​​

BIG-bench est un ensemble de données de référence participatif conçu pour explorer de grands modèles de langage et les déduire des capacités futures, qui comprennent plus de 200 missions.

3. Certaines tâches importantes peuvent tout simplement ne pas évoluer.

L'exemple le plus évident est un récent travail de linguistique de Ruis, Khan, Biderman, Hooker, Rocktäschl et Grefenstette, qui ont étudié la signification pragmatique du langage.

Par exemple, pour la question « Avez-vous laissé des empreintes digitales ? », la réponse reçue peut être « Je portais des gants », dont la signification sémantique est « non ».

Comme Marcus le soutient depuis longtemps, il est vraiment difficile de sensibiliser un modèle à cela sans modèles cognitifs et sans bon sens.

L'échelle ne joue pratiquement aucun rôle dans ce type de tâche. Même le meilleur modèle n'a qu'une précision de 80,6 %. Pour la plupart des modèles, l'effet d'échelle est au mieux négligeable.

Et vous pouvez facilement imaginer une version plus complexe de cette tâche, où les performances du modèle seront encore plus dégradées.

Ce qui a encore plus frappé Marcus, c'est que même pour une seule tâche importante comme celle-ci, une performance d'environ 80 % peut signifier qu'un jeu à grande échelle ne peut pas continuer à être joué.

Si le modèle n'apprend que la syntaxe et la sémantique, mais échoue dans un raisonnement pragmatique ou de bon sens, alors vous n'obtiendrez peut-être pas du tout une AGI digne de confiance

La "loi de Moore" ne nous mène pas aussi loin que prévu initialement. Jusqu'ici, si vite , parce que ce n’est pas la loi de cause à effet dans l’univers et qu’elle sera toujours vraie.

Maximiser l'échelle n'est qu'une hypothèse intéressante. Elle ne nous permettra pas d'atteindre l'intelligence artificielle générale. Par exemple, résoudre les trois problèmes ci-dessus nous obligera à faire un changement de paradigme.

L'internaute Frank van der Velde a déclaré que les abonnés qui maximisent l'échelle ont tendance à utiliser des termes vagues comme « grand » et « plus ».

Les données d'entraînement utilisées par les modèles d'apprentissage profond sont trop volumineuses par rapport aux données d'entraînement utilisées par les humains dans l'apprentissage des langues.

Mais comparées à la véritable collection sémantique du langage humain, ces données dites massives sont encore insignifiantes. Il faudrait environ 10 milliards de personnes pour générer une phrase par seconde, et il faudrait 300 ans pour obtenir une telle échelle. ensemble de formation.

Netizen Rebel Science a même dit sans ambages que maximiser l'échelle n'est pas une hypothèse intéressante, mais une hypothèse stupide. Elle perdra non seulement sur la piste de l'IA, mais mourra également d'une manière laide.

Maximiser l'échelle est trop extrême

Raphaël Millière, maître de conférences au Département de philosophie de l'Université de Columbia et titulaire d'un doctorat à l'Université d'Oxford, a également exprimé certaines de ses propres opinions lorsque la bataille pour « maximiser l'échelle » était à son paroxysme.

La maximisation de l'échelle était autrefois considérée comme le point central des critiques de l'apprentissage profond (tels que Gary Marcus), et lorsque des initiés de l'industrie tels que Nando de Freitas et Alex Dimakis se sont joints au débat, les deux parties étaient en désaccord.

Les réactions des praticiens sont pour la plupart mitigées, mais pas trop négatives. Dans le même temps, la date prévisionnelle de mise en œuvre de l'AGI sur la plateforme de prédiction Metaculus a été avancée à un plus bas historique (mai 2028), ce qui pourrait également accroître la crédibilité de la maximisation. Dépenser.

La confiance croissante des gens dans « l’échelle » peut être due à la sortie de nouveaux modèles, tels que le succès de PaLM, DALL-E 2, Flamingo et Gato, qui ont alimenté le feu de la maximisation de l’échelle.

La « Leçon amère » de Sutton soulève de nombreux points dans la discussion sur la maximisation de l'échelle, mais ils ne sont pas complètement équivalents. Il estime que l'intégration des connaissances humaines dans des modèles d'intelligence artificielle (tels que l'ingénierie des fonctionnalités) est moins efficace que l'exploitation des données et du calcul. apprendre efficacement.

Lien de l'article : http://www.incompleteideas.net/IncIdeas/BitterLesson.html

Bien que non sans controverse, le point de vue de Sutton semble être nettement moins radical que la maximisation de l'échelle.

Cela souligne l’importance de l’échelle, mais cela ne réduit pas tous les problèmes de la recherche en IA à un simple défi d’échelle.

En fait, il est difficile de déterminer la signification spécifique de la maximisation de l'échelle. Au sens littéral, « La mise à l'échelle est tout ce dont vous avez besoin » indique que nous pouvons mettre en œuvre l'AGI sans aucune innovation algorithmique ni modification architecturale, et que nous pouvons étendre les modèles existants et forcer davantage de données. à saisir.

Cette explication littérale semble ridicule : même des modèles comme Palm, DALL-E 2, Flamingo ou Gato nécessitent encore des modifications architecturales par rapport aux approches précédentes.

Il serait vraiment surprenant que quelqu'un pense réellement que nous pourrions étendre un transformateur autorégressif disponible dans le commerce à AGI.

On ne sait pas exactement dans quelle mesure les personnes qui croient en la maximisation de l’échelle estiment que l’AGI a besoin d’innovation algorithmique, ce qui rend également difficile la génération de prédictions falsifiables de ce point de vue.

La mise à l'échelle peut être une condition nécessaire pour construire tout système méritant le label « intelligence artificielle générale », mais nous ne devons pas confondre la nécessité avec une condition suffisante.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!