Le monstre des performances viendra-t-il après ChatGPT ? Les 7 prédictions « sombres » de Marcus : GPT-4 n’apportera pas d’AGI

Alors que 2022 touche à sa fin, OpenAI a lancé un chatbot appelé ChatGPT, qui est rapidement devenu populaire sur Internet.

Moins de deux semaines après le lancement, plus d'un million de personnes se sont inscrites pour un essai en ligne. Les utilisateurs peuvent simplement saisir du texte et accéder instantanément à d'incroyables passages d'articles, d'histoires et de poèmes.

C'est si bien écrit que certaines personnes l'utilisent pour écrire des lignes d'ouverture de rendez-vous sur Tinder (« Ça vous dérange si je m'assois ici ? La façon dont vous faites des poussées de hanche rend mes jambes un peu faibles. »)

Non seulement cela, mais au grand choc des éducateurs du monde entier, les étudiants ont commencé à utiliser ChatGPT pour rédiger leurs devoirs. D’autres l’utilisent pour tenter de réinventer les moteurs de recherche. Soudain, le monde entier discutait de la magie de ChatGPT.

Pourtant, Marcus dit que nous ne pouvons pas mettre un filtre trop épais sur nos chatbots.

Bien que ChatGPT semble tout savoir, il est également sujet aux erreurs. Dans une interview, Marcus a déclaré que ChatGPT est le même qu'avant et que le système associé "n'est toujours pas fiable, ne comprend toujours pas le monde réel, ne comprend toujours pas le monde psychologique et est toujours plein de bugs ".

En d'autres termes, ChatGPT est souvent inventé ; une grande partie de ce qu'il dit n'est pas vrai du tout.

Par exemple, sous la direction des utilisateurs, ChatGPT peut affirmer que les bâtonnets de pâte frits sont très adaptés à la chirurgie car « leur petite taille permet une plus grande précision et un plus grand contrôle pendant l'opération, réduisant le risque de complications et améliorant l'ensemble. résultat de l'opération."

Le chatbot débite des bêtises si sérieusement que le célèbre site Stack Overflow a temporairement interdit les réponses générées par ordinateur.

Et les erreurs sont infinies. Bien que ChatGPT soit souvent ajusté en fonction des commentaires des utilisateurs, de nombreux internautes restent sans voix face à ses réponses quelques semaines seulement après la sortie du produit :

Des erreurs similaires se produisent fréquemment, même le PDG d'OpenAI, Sam Altman, a également dû admettre que réalité :

ChatGPT a encore de nombreuses limites, mais cela suffit à créer l'illusion de grandeur.

Il est trop tôt pour compter sur ChatGPT pour accomplir des tâches importantes. Il nous reste encore beaucoup à faire pour améliorer la robustesse et l’authenticité.

En bref, même si ChatGPT semble aussi science-fiction que l'ordinateur de Star Trek, à l'heure actuelle, les gens ne peuvent pas lui faire entièrement confiance.

Bien sûr, ChatGPT est un cadeau pour les amateurs d'IA en 2022. Et 2023 ?

En 2023, ce que la Silicon Valley et le monde entier attendent avec impatience, c'est GPT-4. ​

GPT-4 : "L'étoile violette vue du ciel" dans le monde de l'IA

Les personnes qui ont réellement essayé GPT-4 sont profondément impressionnées par ce produit. Selon certaines rumeurs, GPT-4 sortirait au printemps 2023. D’ici là, il éclipsera ChatGPT, c’est sûr, et davantage de gens en parleront.

À bien des égards, les attentes des gens à l'égard de GPT-4 sont très élevées :

Nick Davidov, fondateur de la société de capital-risque DVC, a déclaré : L'émergence de GPT-4 apportera " et un choc économique similaire à l’épidémie de COVID-19. » La diffusion et l'utilisation rapides du GPT-4 peuvent « augmenter rapidement la productivité de centaines de millions de travailleurs du savoir ».

Techniquement parlant, GPT-4 aura plus de paramètres à l'intérieur, plus de processeurs et de mémoire, et sera entraîné avec plus de données.

GPT-1 a été entraîné avec 4,6 Go de données, et par GPT-3, la quantité de données a grimpé directement à 750 Go. On peut voir que le volume de formation de GPT-4 sera encore plus étonnant, et qu'il apprendra même la majeure partie d'Internet.

OpenAI sait qu'un plus grand volume d'entraînement signifie un meilleur rendement. À chaque itération, GPT devient de plus en plus humain dans ses performances. Pour GPT-4, il pourrait évoluer vers un monstre de performances.

Mais cela résoudra-t-il les problèmes rencontrés auparavant ? Marcus a encore des questions à ce sujet.

Bien que GPT-4 semble certainement plus intelligent que son prédécesseur, son architecture interne pose encore des problèmes.

Marcus a dit qu'il soupçonnait que les gens auraient un sentiment de déjà-vu en ce qui concerne GPT-4 : d'abord, il est devenu populaire partout sur Internet, puis après quelques jours, les gens ont découvert que de nombreux problèmes persistaient existait.

Selon les informations actuelles, GPT-4 est fondamentalement le même que GPT-3 en termes d'architecture. Si tel est le cas, on peut s’attendre à ce que certains problèmes fondamentaux restent non résolus : les chatbots ne disposent toujours pas d’un modèle interne du fonctionnement du monde.

Par conséquent, GPT-4 ne peut pas comprendre les choses à un niveau abstrait. Il est peut-être plus efficace pour aider les étudiants à rédiger des dissertations, mais il ne comprendra toujours pas vraiment le monde et les caractéristiques de la machine seront toujours révélées entre les lignes de ses réponses. ​

Sept prédictions majeures sur GPT-4

Ainsi, bien que la communauté de l'IA soit pleine de joie pour l'arrivée de GPT-4, Marcus a donné 7 prédictions moins positives.

​1. GPT-4 fera toujours toutes sortes d'erreurs stupides comme ses prédécesseurs. Il peut parfois bien accomplir une tâche donnée et parfois échouer, mais vous ne pouvez pas prédire à l'avance quelle situation se présentera.

2. GPT-4 n'est toujours pas fiable pour le raisonnement physique, psychologique et mathématique. Elle sera peut-être en mesure de résoudre certains projets qui n'ont pas réussi à être contestés auparavant, mais elle restera impuissante face à des scénarios plus longs et plus complexes.

Par exemple, lorsqu'on lui pose une question médicale, soit il refuse de répondre, soit il profère occasionnellement des bêtises qui semblent raisonnables mais qui sont dangereuses. Bien qu’il ait dévoré une grande quantité de contenu sur Internet, il n’est pas suffisamment fiable et complet pour fournir des conseils médicaux fiables.

3. Les hallucinations fluides resteront courantes et facilement induites. Cela dit, les grands modèles linguistiques restent un outil qui peut être facilement utilisé pour créer des informations qui semblent raisonnables mais qui sont complètement fausses.

4. La sortie en langage naturel de GPT-4 ne parvient toujours pas à servir les programmes en aval de manière fiable. Les développeurs qui l'utilisent pour créer des assistants virtuels se retrouveront incapables de mapper de manière fiable la langue de l'utilisateur à l'intention de l'utilisateur.

5. GPT-4 en lui-même ne sera pas une intelligence artificielle générale capable de résoudre n'importe quelle tâche. Sans aide extérieure, il ne peut ni vaincre Cicéron de Meta en Diplomatie ; ni conduire une voiture de manière fiable ; ni conduire Optimus Prime de "Transformers" ou Rosie de "The Jetsons".

6. Le « lien » entre « ce que veulent les humains » et « ce que font les machines » reste une question critique et non résolue. GPT-4 n’aura toujours aucun contrôle sur sa production, certaines recommandations seront étonnamment mauvaises et des exemples de biais masqués seront découverts d’ici quelques jours ou mois.

7. Lorsque l'AGI (Intelligence Générale Artificielle) sera réalisée, les grands modèles de langage comme GPT-4 pourraient faire partie de la solution finale, mais seulement une partie de celle-ci. Une simple « mise à l'échelle », c'est-à-dire la construction d'un modèle plus vaste jusqu'à ce qu'il absorbe la totalité de l'Internet, s'avérera utile dans une certaine mesure. Mais une intelligence artificielle générale, fiable et cohérente avec les valeurs humaines, viendra certainement de systèmes plus structurés. Il contiendra davantage de connaissances intégrées et comprendra des outils explicites de raisonnement et de planification. Tout cela fait défaut dans le système GPT actuel.

Marcus estime que d’ici une décennie, peut-être moins, l’IA passera de la mise à l’échelle de grands modèles de langage à l’intégration d’une gamme plus large de technologies.

Les trucs sympas sont toujours amusants, mais cela ne veut pas dire que cela peut nous conduire vers une intelligence artificielle générale crédible.

À cet égard, Marcus prédit que ce dont nous avons besoin à l'avenir, c'est d'une nouvelle architecture capable de prendre comme noyau des connaissances explicites et des modèles mondiaux. ​

Référence : https://garymarcus.substack.com/p/what-to-expect-when-youre-expecting

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!