Choquez la communauté scientifique ! Les recherches de 154 pages de Microsoft inondent l'écran : les capacités de GPT-4 sont proches de celles des humains, et « Skynet » est en train d'émerger ?

GPT-4 évoluera-t-il vers l'intelligence artificielle générale ?

Yann LeCun, scientifique en chef de l'intelligence artificielle du Meta et lauréat du prix Turing, a exprimé des doutes à ce sujet.

À son avis, les grands modèles nécessitent trop de données et de puissance de calcul, mais l'efficacité de l'apprentissage n'est pas élevée. Par conséquent, l'apprentissage du « modèle mondial » peut conduire à l'AGI.

Cependant, le document de 154 pages récemment publié par Microsoft semble être une gifle.

Dans cet article intitulé "Sparks of Artificial General Intelligence: Early experimentals with GPT-4", Microsoft estime que bien qu'il ne soit pas complet, GPT-4 peut déjà être considéré comme une première version générale de intelligence artificielle.

Adresse papier : https://arxiv.org/pdf/2303.12712.pdf

Compte tenu de l'étendue et de la profondeur des capacités de GPT-4, nous pensons qu'il devrait raisonnablement être considéré comme un Une première version (mais encore incomplète) d’un système d’intelligence générale artificielle (AGI).

L'objectif principal de cet article est d'explorer les capacités et les limites de GPT-4. Nous pensons que l'intelligence de GPT-4 marque un véritable changement de paradigme en informatique et au-delà.

Les agents intelligents d’AGI sont désormais capables de penser et de raisonner comme les humains, et sont également capables de couvrir un large éventail de compétences et d’aptitudes cognitives.

Dans le document, il est souligné que AGI a la capacité de raisonner, de planifier, de résoudre des problèmes, de penser abstraitement, de comprendre des idées complexes, d'apprendre rapidement et d'apprendre par l'expérience .

En termes d'échelle de paramètres, Semafor a rapporté que GPT-4 possède 1 billion de paramètres, soit 6 fois plus grand que GPT-3 (175 milliards de paramètres).

Les internautes ont utilisé l'analogie des neurones cérébraux avec l'échelle des paramètres GPT :

L'échelle du GPT-3 est similaire à celle d'un cerveau de hérisson (175 milliards de paramètres). Si GPT-4 avait 1 000 milliards de paramètres, nous approcherions de la taille d’un cerveau d’écureuil. Si nous continuons à nous développer à ce rythme, il ne faudra peut-être que quelques années avant que nous puissions atteindre et dépasser la taille du cerveau humain (170 000 milliards de paramètres).

De ce point de vue, GPT-4 n'est pas loin de devenir "Skynet".

Et ce document a également révélé beaucoup de choses intéressantes.

Peu de temps après la publication du document, un internaute a révélé sur Twitter que des informations cachées avaient été trouvées dans leur code source latex.

Dans la version intégrale de l'article, GPT-4 est en fait également le troisième auteur caché de l'article , avec le nom interne DV-3, qui a ensuite été supprimé.

Fait intéressant, même les chercheurs de Microsoft ne connaissent pas les détails techniques de GPT-4. De plus, ce document supprime également le contenu toxique généré par GPT-4 sans aucune invite.

GPT-4 commence à prendre forme en tant qu'AGI

L'objet de recherche de cet article est une première version de GPT-4. Alors qu’il en était encore à ses premiers stades de développement, les chercheurs de Microsoft ont mené diverses expériences et évaluations à son sujet.

De l'avis des chercheurs, cette première version de GPT-4 est déjà représentative de la nouvelle génération de LLM, et elle fait preuve d'une intelligence plus générale que les modèles d'intelligence artificielle précédents.

Grâce à des tests, les chercheurs de Microsoft ont confirmé que GPT-4 maîtrise non seulement le langage, mais peut également bien performer dans des tâches diverses et difficiles telles que les mathématiques, la programmation, la vision, la médecine, le droit et la psychologie, et non rappel spécial requis.

Étonnamment, dans toutes ces tâches, les performances de GPT-4 sont proches du niveau humain et dépassent souvent les modèles précédents, tels que ChatGPT.

Par conséquent, les chercheurs pensent que GPT-4 peut être considéré comme une première version de l'intelligence générale artificielle (AGI) compte tenu de l'étendue et de la profondeur de ses capacités.

Alors, quels sont les défis sur la voie d’une AGI plus profonde et plus complète ? Les chercheurs pensent qu'il pourrait être nécessaire de rechercher un nouveau paradigme allant au-delà de « prédire le prochain mot ».

L'évaluation suivante des capacités de GPT-4 est l'argument avancé par les chercheurs de Microsoft selon lequel GPT-4 est une première version d'AGI.

Capacités multimodales et interdisciplinaires

Depuis la sortie de GPT-4, l'impression de chacun sur ses capacités multimodales reste toujours sur la vidéo démontrée par Greg Brockman à l'époque.

Dans la deuxième section de cet article, Microsoft a d'abord présenté ses capacités multimodales.

GPT-4 démontre non seulement une grande compétence dans divers domaines tels que la littérature, la médecine, le droit, les mathématiques, les sciences physiques et la programmation, mais il est également capable d'unifier les compétences et les concepts dans plusieurs domaines et de comprendre sa complexité. notions.

Capacités complètes

Les chercheurs ont utilisé les 4 exemples suivants pour démontrer les performances de GPT-4 en termes de capacités complètes.

Dans le premier exemple, pour tester la capacité de GPT-4 à combiner art et programmation, les chercheurs ont demandé à GPT-4 de générer du code javascript pour générer des images aléatoires à la manière du peintre Kandinsky.

Le processus de code pour GPT-4 est le suivant :

En termes de combinaison de littérature et de mathématiques, GPT-4 peut prouver qu'il existe une infinité de nombres premiers dans le style littéraire de Shakespeare .

De plus, l'étude a testé la capacité de GPT-4 à combiner connaissances historiques et physiques en lui demandant d'écrire une lettre soutenant la candidature d'Electron à la présidence des États-Unis, écrite par l'épouse du Mahatma Gandhi.

Inviter GPT-4 à générer du code python pour un programme qui prend en entrée un vecteur de l'âge, du sexe, du poids, de la taille et des résultats de tests sanguins d'un patient, et indique si le patient présente un risque accru de diabète .

Grâce aux tests, les exemples ci-dessus montrent que GPT-4 est non seulement capable d'apprendre certains principes et modèles communs dans différents domaines et styles, mais également de les combiner de manière créative.

Visuel

Lorsque GPT-4 est invité à utiliser des graphiques vectoriels évolutifs (SVG) pour générer des images d'objets, tels que des chats, des camions ou des lettres, le code généré par le modèle est généralement compile en images assez détaillées et reconnaissables comme celle ci-dessous :

Cependant, beaucoup de gens peuvent penser que GPT-4 a simplement copié le code des données d'entraînement, qui contiennent des images similaires.

En fait, GPT-4 a non seulement copié le code d'exemples similaires dans les données de formation, mais a également été capable de gérer de véritables tâches de vision même s'il n'était formé que sur du texte.

Comme indiqué ci-dessous, le modèle d'invite dessine une personne en combinant les formes des lettres Y, O et H.

Au cours du processus de génération, les chercheurs ont utilisé les commandes draw-line et draw-circle pour créer les lettres O, H et Y, puis GPT-4 a réussi à les placer dans ce qui semble être un humanoïde. image .

Bien que GPT-4 n'ait pas été formé à la reconnaissance des formes de lettres, on peut toujours en déduire que la lettre Y peut ressembler à un torse avec les bras pointés vers le haut.

Dans la deuxième démonstration, GPT-4 a été invité à corriger les proportions du torse et des bras et à centrer la tête. Demandez enfin au modèle d'ajouter une chemise et un pantalon.

Il semble que GPT-4 ait vaguement appris que les lettres sont liées à certaines formes spécifiques à partir de données d'entraînement pertinentes, et les résultats sont toujours bons.

Pour tester davantage la capacité de GPT-4 à générer et manipuler des images, nous avons testé dans quelle mesure il suivait des instructions détaillées pour créer et modifier des graphiques. Cette tâche requiert non seulement des capacités génératives mais aussi interprétatives, combinatoires et spatiales.

La première commande consiste à laisser GPT-4 générer une image 2D. L'invite est la suivante :

"Une grenouille saute dans une banque et demande au caissier : 'Avez-vous des nénuphars gratuits. ' Le caissier répond : 'Non, mais nous proposons des prêts à faible taux d'intérêt pour l'amélioration des étangs》

Grâce à de nombreuses tentatives, GPT-4 a généré des images qui correspondent à la description à chaque fois. Ensuite, GPT-4 a été invité à ajouter plus de détails pour améliorer la qualité graphique. GPT-4 a ajouté des objets réalistes tels que des banques, des fenêtres et des voitures.

Notre deuxième exemple consiste à essayer d'utiliser Javascript pour générer un modèle 3D, qui accomplit également de nombreuses tâches grâce aux instructions GPT-4.

De plus, GPT-4 peut combiner les capacités de Stable Difusion dans la génération de croquis.

L'image ci-dessous est une capture d'écran de la modélisation d'une ville en 3D. L'invite de saisie présente une rivière qui coule de gauche à droite, un désert avec des pyramides construites à côté de la rivière et 4 boutons en bas de l'écran. les couleurs sont le vert, le bleu, le marron et le rouge. Les résultats générés sont les suivants :

Musique

Les chercheurs ont demandé à GPT-4 de générer et de modifier des morceaux avec un encodage de notation ABC, comme suit :

En explorant GPT Autant de compétences que le -4 acquises lors de la formation, les chercheurs ont découvert que GPT-4 était capable de produire des mélodies efficaces en notation ABC et d'interpréter et de manipuler la structure qu'elle contient dans une certaine mesure.

Cependant, les chercheurs n'ont pas réussi à faire en sorte que GPT-4 produise des formes harmoniques non triviales, telles que des mélodies célèbres telles que "Ode to Joy" et "Für Elise".

Capacité de programmation

De plus, les chercheurs ont également démontré que GPT-4 est capable de coder à un très haut niveau, à la fois en termes d'écriture de code selon les instructions et de compréhension du code existant.

En termes d'écriture de code selon les instructions, les chercheurs ont démontré un exemple de laisser GPT-4 écrire des fonctions python.

Une fois le code généré, les chercheurs utilisent la plateforme d'entretiens en génie logiciel LeetCode pour juger en ligne si le code est correct.

Tout le monde discute du fait que l'exactitude de LeetCode n'est que de 20 %. Yi Zhang, l'auteur de l'article, a réfuté cela.

De plus, il a également été demandé à GPT-4 de visualiser les données de précision de LeetCode dans le tableau ci-dessus sous forme de graphique, et les résultats sont tels qu'indiqués dans la figure.

GPT-4 peut non seulement effectuer un travail de programmation ordinaire, mais également être compétent dans le développement de jeux 3D complexes.

Les chercheurs ont demandé à GPT-4 d'écrire un jeu 3D en HTML à l'aide de JavaScript. GPT-4 a généré un jeu répondant à toutes les exigences avec zéro échantillon.

En programmation d'apprentissage profond, GPT-4 nécessite non seulement des connaissances en mathématiques et en statistiques, mais nécessite également une familiarité avec des frameworks et des bibliothèques tels que PyTorch, TensorFlow et Keras.

Les chercheurs ont demandé à GPT-4 et ChatGPT d'écrire un module d'optimisation personnalisé et de lui fournir une description en langage naturel, qui comprenait une série d'opérations importantes, telles que l'application de SVD et plus encore.

En plus d'écrire du code selon les instructions, GPT-4 fait preuve d'une super capacité à comprendre le code.

Les chercheurs ont essayé de laisser GPT-4 et ChatGPT comprendre un programme C/C++ et prédire le résultat du programme. Les performances des deux sont les suivantes :

La zone marquée en jaune est. GPT-4 Point perspicace, et les marques rouges représentent l'endroit où ChatGPT s'est trompé.

Grâce au test de capacité de codage, les chercheurs ont découvert que GPT-4 peut gérer diverses tâches de codage, des défis de codage aux applications pratiques, de l'assemblage de bas niveau aux frameworks de haut niveau, des structures de données simples aux programmes complexes.

De plus, GPT-4 peut raisonner sur l'exécution de code, simuler les effets des instructions et expliquer les résultats en langage naturel. GPT-4 peut même exécuter du pseudocode.

Capacité mathématique

En termes de capacité mathématique, par rapport aux grands modèles de langage précédents, GPT-4 a fait un saut qualitatif. Même face au Minerva spécialement réglé, les performances ont été considérablement améliorées.

Cependant, on est encore loin du niveau expert.

Par exemple : La population de lapins augmentera d'une fois chaque année, et le dernier jour de l'année, les lapins b seront adoptés par les humains. Supposons qu’il y ait x lapins le premier jour de la première année. On sait que le nombre de lapins deviendra 27x-26 après 3 ans. Alors, quelles sont les valeurs de a et b ?

Afin de résoudre ce problème, nous devons d'abord trouver l'expression correcte de l'évolution du nombre de lapins chaque année, puis dériver un système d'équations à travers cette relation récursive pour obtenir la réponse.

Ici, GPT-4 est parvenu à trouver la solution et a présenté un argument raisonnable. En revanche, ChatGPT n’a jamais été en mesure de donner un raisonnement et des réponses corrects lors de plusieurs tentatives indépendantes.

Mathématiques avancées

Ensuite, passons directement au plus difficile. Par exemple, la question suivante provient de l'Olympiade mathématique internationale (OMI) 2022 (version simplifiée).

Cette question diffère de l'examen de calcul de premier cycle en ce sens qu'elle ne suit pas un modèle structuré. Résoudre ce problème nécessite une approche plus créative, car il n’existe pas de stratégie claire pour commencer la preuve.

Par exemple, la décision de diviser l'argument en deux cas (g(x) > x^2 et g(x)

Malgré cela, GPT-4 a quand même donné une preuve correcte.

La deuxième discussion sur les algorithmes et la théorie des graphes est comparable à un entretien de niveau supérieur.

À cet égard, GPT-4 est capable de raisonner sur une construction de graphe abstrait liée au problème de satisfaction de contraintes et d'en tirer des conclusions correctes sur le problème SAT (à notre connaissance, cette construction est en la littérature mathématique n'est pas parue).

Cette conversation reflète la compréhension profonde de GPT-4 des concepts mathématiques de premier cycle abordés, ainsi qu'un degré considérable de créativité.

Bien que GPT-4 ait écrit 2^n/2 sous la forme 2^n-1 dans une réponse, cela ressemble plus à ce que nous appelons communément une « erreur matérielle » car il a fourni plus tard la généralisation correcte de la formule.

De plus, les chercheurs ont comparé les performances de GPT-4, ChatGPT et Minerva sur deux ensembles de données mathématiques couramment utilisés comme benchmarks : GSM8K et MATH.

Les résultats ont montré que GPT4 a surpassé Minerva sur chaque ensemble de données et que la précision dans les deux ensembles de tests dépassait 80 %.

Examinons de plus près les raisons pour lesquelles GPT4 commet des erreurs. 68 % d'entre elles sont des erreurs de calcul, pas des erreurs de solution.

Interagir avec le monde

Une autre manifestation clé de l'intelligence est l'interactivité.

L'interactivité est importante pour l'intelligence car elle permet à un agent d'acquérir et d'appliquer des connaissances, de résoudre des problèmes, de s'adapter à des situations changeantes et d'atteindre des objectifs au-delà de ses propres capacités.

Ainsi, les chercheurs ont étudié l'interactivité de GPT-4 sous deux dimensions : l'utilisation de l'outil et l'interaction spécifique. GPT-4 peut rechercher des outils externes tels que des moteurs ou des API pour répondre à des questions telles que celles-ci.

Interagir avec les humains

Dans l'article, les chercheurs ont découvert que GPT-4 peut construire des modèles mentaux humains.

L'étude a conçu une série de tests pour évaluer les capacités de théorie de l'esprit de GPT-4, ChatGPT et text-davinci-003. Par exemple, pour comprendre la croyance, GPT-4 a réussi le test de fausse croyance de Sally-Anne en psychologie.

Teste également les performances de la capacité de GPT-4 à déduire l'état émotionnel des autres dans des situations complexes :

-Pourquoi Tom fait-il une expression triste ? - Selon Adam, qu'est-ce qui cause l'expression triste de Tom ?

Grâce à plusieurs séries de tests, les chercheurs ont découvert que lorsqu'il s'agit de déduire l'état mental des autres et de proposer des solutions cohérentes avec des scénarios sociaux réels, GPT-4 fonctionne mieux que ChatGPT et le texte. -davinci-003.

Limitations

Le modèle « prédire le mot suivant » utilisé par GPT-4 a des limites évidentes : le modèle manque de planification, de mémoire de travail, de capacités de retour en arrière et de capacités de raisonnement.

Étant donné que le modèle repose sur un processus gourmand local de génération du mot suivant sans générer une compréhension approfondie du contexte global de la tâche ou du résultat. Par conséquent, GPT-4 est efficace pour générer un texte fluide et cohérent, mais pas pour résoudre des problèmes complexes ou créatifs qui ne peuvent pas être traités de manière séquentielle.

Par exemple, utilisez quatre nombres aléatoires entre 0 et 9 pour effectuer des opérations de multiplication et d'addition. Sur ce problème que même les élèves du primaire peuvent résoudre, la précision de GPT-4 n’est que de 58 %.

Lorsque les nombres sont compris entre 10 et 19, et entre 20 et 39, la précision tombe respectivement à 16 % et 12 %. Lorsque le nombre est compris entre 99 et 199, la précision tombe directement à 0.

Cependant, si vous laissez GPT-4 "prendre le temps" de répondre aux questions, la précision peut facilement être améliorée. Par exemple, il est demandé au modèle d'écrire les étapes intermédiaires à l'aide des invites suivantes :

116 * 114 + 178 * 157 = ?

Réfléchissons étape par étape et notons toutes les étapes intermédiaires avant de générer la solution finale.

À l'heure actuelle, lorsque le nombre est compris entre 1 et 40, le taux de précision atteint 100 %, et lorsqu'il est compris entre 1 et 200, il atteint également 90 %.

Marcus a publié une réfutation

Fait intéressant, peu de temps après la publication de l'article de Microsoft, Marcus a immédiatement écrit un blog, qualifiant le point de vue de Microsoft de "très ridicule".

Et a cité une phrase de la Bible "L'orgueil précède la destruction, et un esprit hautain avant la chute. (Proverbes 16 :18)"

Comment GPT-4 peut-il compter ? AGI précoce ? De cette façon, la calculatrice compte aussi, et Eliza et Siri comptent encore plus. Cette définition est très vague et il est facile d’en profiter.

De l'avis de Marcus, GPT-4 n'a rien à voir avec l'AGI, et GPT-4 est le même qu'avant, les lacunes ne sont toujours pas résolues, l'illusion existe toujours, le manque de fiabilité des réponses n'a pas été résolu, même l'auteur lui-même. Ils admettent tous que leur capacité à planifier des tâches complexes n'est toujours pas suffisante.

Ce qui l'inquiète, ce sont les deux articles rédigés par OpenAI et Microsoft. Les modèles qu'ils ont rédigés n'ont pas été divulgués du tout, et ils ne se sont appuyés sur aucun ensemble de formation ni architecture. caractère scientifique.

Donc "une certaine forme d'AGI" revendiquée dans l'article n'existe pas, et la communauté scientifique ne peut pas du tout la vérifier, car les données d'entraînement ne peuvent pas être obtenues, et il semble que les données d'entraînement aient été contaminées. .

Ce qui est pire, c'est qu'OpenAI a commencé à intégrer des expériences utilisateur dans le corpus de formation lui-même. En confondant ainsi la situation, la communauté scientifique ne peut pas juger une capacité clé du GPT-4 : si le modèle a la capacité de généraliser de nouveaux cas de test.

Si OpenAI ne se mettait pas ici un chapeau scientifique, Marcus ne serait peut-être pas aussi critique à son égard.

Il a admis que GPT-4 est très puissant, mais que les risques sont également bien connus. Si OpenAI manque de transparence et refuse de rendre publics ses modèles, autant la fermer.

Une solide gamme d'auteurs

Microsoft dispose d'une solide gamme d'auteurs derrière cet article de 154 pages.

Dont : Sébastien Bubeck, chercheur principal à Microsoft Research Redmond et lauréat du Sloan Prize 2015, Ronen Eldan, lauréat du New Horizons Mathematics Prize 2023, Yin Tat Lee, lauréat du Sloan Research Prize 2020, Jin Li Yuanzhi, lauréat du prix de recherche Sloan.

Il convient de mentionner que le titre original de l'article défini par l'équipe Microsoft n'était pas « L'étincelle de l'intelligence artificielle générale : premières expériences avec GPT-4 ».

Le code latex divulgué dans le papier non coupé montre que le titre original était "Premier contact avec AGI".

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!