Après avoir été fermé par le PDG d'OpenAI, Yann LeCun a de nouveau critiqué : la compréhension de la réalité par ChatGPT est très superficielle

La relation entre les grands patrons est parfois vraiment déroutante.

Hier, quelqu'un a découvert que le PDG d'OpenAI, Sam Altman, ne suivait plus Yann LeCun, scientifique en chef de l'intelligence artificielle de Meta, sur Twitter.

Il nous est difficile de déterminer l'heure précise à laquelle ce retrait s'est produit, mais nous pouvons essentiellement déterminer la cause de l'incident—— Il y a quelques jours, Yann LeCun était présent à un petit rassemblement en ligne de les médias et les dirigeants ont exprimé il y a quelque temps leur point de vue sur ChatGPT :

"En ce qui concerne la technologie sous-jacente, ChatGPT n'est pas particulièrement innovant ou révolutionnaire. De nombreux laboratoires de recherche utilisent la même technologie et effectuent le même travail. "

Dans le rapport de ZDNet "ChatGPT n'est 'pas particulièrement innovant' et 'rien de révolutionnaire', dit le scientifique en chef de l'IA de Meta", certains détails du discours de LeCun ont été révélés. Il y a des commentaires étonnants :

• "Par rapport à d'autres laboratoires, OpenAI n'a fait aucun progrès particulier."
• "L'architecture Transformer utilisée par ChatGPT est pré-entraînée de cette manière auto-supervisée. l'apprentissage supervisé est quelque chose que je préconise depuis longtemps, avant même l'arrivée d'OpenAI. Transformer est une invention de Google, et les travaux sur ce type de langage remontent à plusieurs décennies.
Dans ce cas, l'action de suppression de Sam Altman est également excusable.
Quatre heures après la découverte du "déblocage", Yann LeCun a mis à jour l'actualité et a de nouveau transmis un article ChatGPT "yin et yang":

Pourquoi un chatGPT d'une telle envergure peut-il le modèle de langage débite des bêtises ? Leur compréhension de la réalité est très superficielle

Certaines personnes ne sont pas d'accord : "ChatGPT est une source de connaissances approfondies et d'une formidable créativité, ayant été formé sur un grand nombre de livres et d'autres sources d'informations."

À cet égard, LeCun a également exprimé son opinion : "

Personne n'a dit que LLM était inutile. Je l'ai dit moi-même lors de la courte sortie de Galactica de FAIR. Les gens l'ont cloué sur la croix parce qu'il produit des absurdités. ChatGPT fait la même chose. Mais encore une fois, cela ne veut pas dire qu'ils ne fonctionnent pas.

En fait, cet article d'Atlantic est une référence au MIT Cognitive Science Group. Examinons le contenu spécifique de la recherche.

Que dit ce papier ?

Le titre de cet article est "Dissocier le langage et la pensée dans les grands modèles linguistiques : une perspective cognitive", et les auteurs viennent de l'Université du Texas à Austin, du MIT et de l'UCLA.

Adresse papier : https://arxiv.org/pdf/2301.06627.pdf

Nous savons que les grands modèles de langage (LLM) d'aujourd'hui sont souvent capables de générer des éléments cohérents, grammaticaux et Des paragraphes de texte qui semblent significatifs. Cette réalisation a suscité des spéculations selon lesquelles

ces réseaux sont déjà ou deviendront bientôt des « machines pensantes », accomplissant ainsi des tâches qui nécessitent des connaissances et un raisonnement abstraits

.

Dans cet article, l'auteur considère respectivement deux aspects différents de la performance d'utilisation du langage pour observer la capacité du LLM :

• Maîtrise du langage formel, y compris la connaissance des règles et des modèles d'une langue donnée
• Maîtrise du langage fonctionnel, un ensemble de capacités de perception requises pour la compréhension et l'utilisation de la langue ; monde réel.

S'appuyant sur des preuves issues des neurosciences cognitives, les auteurs montrent que les capacités formelles humaines reposent sur des mécanismes spécifiques de traitement du langage, tandis que les capacités fonctionnelles nécessitent une variété de capacités au-delà du langage, qui constituent le raisonnement formel, la connaissance du monde, la modélisation de situations et les relations sociales. la cognition et d'autres capacités de réflexion. Semblable à la distinction entre deux capacités chez les humains, LLM fonctionne bien (bien qu'imparfaitement) sur les tâches qui nécessitent des capacités de langage formel, mais a tendance à échouer dans de nombreux tests qui nécessitent des capacités fonctionnelles.

Sur la base de ces preuves, l'auteur estime que d'une part, le LLM moderne devrait être pris au sérieux en tant que modèle doté de compétences linguistiques formelles, et d'autre part, les modèles qui jouent avec l'utilisation réelle de la langue doivent incorporer ou développer des modules linguistiques de base et la modélisation de la pensée. Une variété de capacités cognitives non spécifiques à la langue sont requises.

En résumé, ils soutiennent que la distinction entre les capacités linguistiques formelles et fonctionnelles aide à clarifier la discussion sur le potentiel des LLM et fournit un moyen de construire des modèles qui comprennent et utilisent le langage d'une manière humaine. L'échec des LLM sur de nombreuses tâches non linguistiques ne les affaiblit pas en tant que bons modèles de traitement du langage. Si l'esprit et le cerveau humains sont utilisés comme analogie, Les progrès futurs de l'AGI pourraient dépendre de l'incorporation de modèles linguistiques ainsi que de la représentation abstraite. connaissances et support de raisonnement complexe Modèles combinés .

Le niveau mathématique de ChatGPT doit encore être amélioré

LLM manque de capacités fonctionnelles au-delà du langage (comme le raisonnement, etc.), et ChatGPT d'OpenAI en est un exemple. Bien que ​​ait officiellement annoncé que ses capacités en mathématiques avaient été améliorées​​​, les internautes se sont plaints qu'il ne pouvait maîtriser les additions et les soustractions qu'en dix ans.

Récemment, dans un article « Capacités mathématiques de ChatGPT », des chercheurs de l'Université d'Oxford, de l'Université de Cambridge et d'autres institutions ont testé les capacités mathématiques de ChatGPT sur des ensembles de données accessibles au public et créés à la main, et ont mesuré ses performances par rapport avec Minerva La performance d'autres modèles entraînés sur d'autres corpus mathématiques. Dans le même temps, nous avons testé si ChatGPT peut être qualifié d'assistant utile pour les mathématiciens professionnels en simulant divers cas d'utilisation qui surviennent dans les activités professionnelles quotidiennes des mathématiciens (questions et réponses, recherche de théorèmes).

Adresse papier : https://arxiv.org/pdf/2301.13867.pdf

Les chercheurs ont présenté et rendu public un nouvel ensemble de données - GHOSTS, qui est le premier langage naturel ensembles de données produits et conservés par des chercheurs en mathématiques, couvrant les mathématiques de niveau supérieur et fournissant un aperçu complet des capacités mathématiques des modèles de langage. Ils ont comparé ChatGPT sur GHOSTS et évalué les performances sur la base de critères précis.

Les résultats du test montrent que la capacité mathématique de ChatGPT est nettement inférieure à celle des étudiants diplômés en mathématiques ordinaires. Il peut généralement comprendre les questions mais ne peut pas donner de réponses correctes.

L'abonnement ChatGPT Plus est disponible pour 20 $ US par mois

En tout cas, le succès commercial de ChatGPT est une évidence pour tous.

Tout à l'heure, OpenAI a annoncé « ChatGPT Plus », un nouveau service d'adhésion payant au prix de 20 $ US par mois.

Les abonnés bénéficieront de certains avantages :

• Accès universel à ChatGPT, même pendant les périodes de pointe ;
• Délais de réponse plus rapides ;
• Accès prioritaire aux nouvelles fonctionnalités et améliorations ;

OpenAI a déclaré qu'il enverrait des invitations au service "dans les semaines à venir" aux personnes aux États-Unis et sur sa liste d'attente, et a déclaré qu'il étendrait le service à d'autres pays et régions.

Il y a plus d'une semaine, on apprenait qu'OpenAI allait lancer la version plus ou pro du service ChatGPT au prix de 42 $ US par mois, mais le prix final de 20 $ US par mois le rendait évidemment accessible. à un public plus large, ce service inclut les étudiants et les entreprises.

D'une certaine manière, cela établira la norme en matière de paiement pour tout chatbot IA du marché qui souhaite se lancer. Étant donné qu'OpenAI est un pionnier dans ce domaine, si d'autres entreprises tentent de lancer des robots payant plus de 20 $ par mois, elles doivent d'abord expliquer une chose : pourquoi leur chatbot vaut-il plus que ChatGPT Plus ?

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!