L'IA résout les problèmes de mathématiques universitaires en quelques secondes, atteint un taux de précision de plus de 80 % et agit également comme un professeur de questions

Peut-être que les questions du test de mathématiques que vous avez répondues ont été générées par une machine. Les étudiants du MIT peuvent résoudre des sujets mathématiques tels que le calcul multivarié, les équations différentielles et l'algèbre linéaire sans aucun effort, mais ceux-ci bloquent le modèle d'apprentissage automatique. Parce que les modèles d’apprentissage automatique ne peuvent répondre qu’à des questions mathématiques de niveau primaire ou secondaire, et ne trouvent pas toujours la bonne réponse. ​Maintenant, des chercheurs du MIT, de l'Université Columbia, de l'Université Harvard et de l'Université de Waterloo utilisent l'apprentissage par petits échantillons et le Codex d'OpenAI pour synthétiser automatiquement des programmes et résoudre des problèmes mathématiques universitaires en quelques secondes, atteignant le niveau des humains. La recherche a été publiée dans les Actes de l'Académie nationale des sciences (PNAS).

De plus, le modèle peut expliquer les solutions générées et générer rapidement de nouveaux problèmes de mathématiques universitaires. Lorsque les chercheurs ont montré ces questions générées automatiquement aux étudiants, ceux-ci ne pouvaient même pas dire si les questions avaient été générées par un algorithme ou par un humain. ​​

Cette recherche peut également être utilisée pour rationaliser la génération de contenu de cours, ce qui est particulièrement utile pour les écoles comptant des milliers d'étudiants et des cours en ligne ouverts massivement (MOOC). Le système peut également servir de tuteur en ligne, montrant aux étudiants les étapes à suivre pour résoudre des problèmes mathématiques.

Adresse papier : https://www.pnas.org/doi/epdf/10.1073/pnas.2123433119​

La méthode de recherche combine trois innovations :

Différent de pré-formation uniquement sur le texte, cette recherche effectue également un réglage fin du code lors de la pré-formation sur le texte

L'utilisation de petits échantillons d'apprentissage pour synthétiser des programmes peut résoudre correctement des problèmes mathématiques ; , expliquer les solutions et générer de nouvelles questions.

• Des exemples de nouvelles questions générées par cette recherche sont les suivants.
• Un modèle capable de répondre, de résoudre et de poser des questions

L'équipe de recherche a consacré près de deux ans à ce projet. Ils ont découvert qu'un modèle pré-entraîné utilisant uniquement du texte n'atteindrait pas une précision supérieure à 8 % sur les problèmes de mathématiques du lycée, tandis qu'un modèle de réseau neuronal graphique pourrait bien fonctionner sur les problèmes de cours d'apprentissage automatique, mais cela prendrait une semaine.

La étude a sélectionné au hasard 25 problèmes de sept cours: calcul multivariable 18.01 du MIT, calcul multivariable, 18,03 équations différentielles, 18,05 Introduction à la probabilité et statistiques, 18,06 algèbres linéaires, 6,042 Mathématiques en informatique, et com. Université de Colombie.

Pour l'ensemble de données MATH, l'étude a échantillonné au hasard 15 questions sur six sujets de l'ensemble de données (algèbre, comptage et probabilités, algèbre intermédiaire, théorie des nombres, algèbre préliminaire et calcul).

Avant d'introduire ces tâches de programmation dans le réseau neuronal, les chercheurs ont ajouté une nouvelle étape qui leur a permis de surpasser considérablement les tentatives précédentes. ​​

est différent des réseaux tels que GPT-3 qui sont uniquement pré-entraînés sur le texte. Ils ont transformé ces problèmes en tâches de programmation et ont appliqué la synthèse de programmes et des techniques d'apprentissage en quelques étapes. Transformer un problème mathématique en tâche de programmation peut être aussi simple que de réécrire le problème consistant à trouver la distance entre deux points ou d'écrire un programme pour trouver la différence entre deux points.

Il convient de mentionner que cette recherche a non seulement pré-entraîné le Codex sur le texte, mais a également affiné le code afin qu'il puisse générer des programmes permettant de résoudre des problèmes mathématiques à grande échelle.

Modèles pré-entraînés montrant des millions d'exemples de code provenant de référentiels en ligne. Étant donné que les données d'entraînement du modèle incluent des millions de mots en langage naturel et des millions de lignes de code, il peut apprendre les relations entre des extraits de texte et des extraits de code. ​​

Comme le montre la figure ci-dessous, cette étude utilise l'apprentissage zéro-shot et small-shot pour générer automatiquement un programme capable de résoudre 81% des problèmes mathématiques. Ils utilisent ensuite le Codex pour interpréter le programme résultant. Le programme généré peut générer des réponses sous de nombreuses formes. Par exemple, calculer et représenter la forme géométrique de la décomposition en valeurs singulières (SVD) donne non seulement la bonne réponse, mais aussi l'explication correspondante ! Appliquez les réseaux de neurones OpenAI Codex pour résoudre, interpréter et générer des problèmes mathématiques. ​​

Drori, l'un des auteurs de l'article, a expliqué que de nombreux problèmes mathématiques peuvent être résolus à l'aide de graphiques ou d'arbres, mais qu'il est difficile de convertir des problèmes écrits sous forme de texte dans cette représentation. Cependant, comme le modèle a appris la relation entre le texte et le code, il peut convertir les questions textuelles en code en donnant simplement quelques exemples de code de question, puis en exécutant le code pour répondre à la question.

"Lorsque vous posez des questions en utilisant uniquement du texte, il est difficile pour les modèles d'apprentissage automatique de donner des réponses, même si la réponse peut être dans le texte, et ce travail comble les morceaux manquants de code et de synthèse de programme", a déclaré Drori. .

Drori a également ajouté que ce travail est le premier à résoudre un problème de mathématiques de premier cycle et améliore la précision de 8 % à plus de 80 %. ​

Ajouter du contexte

Il n'est pas toujours facile de transformer un problème mathématique en tâche de programmation. Certains problèmes nécessitent que les chercheurs ajoutent du contexte afin que les réseaux de neurones puissent gérer le problème correctement. Un étudiant apprendra ces connaissances de base tout en suivant le cours, mais les réseaux de neurones ne possèdent pas ces connaissances de base, sauf indication explicite du chercheur.

Par exemple, ils doivent expliquer que le réseau dans le texte fait référence à un réseau de neurones et non à un réseau de communication. Ou ils devront peut-être indiquer au modèle quel package de programmation utiliser. Ils devront peut-être également fournir certaines définitions, par exemple dans une question sur les cartes à jouer, ils devront peut-être indiquer au modèle que chaque jeu contient 52 cartes.

L'étude alimente automatiquement ces tâches de programmation, ainsi que le contexte et les exemples inclus, dans un réseau neuronal pré-entraîné et affiné, qui génère un programme qui produit généralement la bonne réponse. Plus de 80 % des questions étaient correctes.

Les chercheurs ont également utilisé leur modèle pour générer des questions, en donnant à un réseau neuronal une série de questions mathématiques sur un sujet, puis en le laissant créer une nouvelle question. Par exemple, il y a le problème de la détection quantique des lignes horizontales et verticales, qui crée un nouveau problème de détection quantique des diagonales. Il ne s’agit donc pas simplement de créer de nouveaux problèmes en remplaçant des valeurs et des variables dans des problèmes existants.

Questions posées par l'homme et questions générées par la machine

Les chercheurs ont testé ces questions en montrant aux étudiants les questions générées par la machine. Les chercheurs ont donné au hasard aux étudiants 10 problèmes issus d’un cours de mathématiques de premier cycle ; cinq ont été créés par des humains et cinq ont été générés par des machines.

Les étudiants ne pouvaient pas dire si les questions générées par la machine avaient été générées par un algorithme ou par un humain, et ils ont donné des notes similaires sur la difficulté et la pertinence du cours.

Cependant, Drori a noté que ce travail n'est pas destiné à remplacer les professeurs humains.

"Le taux de précision a maintenant atteint 80 %, mais il n'atteindra pas 100 %. Chaque fois que vous résolvez un problème, quelqu'un posera un problème plus difficile. Mais ce travail offre aux gens un moyen de commencer à utiliser l'apprentissage automatique. pour résoudre davantage de problèmes. Cela ouvre de nouveaux domaines de difficulté. Nous pensons que cela aura un impact énorme sur l'enseignement supérieur », a déclaré Drori. ​​

L'équipe de recherche est enthousiasmée par le succès de leur méthode et a étendu ses travaux pour gérer les preuves mathématiques. Elle prévoit également de remédier à certaines limitations. Actuellement, le modèle ne peut pas répondre aux questions en utilisant un composant visuel ou résoudre les problèmes dus. aux contraintes de calcul. Problèmes complexes et difficiles à calculer.

En plus de surmonter ces obstacles, la recherche vise également à étendre le modèle à des centaines de cours. Grâce à ces cours, ils généreront davantage de données pour accroître l'automatisation et fourniront des informations sur la conception et le programme des cours.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!