KI löst Hochschulmathematikprobleme in wenigen Sekunden, erreicht eine Genauigkeitsrate von über 80 % und fungiert auch als Fragenlehrer

Vielleicht wurden die Mathe-Testfragen, die Sie beantwortet haben, maschinell generiert. ​

MIT-Studenten können mathematische Themen wie multivariate Analysis, Differentialgleichungen und lineare Algebra mühelos lösen, aber diese überfordern das Modell des maschinellen Lernens. Weil Modelle des maschinellen Lernens nur mathematische Fragen auf Grund- oder Oberstufenniveau beantworten können und nicht immer die richtige Antwort finden. ​

Jetzt verwenden Forscher des MIT, der Columbia University, der Harvard University und der University of Waterloo das Lernen mit kleinen Stichproben und den Codex von OpenAI, um Programme automatisch zu synthetisieren und universitäre Mathematikprobleme in wenigen Sekunden zu lösen und so das Niveau des Menschen zu erreichen. Die Forschung wurde in den Proceedings of the National Academy of Sciences (PNAS) veröffentlicht.

Darüber hinaus kann das Modell die generierten Lösungen erklären und schnell neue College-Mathematikprobleme generieren. Als die Forscher den Schülern diese maschinell generierten Fragen zeigten, konnten die Schüler nicht einmal erkennen, ob die Fragen von einem Algorithmus oder von einem Menschen generiert wurden. ​​

Diese Forschung kann auch zur Optimierung der Erstellung von Kursinhalten genutzt werden, was besonders für Schulen mit Tausenden von Schülern und massiven offenen Online-Kursen (MOOCs) nützlich ist. Das System kann auch als Online-Tutor fungieren und den Schülern die Schritte zur Lösung mathematischer Probleme zeigen.

Papieradresse: https://www.pnas.org/doi/epdf/10.1073/pnas.2123433119​

Die Forschungsmethode vereint drei Innovationen:

• Anders als Diese Forschung führt nur eine Feinabstimmung des Codes durch, während sie mit kleinen Beispiellernprogrammen arbeitet, um mathematische Probleme richtig zu lösen , Lösungen erläutern und neue Fragen generieren.
• Beispiele für neue Fragen, die durch diese Forschung generiert wurden, sind wie folgt.

Ein Modell, das Fragen beantworten, lösen und stellen kann

Das Forschungsteam hat fast zwei Jahre an diesem Projekt gearbeitet. Sie fanden heraus, dass ein Modell, das nur mit Text vorab trainiert wurde, bei Mathematikproblemen der Oberstufe nicht mehr als 8 % Genauigkeit erreichen konnte, während ein graphisches neuronales Netzwerkmodell bei Kursproblemen für maschinelles Lernen gut abschneiden konnte, aber es würde eine Woche dauern, zu trainieren.

Die Studie wählte zufällig 25 Probleme aus sieben Kursen aus: 18.01 Einzelvariablenrechnung, 18.02 Multivariablenrechnung, 18.03 Differentialgleichungen, 18.05 Einführung in Wahrscheinlichkeit und Statistik, 18.06 Lineare Algebra, 6.042 Informatik, Mathematik und COMS3251 Computational Linear. Algebra von Columbia-Universität.

Für den MATH-Datensatz wurden im Rahmen der Studie zufällig 15 Fragen aus sechs Themen im Datensatz ausgewählt (Algebra, Zählen und Wahrscheinlichkeit, Fortgeschrittene Algebra, Zahlentheorie, Vorläufige Algebra und Analysis).

Bevor die Forscher diese Programmieraufgaben in das neuronale Netzwerk einspeisten, fügten sie einen neuen Schritt hinzu, der es ihnen ermöglichte, frühere Versuche deutlich zu übertreffen. ​​

unterscheidet sich von Netzwerken wie GPT-3, die nur auf Text vortrainiert sind. Sie wandelten diese Probleme in Programmieraufgaben um und wendeten Programmsynthese und Few-Shot-Lerntechniken an. Ein mathematisches Problem in eine Programmieraufgabe umzuwandeln, kann so einfach sein wie das Umschreiben des Problems, den Abstand zwischen zwei Punkten zu ermitteln, wie das Schreiben eines Programms, um den Unterschied zwischen zwei Punkten zu ermitteln.

Es ist erwähnenswert, dass diese Forschung nicht nur Codex für Text vortrainiert, sondern auch den Code so verfeinert hat, dass er Programme zur Lösung umfangreicher mathematischer Probleme generieren kann.

Vorab trainierte Modelle, die Millionen von Codebeispielen aus Online-Repositories zeigen. Da die Trainingsdaten des Modells Millionen natürlichsprachlicher Wörter und Millionen Codezeilen umfassen, kann es Beziehungen zwischen Textausschnitten und Codeausschnitten lernen. ​​

Wie in der folgenden Abbildung dargestellt, verwendet diese Studie Zero-Shot- und Small-Shot-Lernen, um automatisch ein Programm zu generieren, das 81 % der mathematischen Probleme lösen kann. Anschließend verwenden sie den Codex, um das resultierende Programm zu interpretieren. Das generierte Programm kann Antworten in vielen Formen ausgeben. Beispielsweise liefert die Berechnung und Darstellung der geometrischen Form der Singularwertzerlegung (SVD) nicht nur die richtige Antwort, sondern auch die entsprechende Erklärung! Wenden Sie neuronale Netze OpenAI Codex an, um mathematische Probleme zu lösen, zu interpretieren und zu generieren. ​​

Drori, einer der Autoren des Artikels, erklärte, dass viele mathematische Probleme mithilfe von Diagrammen oder Bäumen gelöst werden können, es jedoch schwierig sei, in Textform geschriebene Probleme in diese Darstellung umzuwandeln. Da das Modell jedoch die Beziehung zwischen Text und Code gelernt hat, kann es Textfragen in Code umwandeln, indem es einfach ein paar Beispiele für Fragecode angibt und dann den Code ausführt, um die Frage zu beantworten.

„Wenn Sie Fragen nur mit Text stellen, ist es für maschinelle Lernmodelle schwierig, Antworten zu geben, selbst wenn die Antwort im Text enthalten sein könnte, und diese Arbeit füllt die fehlenden Teile des Codes und der Programmsynthese auf“, sagte Drori .

Drori fügte außerdem hinzu, dass diese Arbeit die erste ist, die ein Mathematikproblem für Studenten löst und die Genauigkeit von 8 % auf über 80 % verbessert. ​​

Kontext hinzufügen

Es ist nicht immer einfach, ein mathematisches Problem in eine Programmieraufgabe umzuwandeln. Bei einigen Problemen müssen Forscher Kontext hinzufügen, damit neuronale Netze das Problem richtig lösen können. Ein Student erlernt dieses Hintergrundwissen während des Kurses, neuronale Netze verfügen jedoch nicht über dieses Hintergrundwissen, es sei denn, der Forscher gibt dies ausdrücklich an.

Zum Beispiel müssen sie erklären, dass sich das Netzwerk im Text auf ein neuronales Netzwerk und nicht auf ein Kommunikationsnetzwerk bezieht. Oder sie müssen dem Modell möglicherweise mitteilen, welches Programmierpaket verwendet werden soll. Möglicherweise müssen sie auch bestimmte Definitionen angeben, beispielsweise müssen sie dem Modell bei einer Frage zu Spielkarten mitteilen, dass jedes Deck 52 Karten enthält.

Die Studie speist diese Programmieraufgaben zusammen mit dem enthaltenen Kontext und Beispielen automatisch in ein vorab trainiertes und fein abgestimmtes neuronales Netzwerk ein, das ein Programm ausgibt, das normalerweise die richtige Antwort liefert. Mehr als 80 % der Fragen waren richtig.

Die Forscher nutzten ihr Modell auch zur Generierung von Fragen, indem sie einem neuronalen Netzwerk eine Reihe mathematischer Fragen zu einem Thema gaben und es dann eine neue Frage erstellen ließen. Beispielsweise gibt es das Problem der Quantenerkennung horizontaler und vertikaler Linien, das ein neues Problem der Quantenerkennung von Diagonalen schafft. Es geht also nicht nur darum, neue Probleme zu schaffen, indem Werte und Variablen in bestehenden Problemen ersetzt werden.

Von Menschen gestellte Fragen vs. maschinengenerierte Fragen

Die Forscher testeten diese Fragen, indem sie College-Studenten die maschinengenerierten Fragen zeigten. Die Forscher gaben den Studierenden nach dem Zufallsprinzip zehn Aufgaben aus einem Mathematik-Grundkurs; fünf wurden von Menschen erstellt und fünf von Maschinen generiert.

Die Studierenden konnten nicht erkennen, ob die maschinell generierten Fragen von einem Algorithmus oder von einem Menschen generiert wurden, und sie gaben ähnliche Bewertungen zur Schwierigkeit und Angemessenheit des Kurses ab.

Drori stellte jedoch fest, dass diese Arbeit nicht dazu gedacht ist, menschliche Professoren zu ersetzen.

"Die Genauigkeitsrate hat jetzt 80 % erreicht, aber sie wird nicht 100 % erreichen. Jedes Mal, wenn Sie ein Problem lösen, wird jemand ein schwierigeres Problem stellen. Aber diese Arbeit bietet Menschen eine Möglichkeit, mit dem Einsatz von maschinellem Lernen zu beginnen „Wir gehen davon aus, dass dies große Auswirkungen auf die Hochschulbildung haben wird“, sagte Drori. ​​

Das Forschungsteam freut sich über den Erfolg ihrer Methode und hat ihre Arbeit auf die Bearbeitung mathematischer Beweise ausgeweitet. Sie planen auch, einige Einschränkungen zu beheben. Derzeit kann das Modell keine Fragen mithilfe einer visuellen Komponente beantworten oder Probleme lösen zu rechnerischen Einschränkungen. Komplexe und schwer zu berechnende Probleme.

Neben der Überwindung dieser Hindernisse zielt die Forschung auch darauf ab, das Modell auf Hunderte von Kursen zu skalieren. Mit diesen Kursen werden mehr Daten generiert, um die Automatisierung zu erhöhen und Einblicke in die Kursgestaltung und den Lehrplan zu geben.

Das obige ist der detaillierte Inhalt vonKI löst Hochschulmathematikprobleme in wenigen Sekunden, erreicht eine Genauigkeitsrate von über 80 % und fungiert auch als Fragenlehrer. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!