KI kann KI nicht besiegen! Der ChatGPT-Detektor beschuldigt häufig unschuldige Schüler und wird von 2,1 Millionen Lehrern verwendet

Wie fühlst du dich, wenn du von der KI unschuldig als „Betrüger“ abgestempelt wirst?

Das passierte Lucy Goetz, einer Oberstufenschülerin. Sie schrieb ursprünglich eine Originalarbeit über den Sozialismus, die die höchste Punktzahl erhielt.

Der KI-Schreibdetektor von Turnitin ergab jedoch tatsächlich, dass das Ende von Goetz‘ Aufsatz mithilfe von ChatGPT generiert wurde.

Goetz war schockiert und sagte: „Ich freue mich sehr, ein gutes Verhältnis zu den Lehrern zu pflegen.“

Kurz gesagt, zum Glück versteht mich der Lehrer, sonst könnte ich mich nicht reinigen, selbst wenn ich in den Gelben Fluss springe.

Noch überraschender ist, dass dieser ChatGPT-Detektor inzwischen von 2,1 Millionen Lehrern verwendet wird.

KI kann KI nicht schlagen

Der markierte Teil von Goetz‘ Artikel ist eine Anomalie, zeigt aber, dass Detektoren manchmal Fehler machen.

Offensichtlich kann KI die KI nicht besiegen. Für viele Studierende könnte dies katastrophale Folgen haben.

Um den Turnitin-Detektor zu testen, testete Reporter Geoffrey A. Fowler fünf Oberstufenschüler, darunter Goetz.

Sie haben 16 Beispielpapiere erstellt, die reale, KI-generierte und gemischte Quellen abdecken.

Was war das Ergebnis?

Der Detektor von Turnitin wies bei mindestens der Hälfte der Proben Fehler auf. Er identifizierte nur sechs davon genau, konnte jedoch drei davon nicht erkennen. Darin sind Markierungsfehler in 8 % der Originalarbeit von Goetz enthalten.

Für die verbleibenden 7 Artikel sagte Fowler: „Ich werde ihm nur Teilbewertungen geben, da seine Urteile im Allgemeinen richtig sind, aber einige Teile des Textes, die von ChatGPT oder gemischten Quellen generiert wurden, falsch identifiziert werden.“

Turnitin gibt jedoch an, dass sein Detektor eine Gesamtgenauigkeit von 98 % aufweist. Das Unternehmen gab außerdem an, dass bei seinen eigenen Tests Situationen wie in Goetz‘ Artikel (d. h. falsch positive Ergebnisse) in weniger als 1 Prozent der Fälle auftraten.

Die Detailseite des KI-Detektors von Turnitin weist eine Gesamtpunktzahl zu und hebt verdächtige KI-generierte Sätze hervor. Das Unternehmen gab an, Passagen, bei denen der Verdacht besteht, dass sie von der KI generiert wurden, absichtlich blau statt rot markiert und Lehrerressourcen unterhalb der Punktzahl verlinkt zu haben.

Rebecca Dell, AP-Englischlehrerin bei Goetz in Concord, Kalifornien, sagte, Turnitins System zur Markierung von KI-Texten funktioniere nicht immer, was Anlass zur Sorge gebe.

Im Gegensatz zu Plagiatsvorwürfen gibt es bei KI-Betrug keine Quelldokumente als Beweismittel, was für Lehrer der einfachste Weg ist, voreingenommen gegenüber Schülern zu sein.

Vielleicht hat nicht jeder so viel Glück wie Goetz.

Goetz sagte: „Für Schüler ist es besonders beängstigend, wegen KI-Betrugs beschuldigt zu werden. Wenn Ihr Lehrer Ihren Schreibstil nicht versteht oder großes Vertrauen in Sie hat, gibt es keine Möglichkeit zu beweisen, dass Sie nicht betrügen.“

Warum die KI-Erkennung so schwierig ist

Seit der Einführung von ChatGPT wird es von Studierenden und Lehrkräften an vielen Universitäten bei täglichen Hausaufgaben und im Unterricht eingesetzt.

Wenn ChatGPT jedoch nicht eingeschränkt wird, wird es zum mächtigsten Betrugstool der Geschichte, das Schülern beim Verfassen von Hausaufgaben und sogar beim Vervollständigen von Prüfungsunterlagen helfen kann.

Um der Aufklärung entgegenzuwirken, freuen sich Lehrer auf einen einfachen und benutzerfreundlichen Detektor. Ein 22-jähriger Student der Princeton University, Edward Tian, ​​​​entwickelte selbst einen Detektor – GPTZero.

Sogar OpenAI hat offiziell die Einführung eines neuen Tools angekündigt, eines Dateidetektors namens AI Text Classifier.

Allerdings ist die Leistung dieser Detektoren nicht zufriedenstellend.

Das Erkennen von KI-erstellten Inhalten klingt einfach. Wenn Sie jedoch eine handgeschriebene E-Mail und eine von ChatGPT generierte E-Mail erhalten, ist es für uns fast unmöglich, den Unterschied zu erkennen.

Eric Wang, Vizepräsident für künstliche Intelligenz bei Turnitin, sagte, dass die Verwendung von Software zur Erkennung von Schriften mit künstlicher Intelligenz Statistiken erfordert. Aus statistischer Sicht unterscheidet sich künstliche Intelligenz vom Menschen dadurch, dass sie auf durchschnittlichem Niveau äußerst stabil ist.

Um es ganz klar auszudrücken: Das KI-Level ist sehr stabil. Dies ist jedoch nicht der Fall.

„Ein System wie ChatGPT ist wie eine erweiterte Version der automatischen Vervollständigung, die nach dem nächstwahrscheinlichsten zu schreibenden Wort sucht. Deshalb liest es sich eigentlich so natürlich. KI-Schreiben ist menschliches Schreiben. Die wahrscheinlichste Teilmenge von „

Turnitins Detektor wird „die durchschnittliche Situation identifizieren, in der die Schrift zu konsistent ist.“ Die Herausforderung besteht darin, dass menschliches Schreiben manchmal tatsächlich durchschnittlich wirken kann.

In Wirtschaftswissenschaften, Mathematik und Laborberichten neigen Studierende dazu, einem festen Schreibstil zu folgen, was bedeutet, dass sie eher mit KI-Schreiben verwechselt werden.

Das ist wahrscheinlich der Grund, warum Turnitin Goetz‘ Aufsatz fälschlicherweise markiert hat, weil sein Inhalt sich auf die Wirtschaft bezieht.

Wang sagte, Turnitin habe hart daran gearbeitet, sein System so zu optimieren, dass ein höheres Maß an Vertrauen erforderlich ist, bevor ein Satz als KI-generiert gekennzeichnet wird, um diesbezüglich Fehler zu machen.

und sagte, dass seine Software große Fortschritte gemacht habe. „Als ich Goetz‘ Papier Ende Januar zum ersten Mal testete, identifizierte die Software etwa 50 % davon als KI-generiert. Turnitin ließ meine Stichprobe Ende März erneut durchgehen, und zu diesem Zeitpunkt waren nur 8 % von Goetz‘ Papieren markiert generiert durch KI. „

Der Detektor von Turnitin unterliegt auch anderen wichtigen technischen Einschränkungen.

Von den 6 Proben, die völlig korrekt erkannt wurden, handelte es sich eindeutig alle um 100 % studentische Arbeiten oder wurden von ChatGPT generiert.

Aber beim Testen mit Papieren, die KI- und menschliche Quellen vermischten, wurden einzelne Sätze oft falsch identifiziert oder der menschliche Teil wurde völlig übersehen. Und es konnte keine Spuren von ChatGPT in Papieren erkennen, die mit Quillbot verarbeitet wurden, einem Umschreibprogramm, das Sätze neu kombinieren kann.

Darüber hinaus hinkt der Detektor von Turnitin möglicherweise bereits dem aktuellen Stand der künstlichen Intelligenztechnologie hinterher.

Zum Beispiel ChatGPT wurde jetzt von GPT-4 gesegnet und verfügt über kreativere und stilisiertere Funktionen.

NVIDIA-Wissenschaftler Jim Fan sagte: „Ich glaube nicht, dass der Detektor auf lange Sicht zuverlässig ist.“ Künstliche Intelligenz wird immer besser und immer menschenähnlicher schreiben. Man kann mit Sicherheit sagen, dass diese Eigenheiten des Sprachmodells mit der Zeit abnehmen werden. Ist es eine gute Idee, KI zur Erkennung einzusetzen?

Warum einen KI-Detektor auslösen, wenn die potenzielle Wahrscheinlichkeit besteht, dass etwas schief geht (selbst wenn sie nur 1 % beträgt)? „Die Lehrer hoffen auf eine abschreckende Wirkung“, sagte Chechitelli. Einige Pädagogen befürchten jedoch, dass dies den Stresspegel der Schüler tatsächlich erhöhen könnte.

Am 4. April hat Turnitin Dienstleistungen für rund 10.700 Sekundarschulen und bereitgestellt Hochschuleinrichtungen haben diesen ChatGPT-Detektor aktiviert, um eine „KI-generierte“ Bewertung und satzweise Analyse der Schüleraufgaben zu ermöglichen. Mitchel Sollenberger, Vizeprofessor für digitale Bildung an der University of Michigan-Dearborn, bat Turnitin, es während der ersten Einführung der KI-Erkennung nicht für seinen Campus zu aktivieren.

Er befürchtet, dass Lehrer, die jedes Semester etwa 20.000 Studentenarbeiten über Turnitin testen, falsch positive Ergebnisse erhalten könnten Integritätsuntersuchung. Von Lehrern wird nicht erwartet, dass sie Experten für Softwaresysteme von Drittanbietern werden.

Das obige ist der detaillierte Inhalt vonKI kann KI nicht besiegen! Der ChatGPT-Detektor beschuldigt häufig unschuldige Schüler und wird von 2,1 Millionen Lehrern verwendet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!