DetectGPT: Maschinengenerierte Zero-Shot-Texterkennung mithilfe probabilistischer Krümmung

Der Zweck von DetectGPT besteht darin, festzustellen, ob ein Text von einem bestimmten LM wie GPT-3 generiert wurde. Um Absatz x zu klassifizieren, erzeugt DetectGPT zunächst eine kleine Störung für Absatz ~xi unter Verwendung eines gängigen vorab trainierten Modells (z. B. T5). DetectGPT vergleicht dann die logarithmische Wahrscheinlichkeit der ursprünglichen Stichprobe x mit jeder gestörten Stichprobe ~xi. Wenn das durchschnittliche Log-Verhältnis hoch ist, stammt die Stichprobe wahrscheinlich aus dem Quellmodell.

ChatGPT ist ein heißes Thema. Es gibt eine anhaltende Diskussion darüber, ob es möglich ist, zu erkennen, dass ein Artikel von einem großen Sprachmodell (LLM) generiert wurde. DetectGPT definiert ein neues krümmungsbasiertes Kriterium zur Beurteilung, ob aus einem bestimmten LLM generiert werden soll. Für DetectGPT ist es nicht erforderlich, einen separaten Klassifikator zu trainieren, einen Datensatz realer oder generierter Passagen zu sammeln oder den generierten Text explizit mit Wasserzeichen zu versehen. Es verwendet nur Log-Wahrscheinlichkeiten, die vom interessierenden Modell berechnet wurden, und zufällige Artikelstörungen aus einem anderen vorab trainierten Allzweck-Sprachmodell (z. B. T5).

1. DetectGPT: Zufällige Permutationen und Annahmen

identifiziert und nutzt die Tendenz maschinengenerierter Kanäle x~pθ (links), im negativen Krümmungsbereich von logp (x) zu liegen, wo benachbarte Proben einen niedrigeren Durchschnitt haben Modellprotokollwahrscheinlichkeit. Im Gegensatz dazu neigt der von Menschen geschriebene Text x~preal(.) (rechts) dazu, keine Bereiche mit einer signifikanten negativen Log-Wahrscheinlichkeitskrümmung zu besetzen.

DetectGPT basiert auf der Annahme, dass Stichproben aus dem Quellmodell pθ normalerweise im negativen Krümmungsbereich der pθ-Log-Wahrscheinlichkeitsfunktion liegen, was sich vom menschlichen Text unterscheidet. Wenn wir eine kleine Störung auf ein Textstück x~pθ anwenden, was ~x ergibt, sollte die Anzahl der maschinengenerierten Stichproben log pθ(x) - log pθ(~x) im Vergleich zu von Menschen geschriebenem Text relativ groß sein. Betrachten Sie unter dieser Annahme zunächst eine Störungsfunktion q(.|x), die eine Verteilung über ~x liefert, eine leicht modifizierte Version von x mit ähnlicher Bedeutung (normalerweise betrachten Sie einen groben Text x mit Absatzlänge). Beispielsweise könnte q(.|x) das Ergebnis der einfachen Aufforderung an einen Menschen sein, einen der Sätze für x umzuschreiben und dabei die Bedeutung von x beizubehalten. Unter Verwendung des Konzepts der Störungsfunktion kann die Störungsdifferenz d (x; pθ, q) definiert werden:

Daher lautet die folgende Annahme 4.1:

Wenn q(.|x ) Mit Proben aus einem maskenfüllenden Modell (z. B. T5) und nicht mit menschlichen Umschreibungen kann Hypothese 4.1 auf automatisierte und skalierbare Weise empirisch getestet werden. 2. DetectGPT: Automatischer Test Daten unter Verwendung von 500 Nachrichtenartikeln aus dem XSum-Datensatz. Verwendung der Ausgabe von vier verschiedenen LMs, wenn in XSum nach den ersten 30 Token jedes Artikels gefragt wird. Die Störung wird mithilfe von T5-3B angewendet, wobei eine zufällig ausgewählte Spanne von 2 Wörtern maskiert wird, bis 15 % der Wörter im Artikel maskiert sind. Die Erwartung in Gleichung (1) oben wird durch 100 Stichproben in T5 angenähert.

Die oben genannten experimentellen Ergebnisse zeigen, dass es einen signifikanten Unterschied in der Verteilung der Störungsunterschiede zwischen von Menschen verfassten Artikeln und Modellproben gibt. Modellproben weisen häufig große Störungsunterschiede auf. Basierend auf diesen Ergebnissen ist es möglich, durch einfache Schwellenwertbildung der Störungsdifferenz zu erkennen, ob ein Textstück von Modell p generiert wurde.

Die Normalisierung der Störungsunterschiede durch die Standardabweichung der Beobachtungen, die zur Schätzung von E~x q(.|x) log p (~x) verwendet werden, sorgt für eine bessere Erkennung und erhöht typischerweise den AUROC um etwa 0,020, sodass in Experimenten eine normalisierte Version des Störungsdifferenz wird in verwendet.

Pseudocode des Erkennungsprozesses von DetectGPT

Störungsdifferenz kann nützlich sein, was es misst, kann nicht klar erklärt werden, daher verwendet der Autor die Krümmung, um es im nächsten Abschnitt zu erklären.

3. Interpretieren Sie die Störungsdifferenz als Krümmung

Die Störungsdifferenz wird als Maß für die lokale Krümmung der logarithmischen Wahrscheinlichkeitsfunktion in der Nähe des Kandidatendurchgangs angenähert, genauer gesagt ist sie proportional zur negativen Spur der Hesse-Matrix des Log-Wahrscheinlichkeitsfunktion.

Dieser Abschnitt hat viel Inhalt, daher werde ich ihn hier nicht im Detail erklären. Wenn Sie interessiert sind, können Sie das Originalpapier lesen, das grob wie folgt zusammengefasst ist:

Die Stichprobe im semantischen Raum stellt sicher, dass alle Stichproben nahe an der Datenmannigfaltigkeit bleiben, da erwartet wird, dass die Log-Wahrscheinlichkeit immer abnimmt, wenn Störungsmarker zufällig hinzugefügt werden. Das Ziel kann also als ungefähre Einschränkung der Krümmung auf der Datenmannigfaltigkeit interpretiert werden.

4. Ergebnisanzeige

Maschinengenerierte Texterkennung ohne Stichprobe

verwendet in Pro Versuch werden 150 bis 500 Beispiele ausgewertet. Maschinengenerierter Text wird generiert, indem die ersten 30 Token echten Textes abgefragt werden. Verwenden Sie AUROC, um die Leistung zu bewerten.

Es ist ersichtlich, dass DetectGPT die durchschnittliche Erkennungsgenauigkeit von XSum-Geschichten (AUROC um 0,1 erhöht) und SQuAD-Wikipedia-Kontext (AUROC um 0,05 erhöht) maximiert.

Für 14 von 15 Datensatz- und Modellkombinationen bietet DetectGPT die genaueste Erkennungsleistung mit einer durchschnittlichen Verbesserung des AUROC von 0,06.

Vergleich mit überwachten Detektoren

Überwacht trainiert an großen Datensätzen von realem und generiertem Text. Das maschinengenerierte Texterkennungsmodell funktioniert genauso gut oder besser als DetectGPT für In-Distribution-Text (obere Zeile). Die Zero-Shot-Methode wird auf neue Domänen (untere Zeile) wie medizinische Texte von PubMed und deutsche Nachrichtendaten in WMT16 angewendet.

Ausgewertet anhand von 200 Stichproben aus jedem Datensatz, schneidet der überwachte Detektor bei In-Distribution-Daten wie englischen Nachrichten ähnlich ab wie DetectGPT, schneidet jedoch bei englischsprachigem wissenschaftlichem Schreiben für den Null-Stichproben-Ansatz deutlich schlechter ab , was in der deutschen Schrift völlig versagt. Der durchschnittliche AUROC von GPT-3 ist vergleichbar mit dem von überwachten Modellen, die speziell für die Erkennung maschinell generierten Textes trainiert wurden.

150 Beispiele wurden aus PubMedQA-, XSum- und Writingprompt-Datensätzen extrahiert. Zwei vorab trainierte Roberta-basierte Detektormodelle werden mit DetectGPT und der probabilistischen Schwellenwertbasislinie verglichen. DetectGPT kann Erkennungen bereitstellen, die mit leistungsfähigeren überwachten Modellen konkurrieren.

Variation der maschinengenerierten Texterkennung

In diesem Teil geht es darum, zu prüfen, ob der Detektor von Menschen bearbeitete maschinelle Texte erkennen kann. generierter Texttext. Die manuelle Überarbeitung wurde simuliert, indem 5 Wortspannen des Textes durch Beispiele von T5–3B ersetzt wurden, bis r % des Textes ersetzt waren. DetectGPT ist in der Lage, den Erkennungs-AUROC über 0,8 aufrechtzuerhalten, obwohl fast ein Viertel des Textes in der Modellprobe ersetzt wurde. DetectGPT zeigt über alle Revisionsstufen hinweg die stärkste Erkennungsleistung.

Das obige ist der detaillierte Inhalt vonDetectGPT: Maschinengenerierte Zero-Shot-Texterkennung mithilfe probabilistischer Krümmung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!