Vereinfachen der Datenextraktion mit OpenAI JSON-Modus und JSON-Schemas

Als ich nach der Veröffentlichung zum ersten Mal mit ChatGPT-3.5 experimentierte, war ich von seinem Potenzial für verschiedene Anwendungen begeistert. Meine Aufregung ließ jedoch schnell nach, als ich auf ein großes Hindernis stieß: Die zurückgegebenen wertvollen Informationen waren zwar hervorragend lesbar, aber nicht in einer Form, die von einer Anwendung zuverlässig aufgenommen werden konnte. Ironischerweise zeichnen sich LLMs dadurch aus, dass sie Informationen aus unstrukturiertem Text extrahieren, diese aber nur in unstrukturierter Form zurückgeben können. Der Versuch, Ergebnisse aus LLMs programmgesteuert zu extrahieren, fühlte sich an, als wäre man in einem unglaublichen Restaurant, das das köstlichste Essen serviert, aber ohne jegliche Utensilien – man kann es sehen und riechen, aber man kommt einfach nicht dorthin.

Ich habe jeden Trick ausprobiert, um es so zu überreden, dass es mir den Anschein strukturierter Daten gibt. „Bitte trennen Sie einfach jeden Punkt durch einen Balken oder eine neue Zeile und überspringen Sie den Kommentar“, würde ich bitten. Manchmal hat es funktioniert, manchmal nicht. Manchmal würde es die Artikel „hilfreich“ nummerieren oder neu ordnen, wie ein wohlmeinender, aber leicht verwirrter Assistent. Ein anderes Mal schlich sich immer noch ein Kommentar ein, der an einen gesprächigen Kollegen erinnerte. Ich habe sogar unmissverständlich verlangt, JSON und nichts anderes zurückzugeben, aber manchmal wurde ein Komma weggelassen – fast so, als würde es einen passiv-aggressiven Stoß nehmen. Schließlich gab ich auf und kehrte widerstrebend zu den weniger aufregenden, aber vorhersehbareren Grenzen traditioneller Algorithmen zurück.

Glücklicherweise führte OpenAI einige Monate später den JSON-Modus ein, eine Funktion, die das LLM dazu zwingt, gültiges JSON zurückzugeben. Ich habe beschlossen, diese Funktion auszuprobieren, und fand, dass sie für die Verarbeitung der Ergebnisse in meinen Anwendungen deutlich effektiver ist. Hier ist ein Beispiel für die Ausgabe mit aktiviertem JSON-Modus:

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

Diese Ausgabe ist sicherlich eine Verbesserung. Obwohl es sich bei der Ausgabe um gültiges JSON handelt, kann ihre Struktur je nach Inhalt der Eingabeaufforderung variieren. Ein vorhersehbarerer Ansatz besteht darin, das gewünschte Rückgabeformat anzugeben. Eine Möglichkeit, dies zu erreichen, besteht darin, eine Beispiel-JSON-Struktur bereitzustellen, der das LLM folgen kann. Bei dieser Methode wird ein Beispiel erstellt und Code geschrieben, um es zu analysieren. Wenn sich die Struktur ändert, müssen Änderungen an beiden Stellen vorgenommen werden.

Ein alternativer Ansatz besteht darin, ein Data Transfer Object (DTO) zu definieren, um die Ergebnisse zu speichern und es sowohl zum Anweisen des LLM als auch zum Parsen der Ergebnisse zu verwenden, um Synchronisierungsprobleme zu vermeiden. Definieren Sie zunächst das DTO, zum Beispiel:‍

record Entries(List<entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}
</entry>

Jetzt kann das DTO sowohl in den Eingabeaufforderungsanweisungen als auch im Parsing-Code verwendet werden:

// Construct the prompt with the output schema.
var prompt = MessageFormat.format("""
   Parse the following sentence into English and return the results
   in JSON according to the following JSON schema.

   人工智慧將引領未來，以智慧之光照亮人類無限可能的前程。
   --- output json schema ---
   {0}
   """, jsonSchemaOf(Entries.class));
   var result = sendPrompt(prompt, Entries.class);

Hier ist der Code, der den Jackson JSON Schema-Generator verwendet:

PROMPT:‍
Parse the following sentence into words and then return the results
as a list of the original word and the translation in English and
return the results in JSON.
-- sentence --
早安‍


RESULTS:
{
  "results": [
    {
      "original": "早安",
      "translation": "Good morning"
    }
  ]
}

Hinweis: Standardmäßig enthält das generierte Schema ID-Felder, die für Referenzen verwendet werden, wodurch Token verschwendet werden können. Code, der diese nicht verwendeten IDs entfernt, finden Sie im Repository OpenAI JSON Mode Sample.

Und schließlich ist hier der Code, der die Eingabeaufforderung mithilfe des Azure OpenAI Java SDK an OpenAI sendet:

record Entries(List<entry> entries) {
    record Entry(String originalWord, String wordInEnglish, String pronunciation) {}
}
</entry>

Die Lösung funktioniert meistens gut. Das LLM versteht das JSON-Schema effektiv, aber Vorsicht: Ich habe Fälle gesehen, in denen es manchmal etwas falsch macht. Wenn es sich bei einem Feld beispielsweise um einen String handelt und sein Name im Plural steht (z. B. „exampleValues“), besteht das LLM manchmal darauf, stattdessen ein Array von Strings zurückzugeben.

LLMs können bemerkenswerte Ergebnisse erzielen, die manchmal die Fähigkeiten einer durchschnittlichen Person übertreffen. Es ist jedoch faszinierend, dass sie zumindest im Moment mit der alltäglicheren Aufgabe zu kämpfen haben, ihre generierte Ausgabe zuverlässig zu formatieren.

Das obige ist der detaillierte Inhalt vonVereinfachen der Datenextraktion mit OpenAI JSON-Modus und JSON-Schemas. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!