Vorzugsabstimmung von OpenAI: Ein Leitfaden mit Beispielen

OpenAIs Präferenzfeinabstimmung (PFT): Eine Anleitung zum Ausrichten von LLMs mit den Benutzereinstellungen

Preference Fine-Tuning (PFT) ist eine leistungsstarke Technik zum Ausrichten von großsprachigen Modellen (LLMs) mit den Benutzerpräferenzen. Kürzlich von OpenAI eingeführt von PFT ergänzt die beaufsichtigte Feinabstimmung (SFT) und die Verstärkung der Feinabstimmung (RFT) als Methode zur Formmodellausgänge. Dieser Artikel enthält eine präzise Erklärung von PFT und demonstriert seine Anwendung mithilfe von OpenAIs Entwickler -Dashboard.

Verständnis von OpenAIs PFT

Im Gegensatz zu SFT, das sich auf die Erzeugung spezifischer Ausgänge für bestimmte Eingänge konzentriert, zielt PFT darauf ab, das Modell in Richtung bevorzugter Antworten zu führen und gleichzeitig unerwünschte zu vermeiden. Direkte Präferenzoptimierung (DPO), die Kerntechnik in OpenAIs PFT, ist eine einfache, aber effektive Ausrichtungsmethode. Im Gegensatz zu RLHF umgeht DPO die Komplexität von Belohnungsmodellen und optimiert direkt eine Verlustfunktion. Dies vereinfacht die Implementierung und verbessert die Recheneffizienz.

Der DPO-Datensatz besteht aus gepaarten Antworten für jede Eingabeaufforderung: eine bevorzugte und eine nicht bevorzugte. Für OpenAIs PFT muss dieser Datensatz mit der folgenden Struktur im JSONL -Format sein:

{
  "input": {
    "messages": [
      {
        "role": "user",
        "content": "Prompt text here"
      }
    ],
    "tools": [],
    "parallel_tool_calls": true
  },
  "preferred_output": [
    {
      "role": "assistant",
      "content": "Preferred response here"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "Non-preferred response here"
    }
  ]
}

Openai empfiehlt, SFT und PFT für eine optimale Ausrichtung zu kombinieren. PFT wird normalerweise nach dem ersten SFT in einem überwachten Datensatz angewendet.

Datensatzvorbereitung für PFT

Erstellen eines Präferenzdatensatzes beinhaltet die Erzeugung von Paaren von LLM-Ausgängen (z. B. unter Verwendung verschiedener Temperatureinstellungen) und dann eine andere LLM (idealerweise leistungsfähiger), um jedes Paar als "bevorzugt" und "nicht vorbereitet" zu kennzeichnen.

Dieses Tutorial verwendet einen vereinfachten Ansatz: Herunterladen eines bereits vorhandenen Präferenzdatensatzes (z. B.

von der Umarmung) und die Umstrukturierung der ersten 50 Zeilen mit einem Python-Skript. Dieses Skript wandelt den Datensatz in das erforderliche JSONL -Format für OpenAIs PFT um. argilla/ultrafeedback-binarized-preferences

# ... (Python code to process and convert the Hugging Face dataset to OpenAI's JSONL format is omitted for brevity but described in the original article) ...

Denken Sie daran, sicherzustellen, dass sich Ihr endgültiger Datensatz im JSONL -Format befindet, und entfernen Sie alle leeren Leitungen.

Openai's PFT

Sobald Ihr Datensatz fertig ist:

Zugriff auf das OpenAI -Dashboard.
Navigieren Sie zum Feinabstimmungsbereich und initiieren Sie einen neuen Feinabstimmungsjob.
Wählen Sie "Direkte Präferenzoptimierung" als Feinabstimmungsmethode.
Laden Sie Ihre vorbereiteten Trainings- und Validierungsdatensätze hoch (falls verfügbar).

OpenAI ermöglicht die Anpassung von Hyperparametern; Sie können das System jedoch automatisch optimale Einstellungen bestimmen lassen. Die Trainingszeit hängt von der Datensatzgröße ab.

Schlussfolgerung

Die PFT von

OpenAI, die DPO verwendet, bietet ein wertvolles Instrument zur Verfeinerung von LLM -Verhalten und der Ausrichtung auf die Benutzerpräferenzen. Durch die sorgfältige Vorbereitung des Datensatzes im angegebenen JSONL -Format können Sie die Infrastruktur von OpenAI nutzen, um einen maßgeschneiderten und wünschenswerten Modell -Reaktionsstil zu erreichen. Weitere Ressourcen für die Feinabstimmungsmethoden von OpenAI, einschließlich SFT und RFT, sind in den Links des Originalartikels verfügbar.

Das obige ist der detaillierte Inhalt vonVorzugsabstimmung von OpenAI: Ein Leitfaden mit Beispielen. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!