OpenAI -Plattform gegen Google AI Studio für Finetuning LLM

Feinabstimmung große Sprachmodelle (LLMs) ist eine wesentliche Technik, um LLMs für bestimmte Anforderungen anzupassen, z. OpenAI und Google AI Studio sind zwei Hauptplattformen, die Tools für diesen Zweck mit unterschiedlichen Funktionen und Workflows anbieten. In diesem Artikel werden wir untersuchen, wie diese Plattformen in Feinabstimmungsaufgaben mit meinen zuvor geschriebenen Artikeln als Trainingsdaten ausgeführt werden. Wir werden die Fähigkeit der OpenAI-Plattform und des Google AI Studio bewerten, LLMs zu feinstimmen, um Inhalte zu generieren, die meinen Schreibstil widerspiegeln.

Inhaltsverzeichnis

• OpenAI -Plattform
  • Datenvorbereitung
  • Code -Implementierung
  • Feinabstimmung in der OpenAI-Plattform
• Google AI Studio
  • Daten hochladen
  • Feinabstimmung im AI-Studio
• Häufig gestellte Fragen

OpenAI -Plattform

Die OpenAI-Plattform bietet eine umfassende Lösung für Feinabstimmungsmodelle, mit der Benutzer sie für bestimmte Aufgaben anpassen und optimieren können. Diese Plattform unterstützt eine Vielzahl von Modellen, darunter GPT-4O und GPT-4O-Mini. OpenAI bietet auch Leitlinien für die Datenvorbereitung, das Modelltraining und die Bewertung. Durch die Nutzung der OpenAI -Plattform können Benutzer die Leistung von Modellen in bestimmten Domänen verbessern. Dies macht sie für gezielte Anwendungen effektiver und effizienter.

Die Kosten für die Feinabstimmung sind wie folgt:

Modell	Preisgestaltung
GPT-4O-2024-08-06	$ 3.750 / 1m Eingangs -Token $ 15.000 / 1 m Ausgangszeichen $ 25.000 / 1m Trainingstoken
GPT-4O-Mini-2024-07-18	$ 0.300 / 1m Eingangs -Token $ 1,200 / 1m Ausgabe -Token $ 3.000 / 1m Trainingstoken

Die Kosten für die Inferenz für fein abgestimmte Modelle sind doppelt so hoch wie die von bereits bestehenden Modellen.

Datenvorbereitung

LLMs benötigen Daten, um für Feinabstimmungen in einem bestimmten Format zu sein. Hier ist ein Beispielformat für GPT-4O- und GPT-4O-Mini-Modelle.

 {"Nachrichten": [{"Rolle": "System", "Inhalt": "Marv ist ein sachlicher Chatbot, der auch sarkastisch ist."}, {"Rolle": "Benutzer", "Inhalt": "Was ist das Kapital Frankreichs?

Wenn wir das Modell fein stimmen, lernt es, Antworten zu erzeugen, die dem Inhalt der Assistenzrolle für einen bestimmten Inhalt der Benutzerrolle ähneln.

Da wir möchten, dass das Modell ähnliche Inhalte erstellt, die unseren ähnlich sind, sollten wir unsere Inhalte anstelle von Assistenteninhalten verwenden.

Betrachten wir diesen Inhalt aus einem meiner Artikel:

„Anstatt alle Knoten mithilfe eines Diagramms mit HNSW zu durchqueren, lokalisieren wir den Suchraum mit einem dynamischen Vantage -Point -Baum in diesem Algorithmus.

Diese Kombination aus der Verwendung von Baum und Grafik macht es zu einem der schnellsten und genauesten Algorithmen. “

Da wir möchten, dass die LLM Inhalte wie die oben genannten generiert, sollte sie als Assistenteninhalte wie folgt hinzugefügt werden:

 {"Rolle": "Assistant", "Inhalt": "Also, anstatt alle Knoten mithilfe eines Diagramms mit HNSW zu durchqueren, lokalisieren wir den Suchraum mit einem dynamischen Vantage -Point -Baum in diesem Algorithmus.

 Diese Kombination aus der Verwendung von Baum und Grafik macht es zu einem der schnellsten und genauesten Algorithmen. "}

Damit der LLM Inhalte wie diese generiert, benötigt sie Benutzerinhalte (dh ein Aufforderung). Da wir es nicht haben, können wir den Benutzerinhalt mit einem LLM generieren. Der Benutzerinhalt kann wie folgt sein:

 {"Rolle": "Benutzer", "Inhalt": "Können Sie erklären, wie die Kombination aus dynamischen Vantage -Punkt -Bäumen und hierarchisch -navigierbaren kleinen Welt (HNSW) -Andiagramme die Suche Effizienz und Genauigkeit in Algorithmen verbessert?"}

Wir fügen auch ein geeignetes System hinzu, das das Beispiel für unsere Feinabstimmung veranlasst

 {"Nachrichten": [{"Rolle": "System", "Inhalt": "Sie sind ein Assistent, der in einem klaren, informativen und ansprechenden Stil schreibt. "Assistant", "Inhalt": "Also, anstatt alle Knoten mithilfe von HNSW mithilfe von HNSW zu überqueren, lokalisieren wir den Suchraum mit einem dynamischen Vantage -Point -Baum in diesem Algorithmus. \ n Diese Kombination aus der Verwendung von Baum und Diagramm macht es zu einem der schnellsten und genauesten Algorithmen."

Wenn wir eine kleine Inhaltsgröße verwenden, ist es möglich, dass das Modell den Kontext verpasst. Wir müssen dies während der Datenvorbereitung berücksichtigen. Ich verwende hier nur 38 Beispiele, aber 100 bis 500 wären viel besser. Ich habe eine "my content.csv" -Datei erstellt, in der jede Zeile den Inhalt von mir unter dem Spaltennamen "Inhalt" geschrieben hat.

Gehen wir nun den Code durch, um die erforderlichen Daten im richtigen Format zu erstellen.

Code -Implementierung

OpenAI Version 1.57.0 wird hier verwendet.

1. Importieren Sie die Bibliotheken.

 aus dotenv import load_dotenv
load_dotenv ('/. env')
Pandas als PD importieren
Tiktoken importieren
von Openai Import Openai

# Initialisieren Sie den OpenAI -Kunden
client = openai ()

2. Überprüfen Sie die Token -Größe.

 df = pd.read_csv ('my content.csv')
coding = tiktoken.get_encoding ('O200K_Base')

Total_Token_Count = 0
Denn ich in df ['Inhalt']:
    token_count = len (coding.encode (i))
    Total_Token_Count = token_count

Das Zählen von Token hilft uns, die Kosten für die Feinabstimmung abzuschätzen.

3. Generieren Sie Benutzerinhalte für die LLM .

 Def generate_user_content (Assistant_response):
    
    # System_Message = {"Rolle": "System", "Inhalt": "Sie sind ein hilfreicher Assistent. Ihre Aufgabe ist es, eine Benutzerabfrage basierend auf der Antwort des Assistenten zu generieren."}
    
    System_Message = {"Rolle": "System", "Inhalt": "" Angesichts der Antwort des Assistenten erstellen Sie eine Benutzerabfrage oder 
    Anweisung, die logischerweise zu dieser Antwort führen würde. 
    Der Benutzerninhalt kann in Form einer Frage oder einer Anfrage zur Klärung erfolgen, die die auffordert 
    Assistent, um die bereitgestellte Antwort zu geben "" "}
    
    
    Assistant_Message = {"Rolle": "Assistant", "Inhalt": Assistant_Response}
    messages = [system_message, Assistant_message]

    response = client.chat.completions.create (
        Nachrichten = Nachrichten,
        model = "gpt-4o-mini",
        Temperatur = 1
    )

    user_content = response.choices [0] .message.content
    user_content zurückgeben

Wie wir sehen können, habe ich die Inhalte bereitgestellt, die ich als Assistenzinhalt geschrieben habe, und die LLM gebeten, Benutzerinhalte zu generieren.

 user_contents = []

Denn ich in df ['Inhalt']:
    user_content = generate_user_content (i)
    user_contents.append (user_content)
    
df ['user_content'] = user_contents

Wir können den generierten Benutzerinhalt dem DataFrame als Spalte hinzufügen. Die Daten sehen so aus:

Hier wird der Inhalt von mir geschrieben und user_content wird vom LLM generiert, um während der Feinabstimmung als Benutzerrolleinhalt (Eingabeaufforderung) zu verwenden.

Wir können die Datei jetzt speichern.

 df.to_csv ('user_content.csv', index = false)

4. Erstellen Sie die JSONL -Datei.

Jetzt können wir die obige CSV-Datei verwenden, um die JSONL-Datei bei Bedarf für die Feinabstimmung zu erstellen.

 messus = pd.read_csv ('user_content.csv')
messus.rename (columns = {'content': 'Assistant_Content'}, inplace = true)

mit Open ('messus_dataset.jsonl', 'w', coding = 'utf-8') als jsonl_file:
    
    Für _, Zeilen in messus.Iterrows ():
        
        user_content = row ['user_content']
        Assistant_Content = row ['Assistant_Content']

        JSONL_ENTRY = {
            "Nachrichten": [
                {"Rolle": "System", "Inhalt": "Sie sind ein Assistent, der in einem klaren, informativen und ansprechenden Stil schreibt."},
                {"Rolle": "Benutzer", "Inhalt": user_content},
                {"Rolle": "Assistant", "Inhalt": Assistant_Content}]
        }

        jsonl_file.write (json.dumps (jsonl_entry) '\ n')

Wie oben gezeigt, können wir den DataFrame durchführen, um die JSONL -Datei zu erstellen.

Feinabstimmung in der OpenAI-Plattform

Jetzt können wir 'messus_dataset.jsonl' verwenden, um Openai LLMs zu übereinstimmen.

Gehen Sie zur Website und melden Sie sich an, wenn Sie nicht bereits unterschrieben sind.

Wenn es keine Feinabstimmungsjobs gibt, lautet die Benutzeroberfläche wie folgt:

Wir können auf "More" erfahren, um alle für die Feinabstimmung erforderlichen Details zu erfahren, einschließlich der einstellbaren Hyperparameter.

Lassen Sie uns nun lernen, wie Sie ein Modell auf der OpenAI-Plattform einstellen.

1. Klicken Sie auf "Erstellen". Ein kleines Fenster öffnet sich.

2. Wählen Sie die Methode als "überwacht" aus
3. Wählen Sie das Basismodell entweder als "gpt-4o" oder "gpt-4o-mini" aus. Ich habe einen Fehler bekommen, als ich GPT-4O-Mini verwendet habe, also habe ich GPT-4O verwendet.
4. Laden Sie die JSONL -Datei hoch.
5. Fügen Sie "Suffix" hinzu, was für den Feinabstimmungsjob relevant ist
6. Verwenden Sie eine beliebige Zahl als "Samen" zur Reproduzierbarkeit.
7. Wählen Sie die Hyperparameter und lassen Sie sie die Standardwerte verwenden. In der oben genannten Dokumentation finden Sie Richtlinien zur Auswahl.

Jetzt können wir auf "Erstellen" klicken, um die Feinabstimmung zu starten.

Sobald die Feinabstimmung abgeschlossen ist, wird sie wie folgt angezeigt:

Wir können das fein abgestimmte Modell mit bereits bestehenden Modellantworten auf dem Spielplatz vergleichen, indem wir auf die Schaltfläche an der rechten Karton-Ecke klicken.

Hier ist ein Beispiel für Antworten, in denen beide Modelle verglichen werden:

Wie wir sehen können, gibt es einen signifikanten Unterschied zwischen den Reaktionen beider Modelle.

Wenn wir weitere Beispiele verwenden, können sich die Ergebnisse verbessern.

Lassen Sie uns nun etwas über Google AI Studio erfahren.

Google AI Studio

Google AI Studio ist ein webbasiertes Tool zum Erstellen von Anwendungen mithilfe von Gemini LLMs. Außerdem können Benutzer LLMs mit ihren eigenen Daten fein abteilen. Diese Anpassung verbessert die Leistung des Modells für bestimmte Aufgaben oder Branchen und macht es relevanter und effektiver. Die Feinabstimmung für Gemini-Modelle ist neu gestartet und derzeit nur für Gemini 1.5 Flash erhältlich. Die Abstimmung ist ab Januar 2025 kostenlos und die Inferenzkosten entsprechen den bereits bestehenden Modellen.

Erfahren Sie mehr: Googles AI Studio: Ihr Tor zu Geminis kreativem Universum!

Daten hochladen

Für Gemini -Modelle sollte das Datenformat wie folgt sein:

 Training_data = [<br><br> {"text_input": "1", "Ausgabe": "2"},<br><br> {"text_input": "3", "Ausgabe": "4"},]

Google AI Studio bietet eine GUI (grafische Benutzeroberfläche) zum Hochladen der Daten aus einer CSV -Datei. Um dies zu tun:

1. Öffnen Sie https://aistudio.google.com/prompts/new_data
2. Klicken Sie auf "Aktionen" und dann "Beispiele importieren".
3. Laden Sie dann die CSV -Datei hoch. Der Bildschirm sieht so aus:

4. Weisen Sie user_content als Eingabespalte und Inhalt als Ausgabespalte zu.
5. Importieren Sie dann die Beispiele. Wir können alle unnötigen Spalten löschen und dann die Daten mit der Schaltfläche "Speichern" in der oberen rechten Ecke speichern.

Feinabstimmung im AI-Studio

Um ein Modell zu übereinstimmen, gehen Sie zu https://aistudio.google.com/tune.

Der Bildschirm sieht so aus:

Befolgen Sie nun die folgenden Schritte:

1. Wählen Sie die importierten Daten im Dropdown -Menü aus.
2. Geben Sie dem abgestimmten Modell einen Namen.
3. Weitere Informationen zu erweiterten Einstellungen finden Sie unter https://ai.google.dev/gemini-api/docs/model-tuning.
4. Wenn Sie fertig sind, klicken Sie auf "Tune".

Sie finden die abgestimmten Modelle in der "Bibliothek" wie folgt:

Wir können das Modell auch im Chat wie im obigen Bild gezeigt verwenden.

Abschluss

Feinabstimmung große Sprachmodelle mithilfe von OpenAI-Plattform und Google AI Studio ermöglichen es Benutzern, Modelle auf bestimmte Anforderungen anzupassen. Dies könnte darin bestehen, dass die LLM einzigartige Schreibstile einnehmen oder ihre domänenspezifische Leistung verbessern. Beide Plattformen bieten intuitive Workflows für die Datenvorbereitung und -schulung und unterstützen strukturierte Formate, um das Modellverhalten zu optimieren. Mit zugänglichen Tools und klaren Dokumentationen befähigen sie den Benutzern, das volle Potenzial von LLMs zu erschließen, indem sie eng mit den gewünschten Aufgaben und Zielen ausgerichtet sind.

Häufig gestellte Fragen

Q1. Was ist eine Feinabstimmung im Kontext großer Sprachmodelle (LLMs)?

A. Feinabstimmung ist der Prozess der Schulung eines vorgeborenen Sprachmodells für benutzerdefinierte Daten, um sein Verhalten an bestimmte Aufgaben, Stile oder Domänen anzupassen. Es umfasst Beispiele für Eingabe-Output-Paare, um die Antworten des Modells in der Ausrichtung mit den Benutzeranforderungen zu leiten.

Q2. Welches Datenformat ist für die Feinabstimmung in OpenAI-Plattform und Google AI Studio erforderlich?

A. OpenAI -Plattform benötigt Daten in einem strukturierten JSONL -Format, in der Regel mit Rollen wie „System“, „Benutzer“ und „Assistent“. Google AI Studio verwendet ein einfacheres Format mit `text_input`- und` output'' -Feldern, wobei die Eingabe und die gewünschte Ausgabe klar definiert sind.

Q3. Wie viele Daten werden für eine effektive Feinabstimmung benötigt?

A. Während kleine Datensätze mit 30 bis 50 Beispielen einige Ergebnisse zeigen können, liefern größere Datensätze mit 100 bis 500 Beispielen im Allgemeinen eine bessere Leistung, indem das Modell vielfältige und kontextreiche Szenarien bereitgestellt wird.

Q4. Wie vergleichen sich die Kosten für die Feinabstimmung zwischen OpenAI-Plattform und Google AI Studio?

A. OpenAI-Gebühren für die Feinabstimmung basierend auf dem Token-Gebrauch während des Trainings mit höheren Kosten für größere Modelle. Google AI Studio bietet derzeit kostenlose Feinabstimmungen für Gemini 1.5-Flash-Modelle, was es zu einer kostengünstigen Wahl für das Experimentieren macht.

Q5. Was sind die wichtigsten Vorteile der Feinabstimmung eines LLM?

A. Die Feinabstimmung ermöglicht es Benutzern, ein Modell so anzupassen, dass sie sich an spezifische Anforderungen anpassen, z. B. Inhalte in einem bestimmten Ton oder Stil, die Genauigkeit für domänenspezifische Aufgaben und die Verbesserung des gesamten Benutzererlebnisses, indem das Modell für den beabsichtigten Anwendungsfall relevanter wird.

Das obige ist der detaillierte Inhalt vonOpenAI -Plattform gegen Google AI Studio für Finetuning LLM. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!