Nutzung generativer KI mit Python

KI ist die Zukunft und als Softwareentwickler ist es das heißeste Berufsfeld. Durch die Nutzung von LLMs in Ihrem Code können Sie intelligentere Anwendungen erstellen, die komplexe Aufgaben wie Echtzeit-Stimmungsanalysen oder die Interpretation von benutzergenerierten Inhalten bewältigen. Durch die Integration von LLMs wird Ihre Software reaktionsfähiger und leistungsfähiger, was die Benutzererfahrung und die Automatisierung verbessert.

Dieser Beitrag ist eine Einführung in die Durchführung von LLM-Aufrufen mit Python, damit Sie damit beginnen können, diese leistungsstarken Funktionen zu Ihrem eigenen Code hinzuzufügen.

Wir beginnen mit der Erstellung eines Chatbots für jeden Charakter Ihrer Wahl. Anschließend erfahren Sie, wie Sie kleinere Texte zusammenfassen und sogar ganze Bücher zusammenfassen. Abschließend erfahren Sie, wie Sie die vom LLM bereitgestellten Ergebnisse erneut auffordern und analysieren.

Wir stellen unsere erste LLM-Anfrage

Für die LLM-Anfragen verwenden wir Groq. Wenn Sie dort ein Konto erstellen, können Sie deren API nutzen und kostenlos LLM-Anfragen stellen.

Um Python für diese Anfragen zu verwenden, installieren Sie das Groq-Python-Paket, indem Sie pip install groq ausführen. Dann importieren wir es wie folgt in unseren Code:

import os
from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

Stellen Sie sicher, dass Sie den API-Schlüssel als Umgebungsvariable festlegen.

Eine einfache LLM-Anfrage kann gestellt werden, indem man Folgendes hinzufügt:

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

In diesem Fall bitten wir den LLM zu erklären, was Formel 1 ist. Die Ausgabe von llama3-8b sollte gedruckt werden, sobald Sie das Programm in Ihrer Konsole ausführen. Sie können damit herumspielen und das Modell sowie die Eingabeaufforderung wechseln.

Erstellen eines benutzerdefinierten Chatbots

Jetzt erstellen wir einen Chatbot für jeden Charakter, den Sie mögen – zum Beispiel Mario. Im Moment antwortet der LLM in einem neutralen/informativen Ton. Indem wir dem LLM jedoch eine Systemrolle zuweisen, können wir sicherstellen, dass er genau so reagiert, wie Mario es tun würde, und dem Gespräch Persönlichkeit und Spaß verleiht. Dies gibt den Ton für Interaktionen vor, sodass Sie spielerische und ikonische Antworten wie „Das bin ich, Mario!“ erhalten. um die Dinge spannend zu halten.

Fügen wir unserer Anfrage eine Systemrolle hinzu:

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
        },
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Jetzt erklärt das LLM, was die Formel 1 in Bezug auf Mario Kart ist!

Systemrollen eignen sich auch hervorragend für andere Anwendungsfälle, wie z. B. virtuelle Kundenbetreuer, pädagogische Tutoren oder kreative Schreibhelfer, um sicherzustellen, dass der LLM auf eine Weise reagiert, die der spezifischen Stimmung und den Bedürfnissen jeder Rolle entspricht.

Text zusammenfassen

Da wir nun ein wenig darüber wissen, wie man LLM-Anfragen mit einer bestimmten Eingabeaufforderung und Systemrolle stellt, versuchen wir, ein Zusammenfassungstool zu erstellen.

Erstellen Sie im selben Verzeichnis eine Textdatei mit dem Namen „article.txt“ und fügen Sie einen beliebigen Artikel Ihrer Wahl ein. Stellen Sie bei diesem Schritt sicher, dass der Artikel nicht zu lang ist.

Im Code laden wir zuerst diesen Text.

import os
from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

Jetzt erstellen wir eine Eingabeaufforderung, die wir an das LLM senden können und die es anweist, den Text in Aufzählungspunkten zusammenzufassen.

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Wir schreiben zunächst die Eingabeaufforderung auf und geben dem LLM klare und prägnante Anweisungen. Anschließend liefern wir den Text, den es zusammenfassen soll.

Jetzt müssen wir nur noch das LLM mit der soeben erstellten Eingabeaufforderung aufrufen:

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
        },
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Führen Sie dies aus und Sie sollten eine Zusammenfassung mit Stichpunkten des Artikels sehen, den Sie dem LLM gegeben haben!

Versuchen Sie nun, einen wirklich langen Artikel einzufügen, oder vielleicht sogar ein ganzes Buch – wie „Die Metamorphose“ von Franz Kafka.

Beachten Sie, dass das LLM mit einem Fehler zurückkommt. Du hast zu viel gegeben, um alles auf einmal zusammenzufassen.

Ein Buch zusammenfassen

Das Kontextfenster in einem LLM bezieht sich auf die Textmenge, die es in einem einzigen Aufruf verarbeiten und speichern kann. Das heißt, es eignet sich zwar hervorragend für die Zusammenfassung eines Artikels auf einmal, kann aber nicht ein ganzes Buch auf einmal verarbeiten, da der Text seine Kapazität übersteigt, ihn aufzunehmen und eine zusammenhängende Antwort zu generieren.

Also, wie können wir das beheben? Wir können dies erreichen, indem wir das Buch „aufteilen“. Wir teilen das Buch in „Blöcke“ auf, die für das LLM bewältigbar sind, und weisen es an, diese zusammenzufassen. Sobald wir dann Zusammenfassungen für jeden der Abschnitte haben, können wir diese Zusammenfassungen zu einer zusammenhängenden Zusammenfassung zusammenfassen.

Sie können die Zeichenfolge wie folgt in Abschnitte aufteilen (achten Sie darauf, Textumbruch zu importieren):

with open('article.txt', 'r') as file:
    content = file.read()

Sie können die Breite später ändern und sehen, was Ihnen gefällt und die besten Ergebnisse liefert.

Da wir nun alle diese Blöcke haben, fassen wir sie alle zusammen und speichern die Antwort in einer Variablen namens „Antworten“.

prompt = f"""
Summarize the following text in bullet points for easy reading.

Text:
{content}
"""

Wenn Sie diesen Code ausführen und Antworten drucken, sollten Sie eine lange Zeichenfolge mit Zusammenfassungen von Aufzählungspunkten für jeden von ihm erstellten „Block“/Abschnitt sehen.

Jetzt müssen wir das LLM nur noch einmal verwenden, um eine zusammenhängende Zusammenfassung aller Abschnittszusammenfassungen zu erstellen.

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": prompt,
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Wenn Sie nun den Code ausführen, sollten Sie eine Zusammenfassung des gesamten Buchs sehen! Bemerkenswert, oder?

Hinweis: Je nachdem, wie groß das Buch ist, müssen Sie es möglicherweise mehrmals aufteilen bzw. den LLM anweisen, kürzere Antworten bereitzustellen. Wenn es zu viele „Chunk“-Zusammenfassungen gibt, ist die endgültige Zusammenfassungsaufforderung möglicherweise immer noch zu groß.

Erneut auffordern

Vielleicht ist Ihnen aufgefallen, dass das LLM, obwohl wir es beispielsweise angewiesen haben, mit Aufzählungspunkten zu antworten, nicht immer die gleiche Antwort liefert. Manchmal kann eine Überschrift oder eine kleine Erklärung hinzugefügt werden. Manchmal werden nur die Aufzählungspunkte bereitgestellt.

Für einen Programmierer kann es manchmal schwierig sein, die Ergebnisse zu verarbeiten. Wie stellen wir sicher, dass das LLM konsistentere Antworten in einem bestimmten Format liefert?

Lassen Sie uns ein Stimmungsanalysetool erstellen. Wir werden dem LLM eine traurige Geschichte erzählen und ihm einen Stimmungswert von -1 bis 1 geben.

So:

import os
from groq import Groq

client = Groq(
    api_key=os.environ.get("GROQ_API_KEY"),
)

Wenn Sie dies mehrmals ausführen, können Sie feststellen, dass die Antwort nicht immer das von uns angegebene Format hat. Wenn wir uns jedoch auf dieses Format verlassen wollten, um die Zahl zu extrahieren und weitere Berechnungen durchzuführen, wäre das frustrierend. Eine unsachgemäße Handhabung kann zum Absturz unseres Programms führen.

Re-Prompting ist der Prozess der Anpassung und Verfeinerung der Eingaben an einen LLM, um ihn zu einer gewünschten Reaktion oder einem gewünschten Format zu führen. Um ein Format für ein Sentiment-Tool zu validieren, das die Ausgabe als „Sentiment: 0,5“ erfordert, können Sie das LLM erneut auffordern, indem Sie Ihre Eingabeaufforderung anpassen, um das Modell klar anzuweisen, nur den Sentiment-Score in genau diesem Format zurückzugeben und so die Konsistenz sicherzustellen Antwort.

Wir können eine Funktion erstellen, die prüft, ob das erwartete Format mit Regex bereitgestellt wurde (stellen Sie also sicher, dass Sie Regex importieren).

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Nachdem wir nun die Antwort vom LLM erhalten haben, können wir diese Funktion aufrufen. Wenn die Funktion „true“ zurückgibt, wissen wir, dass wir das richtige Format haben. Wenn es „false“ zurückgibt, wissen wir, dass wir das LLM erneut auffordern und es erneut versuchen sollten.

chat_completion = client.chat.completions.create(
    messages=[
        {
            "role": "system",
            "content": "You are a super mario chatbot. Always answer in his style, and create witty responses."
        },
        {
            "role": "user",
            "content": "Explain formula 1.",
        }
    ],
    model="llama3-8b-8192",
)
print(chat_completion.choices[0].message.content)

Natürlich handelt es sich hierbei um eine sehr einfache erneute Aufforderung. Das LLM könnte bei diesem zweiten LLM-Aufruf immer noch das falsche Format bereitstellen. Allerdings sollten Sie jetzt eine viel höhere Erfolgsquote bei konsistent formatierten Antworten haben.

Mit diesen Tools und Techniken sind Sie jetzt in der Lage, LLMs in Ihren Python-Code zu integrieren und Ausgaben effektiv zu validieren. Bitte zögern Sie nicht, bei Fragen einen Kommentar abzugeben!

Wenn Sie den vollständigen Code sehen möchten, besuchen Sie bitte das Github-Repository.

P.S.: Dies ist die Blog-Beitragsversion eines Workshops, den ich zum ACM-Kapitel der SCU gegeben habe.

Das obige ist der detaillierte Inhalt vonNutzung generativer KI mit Python. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!