Heim > Artikel > Technologie-Peripheriegeräte > ChatGPT teilt mit, wie man eine LLM-Anwendung entwickelt

ChatGPT teilt mit, wie man eine LLM-Anwendung entwickelt

PHPznach vorne: 2023-04-12 21:43:042403Durchsuche

1Hintergrund

ChatGPT hat einen großen Schock in der Branche ausgelöst und in allen Gesellschaftsschichten wird über große Sprachmodelle und allgemeine künstliche Intelligenz diskutiert. KI hat eine mehr als fünfzigjährige Entwicklung hinter sich und befindet sich nun in einer kritischen Phase der horizontalen Entwicklung der Industriestruktur. Dieser Wandel ist auf den Paradigmenwechsel im Bereich NLP zurückzuführen, der sich von „Vortraining + Feinabstimmung“ zu „Vortraining, Aufforderung und Vorhersage“ entwickelt hat. In diesem neuen Modell passen sich nachgelagerte Aufgaben an das vorab trainierte Modell an, sodass ein großes Modell für mehrere Aufgaben geeignet ist. Dieser Wandel hat den Grundstein für die horizontale Arbeitsteilung in der KI-Branche gelegt. Nach und nach sind große Sprachmodelle entstanden, die sich auf die Verbindung von Benutzern und Modellen konzentrieren. Die Arbeitsteilung in der KI-Branche hat zunächst Gestalt angenommen, einschließlich der zugrunde liegenden Infrastruktur (Cloud-Dienstanbieter), großen Modellen, Prompt-Engineering-Plattformen und Terminalanwendungen. Da sich die KI-Branche verändert, können Entwickler große Sprachmodelle (LLM) und Prompt Engineering voll ausschöpfen, um innovative Anwendungen zu entwickeln.

2 Anwendung unter Prompt-Ops

Derzeit müssen wir eine Anwendung auf Basis von LLM entwickeln. Was ist das größte technische Problem, mit dem wir konfrontiert sind?

Das große Sprachmodell kann nicht mit dem Internet verbunden werden und kann nicht die neuesten Informationen abrufen
Das große Sprachmodell verfügt nicht über unsere privaten Daten und kann keine vertikalen Fragen beantworten
Die offene API (text-davinci-003) des Großes Sprachmodell ist nicht wie ChatGPT Hervorragende kontextbezogene Funktionen
Große Sprachmodelle können andere Tools nicht steuern.

2.1 Engineering-Frameworks wie Langchain lösen diese Engineering-Probleme

Nehmen Sie Langchain als Beispiel, um es einfach auszudrücken: LangChain ist eine Kapselung der zugrunde liegenden Fähigkeiten von LLM und eine Art Prompt Engineering oder Prompt-Ops.

Es kann auf verschiedene LLM-Dienste zugreifen und die Aufrufe verschiedener großer Sprachmodelle abstrahieren.
Es kann verschiedene PromptTemplates erstellen, um benutzerdefinierte Prompt-Vorlagen zu implementieren Dinge, in denen GPT-3 derzeit nicht gut ist, wie Suchen/Mathematik/Verknüpfen privater Datenbanken/Python-Code
Es kann Agenten verwenden, um LLM zu steuern, um zu bestimmen, welche Aktionen in welcher Reihenfolge ausgeführt werden sollen. Aktionen können darin bestehen, ein Tool zu verwenden und seine Ausgabe zu beobachten, oder es kann an den Benutzer zurückgegeben werden.
Über sein Speichermodul kann die Konversationsverlaufsmodellierung realisiert werden.
2.2 Einige Beispiele für die Langchain-Entwicklung

Dies ist ein Beispiel für einen Demo-Vergleich mit ChatGPT und LangChain. Die Eingabe lautet: „Wer ist Jay Chous Frau?“ wird ihr aktuelles Alter mit 0,23 multipliziert?“ Es ist ersichtlich, dass die Antwortergebnisse von ChatGPT oder GPT-3.5 falsch sind, da sie keine Suchfunktionen haben. Die API, die LangChain in Kombination mit GPT-3.5 von OpenAI verwendet, gibt das richtige Ergebnis aus. Sie sucht nach und nach nach den richtigen Informationen und erhält das richtige Ergebnis, und der Zwischenprozess wird vom Framework automatisch verarbeitet Fragen. ChatGPT teilt mit, wie man eine LLM-Anwendung entwickelt

2.2.2 Konvertieren Sie natürliche Sprache in Python-Code und korrigieren Sie Fehler selbst.

ChatGPT teilt mit, wie man eine LLM-Anwendung entwickelt Dies ist ein sehr schockierendes Beispiel. In diesem Prozess werden undefinierte Funktionsfehler selbst gefunden und korrigiert. 2.2.3 Abfragen von NBA-Daten mit GPT-3 + Statmuse + Langchain Kombiniert, stellen Sie komplexe Datenfragen und erhalten Sie genaue Antworten. Zum Beispiel: „Wie hoch sind die durchschnittlichen Defensivpunkte der Boston Celtics pro Spiel in dieser NBA-Saison 2022–2023? Wie verändert sich die prozentuale Veränderung im Vergleich zum Durchschnitt der letzten Saison?“

2.2.4 Connect Python REPL öffnet den Browser um Musik abzuspielen

Eine hübsche Science-Fiction-Szene. Ich habe Langchain verwendet, um eine Verbindung zum Python REPL-Tool herzustellen, „Spiel mir ein Lied“ eingegeben, das WebBrowser-Paket importiert, den Code zum Öffnen des Browsers aufgerufen und es für mich abgespielt . Lied „never gonna give you up“

def pythonTool():
bash = BashProcess()
python_repl_util = Tool(
"Python REPL",
PythonREPL().run,
"""A Python shell. Use this to execute python commands. 
Input should be a valid python command.
If you expect output it should be printed out.""",
)
command_tool = Tool(
name="bash",
descriptinotallow="""A Bash shell. Use this to execute Bash commands. Input should be a valid Bash command.
If you expect output it should be printed out.""",
func=bash.run,
)
# math_tool = _get_llm_math(llm)
# search_tool = _get_serpapi()
tools = [python_repl_util, command_tool]
agent = initialize_agent(tools, llm, agent="zero-shot-react-description", verbose=True)
agent.run("给我播放一首音乐")