Tiktoken Tutorial: Openai's Python Library für Tokenisierungstext

Partikelpartikel ist ein grundlegender Schritt bei der Behandlung von NLP -Aufgaben (Natural Language Processing). Es beinhaltet das Aufbrechen von Text in kleinere Einheiten, die als Markierungen bezeichnet werden und die Wörter, Subwörter oder Zeichen sein können.

Effiziente Wortsegmentierung ist für die Leistung von Sprachmodellen von entscheidender Bedeutung und macht sie zu einem wichtigen Schritt in einer Vielzahl von NLP -Aufgaben wie Textgenerierung, Übersetzung und Abstraktion.

Tiktoken ist ein schneller und effizienter Thesaurus, der von OpenAI entwickelt wurde. Es bietet eine leistungsstarke Lösung zum Konvertieren von Text in Tags und umgekehrt. Seine Geschwindigkeit und Effizienz machen es zu einer hervorragenden Wahl für Entwickler und Datenwissenschaftler, die mit großen Datensätzen und komplexen Modellen arbeiten.

Dieser Leitfaden richtet sich an Entwickler, Datenwissenschaftler und alle, die vorhaben, Tiktoken zu verwenden, und einen praktischen Leitfaden benötigt, der Beispiele enthält.

Grundlagen von OpenAI

Beginnen Sie mit OpenAI -API und mehr!

Starten Sie jetzt Sie können den Code für die Tiktoken Open Source Python -Version im folgenden Github -Repository anzeigen.

Um die Bibliothek zu importieren, führen wir aus:

<code>pip install tiktoken</code>

Codierungsmodell

Das Codierungsmodell in Tiktoken bestimmt die Regeln für das Aufbrechen von Text in Tags. Diese Modelle sind entscheidend, da sie definieren, wie Text segmentiert und codiert wird, was die Effizienz und Genauigkeit von Aufgaben der Sprachverarbeitung beeinflusst. Unterschiedliche OpenAI -Modelle verwenden unterschiedliche Kodierungen.

<code>import tiktoken</code>

Tiktoken bietet drei Codierungsmodelle, die für verschiedene Anwendungsfälle optimiert sind:

• O200K_Base: Codierung des neuesten GPT-4O-Mini-Modells.
• CL100K_BASE: Codierungsmodelle für neuere OpenAI-Modelle wie GPT-4 und GPT-3,5-Turbo.
• P50K_Base: Codex -Modelle, die in Codeanwendungen verwendet werden.
• R50K_Base: ältere Codierung für verschiedene Versionen von GPT-3.

Alle diese Modelle sind für die OpenAI -API verfügbar. Beachten Sie, dass die API viel mehr Modelle bietet als die hier aufgeführten. Glücklicherweise bietet die Tiktoken -Bibliothek eine einfache Möglichkeit, zu überprüfen, welche Codierung mit welchem ​​Modell verwendet werden sollte.

Wenn ich beispielsweise wissen muss, welches Codierungsmodell das textembeding-3-small-Modell verwendet, kann ich den folgenden Befehl ausführen und die Antwort als Ausgabe abrufen:

<code>pip install tiktoken</code>

wir erhalten als Ausgabe. Bevor wir Tiktoken direkt verwenden, möchte ich erwähnen, dass OpenAI über eine tokenisierte Webanwendung verfügt, in der Sie sehen können, wie unterschiedliche Zeichenfolgen tokenisiert sind - Sie können hier darauf zugreifen. Es gibt auch einen Online-Tagger von Drittanbietern, Tiktokenizer, der nicht offene Modelle unterstützt.

codieren Text als Marker

Um Text als Tag mit Tiktoken zu codieren, müssen Sie zunächst das codierte Objekt abrufen. Es gibt zwei Möglichkeiten, es zu initialisieren. Zunächst können Sie dies mit dem Namen des Tokenizers tun:

<code>import tiktoken</code>

Alternativ können Sie die zuvor erwähnte Coding_for_Model -Funktion ausführen, um den Encoder für ein bestimmtes Modell zu erhalten:

<code>print(tiktoken.encoding_for_model('text-embedding-3-small'))</code>

Jetzt können wir die Encodemethode des Cod -Objekts ausführen, um die Zeichenfolge zu codieren. Zum Beispiel können wir die Zeichenfolge "Ich liebe DataCamp" wie folgt codieren - hier verwende ich den CL100K_Base -Encoder:

<code>encoding = tiktoken.get_encoding("[标记器名称]")</code>

wir bekommen [40, 3021, 2956, 34955] als Ausgang.

dekodieren Sie die Marke in Text

Um die Marke zurück zum Text zu dekodieren, können wir die Methode .decode () auf dem codierten Objekt verwenden.

dekodieren wir das folgende Tag [40, 4048, 264, 2763, 505, 2956, 34955]:

<code>encoding = tiktoken.encoding_for_model("[模型名称]")</code>

Diese Markierungen werden dekodiert als "Ich habe viel aus DataCamp gelernt".

Praktische Anwendungsfälle und Tipps

Zusätzlich zu Codierung und Dekodierung dachte ich auch an zwei andere Anwendungsfälle.

Kostenschätzung und Verwaltung

Verstehen von Tag -Zählen, bevor eine Anfrage an die OpenAI -API gesendet wird, können Sie die Kosten effizient verwalten. Da die Abrechnung von OpenAI auf der Anzahl der verarbeiteten Tags basiert, können Sie mit dem vor markierten Text die Kosten der API-Nutzung schätzen. Hier erfahren Sie, wie Sie Tags im Text mit Tiktoken berechnen:

<code>print(encoding.encode("我爱 DataCamp"))</code>

Wir müssen nur die Länge des Arrays überprüfen, um zu sehen, wie viele Markierungen wir erhalten. Indem Sie die Anzahl der Tags im Voraus kennen, können Sie entscheiden, ob Sie den Text verkürzen oder die Nutzung anpassen sollen, um in Ihrem Budget zu bleiben.

Sie können mehr über diese Methode in diesem Tutorial zur Schätzung der Kosten von GPT mithilfe der Tiktoken -Bibliothek in Python erfahren.

Eingangslänge Überprüfung

Wenn Sie OpenAI -Modelle aus der API verwenden, sind Sie durch die maximale Anzahl von Markerneingangs- und Ausgaben begrenzt. Das Überschreiten dieser Grenzwerte kann zu Fehlern führen oder zugeschnitten werden. Mit Tiktoken können Sie die Eingangslänge überprüfen und sicherstellen, dass sie das Markierungslimit entspricht.

Schlussfolgerung

Tiktoken ist ein Open -Source -Thesaurus, der Geschwindigkeit und Effizienz bietet, die auf das OpenAI -Sprachmodell zugeschnitten sind.

Lernen, wie man Tiktoken verwendet, um Text zu codieren und zu dekodieren, und seine verschiedenen Codierungsmodelle können Ihre Arbeit mit großen Sprachmodellen erheblich verbessern.

Holen Sie sich die Top -AI -Zertifizierung

beweisen Sie, dass Sie AI effektiv und verantwortungsbewusst verwenden können. Holen Sie sich zertifiziert, werden Sie eingestellt

Das obige ist der detaillierte Inhalt vonTiktoken Tutorial: Openai's Python Library für Tokenisierungstext. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!