Estimation du coût de GPT en utilisant la bibliothèque Tiktoken à Python

Gérer les coûts du modèle Openai GPT dans Python est simplifié avec la bibliothèque tiktoken. Cet outil estime les dépenses d'appel de l'API en convertissant le texte en jetons, les unités fondamentales que GPT utilise pour le traitement du texte. Cet article explique la tokenisation, le codage des paires d'octets (BPE) et l'utilisation tiktoken pour la prédiction des coûts.

La tokenisation, l'étape initiale dans la traduction du langage naturel pour l'IA, divise le texte en unités plus petites (jetons). Il peut s'agir de mots, de parties de mots ou de caractères, selon la méthode. La tokenisation efficace est essentielle pour une interprétation précise, des réponses cohérentes et une estimation des coûts.

codage de paire d'octets (BPE)

BPE, une méthode de tokenisation proéminente pour les modèles GPT, équilibre les approches au niveau du caractère et au niveau des mots. Il fusionne itérativement les paires d'octets (ou de caractère) les plus fréquents dans de nouveaux jetons, se poursuivant jusqu'à ce qu'une taille de vocabulaire cible soit atteinte.

L'importance du BPE réside dans sa capacité à gérer un vocabulaire diversifié, y compris des mots rares et des néologismes, sans avoir besoin d'un vocabulaire excessivement important. Il y parvient en décomposant des mots rares en sous-mots ou caractères, permettant au modèle de déduire le sens des composants connus.

Caractéristiques clés du BPE:

• Réversibilité: Le texte d'origine peut être parfaitement reconstruit à partir de jetons.
• Polvylity: gère tout texte, même invisible pendant la formation.
• Compression: La version tokenisée est généralement plus courte que l'original. Chaque jeton représente environ quatre octets.
• Reconnaissance des sous-mots: Identifie et utilise des parties de mots communes (par exemple, "ing"), améliorant la compréhension grammaticale.

tiktoken: Algorithme BPE rapide d'Openai

tiktoken est l'algorithme BPE à grande vitesse d'OpenAI (3-6x plus rapidement que les alternatives open-source comparables, selon leur github). Sa version open source est disponible dans diverses bibliothèques, y compris Python.

La bibliothèque prend en charge plusieurs méthodes de codage, chacune adaptée à différents modèles.

Estimation des coûts GPT avec tiktoken dans Python

tiktoken code pour les jetons, permettant une estimation des coûts avant les appels d'API.

Étape 1: Installation

!pip install openai tiktoken

Étape 2: Chargez un codage

utiliser tiktoken.get_encoding ou tiktoken.encoding_for_model:

!pip install openai tiktoken

Étape 3: coder le texte

encoding = tiktoken.get_encoding("cl100k_base")  # Or: encoding = tiktoken.encoding_for_model("gpt-4")

Le nombre de jetons, combiné avec les prix d'Openai (par exemple, les jetons d'entrée de 10 $ / 1 M pour GPT-4), fournit une estimation des coûts. La méthode tiktoken S decode inverse le processus.

Conclusion

tiktoken Élimine la conjecture de l'estimation des coûts GPT. En comprenant la tokenisation et le BPE, et en utilisant tiktoken, vous pouvez prédire et gérer avec précision vos dépenses d'appel de l'API GPT, optimiser votre utilisation et votre budget. Pour des plongées plus profondes dans les intégres et l'utilisation de l'API OpenAI, explorez les ressources de Datacamp (liens fournis dans l'original).

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!