Menganggarkan kos GPT menggunakan perpustakaan tiktoken di python

Menguruskan kos model OpenAI GPT di Python dipermudahkan dengan perpustakaan tiktoken. Alat ini menganggarkan perbelanjaan panggilan API dengan menukar teks ke dalam token, unit asas GPT menggunakan untuk pemprosesan teks. Artikel ini menerangkan tokenisasi, pengekodan pasangan byte (BPE), dan menggunakan tiktoken untuk ramalan kos.

tokenisasi, langkah awal dalam menterjemahkan bahasa semulajadi untuk AI, memecahkan teks ke unit yang lebih kecil (token). Ini boleh menjadi kata -kata, bahagian perkataan, atau watak, bergantung kepada kaedah. Tokenisasi yang berkesan adalah penting untuk tafsiran yang tepat, tindak balas yang koheren, dan anggaran kos.

pengekodan pasangan byte (BPE)

BPE, kaedah tokenisasi yang menonjol untuk model GPT, mengimbangi pendekatan peringkat dan pendekatan peringkat. Ia secara berulang -alik menggabungkan pasangan byte (atau aksara) yang paling kerap menjadi token baru, berterusan sehingga saiz perbendaharaan kata sasaran dicapai.

Kepentingan BPE terletak pada keupayaannya untuk mengendalikan perbendaharaan kata yang pelbagai, termasuk kata -kata yang jarang berlaku dan neologisme, tanpa memerlukan perbendaharaan kata yang berlebihan. Ia mencapai ini dengan memecahkan kata-kata yang tidak biasa menjadi sub-perkataan atau aksara, yang membolehkan model menyimpulkan makna dari komponen yang diketahui.

Ciri -ciri BPE Utama:

Reversibility:
• Teks asal boleh direkonstruksi dengan sempurna dari token.
serba boleh:
• mengendalikan sebarang teks, walaupun tidak kelihatan semasa latihan.
Mampatan:
• Versi tokenized biasanya lebih pendek daripada yang asal. Setiap token mewakili kira -kira empat bait.
Pengiktirafan Subword:
• Mengenal pasti dan menggunakan bahagian perkataan biasa (mis., "ING"), Meningkatkan pemahaman tatabahasa.

: Algoritma BPE Fast Openai

tiktoken

adalah algoritma BPE berkelajuan tinggi OpenAI (3-6x lebih cepat daripada alternatif sumber terbuka yang setanding, menurut GitHub mereka). Versi sumbernya boleh didapati di pelbagai perpustakaan, termasuk Python.

tiktoken

Perpustakaan menyokong pelbagai kaedah pengekodan, masing -masing disesuaikan dengan model yang berbeza.

menganggarkan kos GPT dengan

dalam python

mengkodekan teks ke dalam token, membolehkan anggaran kos sebelum panggilan API. tiktoken

Langkah 1: Pemasangan tiktoken

Langkah 2: Muatkan pengekodan

!pip install openai tiktoken

Gunakan atau :

!pip install openai tiktoken

Langkah 3: encode teks

encoding = tiktoken.get_encoding("cl100k_base")  # Or: encoding = tiktoken.encoding_for_model("gpt-4")

kiraan token, digabungkan dengan harga Openai (mis., Token input $ 10/1m untuk GPT-4), memberikan anggaran kos. Kaedah tiktoken 'S decode membalikkan proses.

Kesimpulan

menghapuskan tekaan dalam anggaran kos GPT. Dengan memahami tokenisasi dan BPE, dan menggunakan tiktoken, anda boleh meramalkan dan mengurus perbelanjaan panggilan API GPT dengan tepat, mengoptimumkan penggunaan dan anggaran anda. Untuk menyelam yang lebih mendalam ke dalam embeddings dan penggunaan API terbuka, meneroka sumber DataCamp (pautan yang disediakan dalam asal). tiktoken

Atas ialah kandungan terperinci Menganggarkan kos GPT menggunakan perpustakaan tiktoken di python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!