Memahami Format OpenAI JSONL: Menyusun Rekod

Pada hari-hari awal mengisih mel untuk perkhidmatan pos, Six Triple Eight menghadapi cabaran dengan surat yang dikembalikan ditandakan sebagai tidak sah. Ini selalunya disebabkan oleh ralat yang berpunca daripada kekurangan pengalaman terdahulu mereka memproses jumlah mel yang begitu besar. Lama kelamaan, mereka membangunkan sistem pengindeksan yang inovatif untuk memadankan nama dengan rejimen dan pangkat, meningkatkan kecekapan dan ketepatan dengan ketara.

Begitu juga, apabila bekerja dengan Model Bahasa Besar (LLM) OpenAI, memahami dan mematuhi format input yang diperlukan adalah penting. Sama seperti mel yang diindeks secara tidak betul membawa kepada surat yang dikembalikan, data yang tidak diformatkan dengan baik boleh mengakibatkan penalaan halus yang tidak berkesan dan hasil yang tidak optimum. OpenAI menggunakan format JSONL (JSON Lines) sebagai rangka kerja organisasi untuk penalaan halus, memastikan data berstruktur dan sedia untuk diproses.

Mengapa Format JSONL?

Format JSONL membenarkan data disimpan dalam struktur baris demi baris, di mana setiap baris mewakili satu rekod dalam format JSON. Struktur ini padat, mudah dibaca dan serasi dengan API penalaan halus OpenAI. Pemformatan yang betul memastikan:

• Ketepatan: Model memproses data seperti yang dimaksudkan, mengelakkan ralat.

• Kecekapan: Penalaan halus menjadi lancar dengan struktur yang konsisten.

• Skalabiliti: Set data yang besar boleh diurus dengan berkesan tanpa konfigurasi yang kompleks.

Contoh Format JSONL untuk Penalaan Halus

Begini cara data biasanya diformatkan dalam JSONL untuk memperhalusi model OpenAI:

 openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":""},
            {"role":"assistant","content":""}
        ]
    }

Setiap rekod mempunyai tiga komponen utama:

• sistem: Gesaan diperlukan

• pengguna: Data sampel.

• pembantu: Label untuk data

Biar tukar

import  json
df = pd.read_csv('/content/dataset/train.csv', on_bad_lines='skip')

final_df = df.head(150)
total_tokens = cal_num_tokens_from_df(final_df,'gpt-3.5-turbo')
print(f"total {total_tokens}")


system ="You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"
with open('dataset/train.jsonl','w') as f:
  for _,row in final_df.iterrows():
    openai_format = {
        "message":[
            {"role":"system","content":system},
            {"role":"user","content":row['text']},
            {"role":"assistant","content":row['label']}
        ]
    }
    json.dump(openai_format,f)
    f.write('\n')

Sampel respons

{"message": [{"role": "system", "content": "You are a intelligent assistant designed to classify news articles into three categories :business ,entertainment,sport,tech,politics"}, {"role": "user", "content": "qantas considers offshore option australian airline qantas could transfer as"}, {"role": "assistant", "content": "business"}]}

Pengajaran daripada Enam Tiga Lapan

Cabaran awal Six Triple Eight dalam memproses mel menyerlahkan kepentingan penyediaan dan pembelajaran. Inovasi pengindeksan mereka memastikan bahawa rekod dipadankan dan dihantar dengan betul, sama seperti mematuhi format JSONL memastikan penalaan halus menghasilkan hasil yang berkesan dan tepat.

Apabila memperhalusi LLM, pemahaman dan penstrukturan data dalam format yang betul adalah sama pentingnya dengan perjalanan Six Triple Eight untuk menguasai seni pengisihan mel. Dengan belajar daripada sejarah dan teknologi, kami boleh mencapai hasil yang luar biasa dalam menyelesaikan cabaran logistik yang kompleks.

Atas ialah kandungan terperinci Memahami Format OpenAI JSONL: Menyusun Rekod. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!