Rumah >pembangunan bahagian belakang >Tutorial Python >Menyerahkan Kerja Penalaan Halus: Mengatur Tenaga Kerja

Menyerahkan Kerja Penalaan Halus: Mengatur Tenaga Kerja

DDD
DDDasal
2025-01-06 16:44:40781semak imbas

Submitting a Fine-Tuning Job: Organising the Workforce

Enam Tiga Lapan bergantung pada disiplin dan penyelarasan untuk melaksanakan misi mereka. Kami akan mencerminkan perkara ini dengan membuat dan menyerahkan kerja penalaan halus, membolehkan LLM belajar daripada set data susun atur kami.

Penalaan Halus dengan OpenAI

Apabila anda membuat kerja penalaan halus melalui client.fine_tuning.job.create(), anda menyerahkan konfigurasi dan set data anda kepada OpenAI untuk latihan. Di bawah ialah parameter utama dan tujuannya.


1. Gambaran Keseluruhan Parameter

model

  • Penerangan: Model GPT pra-latihan yang ingin anda perhalusi.
  • Contoh: "gpt-3.5-turbo", "davinci", "gpt-4-mini" (hypothetical).

fail_latihan

  • Penerangan: ID fail bagi fail JSONL yang dimuat naik yang mengandungi data latihan anda.
  • Nota: Dapatkan ID ini dengan memuat naik set data anda dengan Files API dan menyimpan file_id.

hiperparameter

  • Penerangan: Kamus yang menyatakan hiperparameter penalaan halus.
  • Medan Utama:
    • batch_size: Bilangan contoh setiap kelompok (auto secara lalai).
    • learning_rate_multiplier: Faktor skala untuk kadar pembelajaran (auto secara lalai).
    • n_epochs: Bilangan zaman (melepasi seluruh set data).

akhiran

  • Perihalan: Rentetan tersuai (sehingga 18 aksara) dilampirkan pada nama model yang diperhalusi.

benih

  • Penerangan: Integer untuk kebolehulangan.
  • Penggunaan: Memastikan rawak yang sama dan hasil latihan yang konsisten merentas larian.

fail_pengesahan

  • Perihalan: ID fail fail JSONL yang mengandungi set pengesahan anda.
  • Pilihan: Tetapi disyorkan untuk menjejaki pemasangan lampau dan memastikan model yang digeneralisasikan dengan baik.

integrasi

  • Perihalan: Senarai penyepaduan (cth., Berat & Pincang) yang anda mahu dayakan untuk kerja itu.
  • Medan: Biasanya termasuk konfigurasi jenis dan penyepaduan khusus.

client.fine_tuning.job.create(
    model="gpt-3.5-turbo",
    training_file="train_id",
    hyperparameters={
        "n_epochs": 1
    },
    validation_file="val_id"
)

Menguruskan Kerja Penalaan Halus
Mendapatkan sehingga 10 kerja penalaan halus.

client.fine_tuning.jobs.list(limit=10)


Dapatkan Kerja Tertentu

client.fine_tuning.retrieve("job_id")



Senaraikan Acara untuk Pekerjaan

client.fine_tuning.list_events(
    fine_tuning_job_id="xxxx",
    limit=5
)

Ringkasan

  • Pemilihan Model: Pilih model GPT yang sesuai untuk diperhalusi.

  • Penyediaan Data: Muat naik fail JSONL dan catatkan ID mereka.

  • Hiperparameter: Sesuaikan saiz kelompok, kadar pembelajaran dan zaman untuk prestasi optimum.

  • Pemantauan: Gunakan fail pengesahan, perolehan kerja dan pengelogan acara untuk memastikan model anda berlatih dengan berkesan.

  • Kebolehulangan: Tetapkan benih jika hasil yang konsisten adalah penting untuk aliran kerja anda.

  • Dengan mengikut langkah-langkah ini, anda akan mendapat laluan yang jelas untuk menyerahkan dan mengurus kerja penalaan halus anda dalam OpenAI, memastikan model anda dilatih dengan tepat pada data tersuai anda.

Atas ialah kandungan terperinci Menyerahkan Kerja Penalaan Halus: Mengatur Tenaga Kerja. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn