Fine-penalaan Phi-3.5 pada dataset klasifikasi e-dagang

Microsoft's Phi-3.5 Keluarga Model Bahasa Besar (LLMS) memasuki arena kompetitif bersama Meta AI. Butiran tutorial ini menyempurnakan model PHI-3.5 untuk klasifikasi produk e-dagang menggunakan deskripsi teks. Kami akan meliputi pemuatan model, penalaan halus dengan LORA (penyesuaian peringkat rendah), menggabungkan berat yang disesuaikan dengan model asas, dan penempatan pada muka memeluk untuk kebolehcapaian awan.

Tutorial ini meneroka keluarga model PHI-3.5 Microsoft, yang terdiri daripada PHI-3.5-Mini, PHI-3.5-Vision, dan Model Campuran-of-Experts (MOE), PHI-3.5-MOE.

Phi-3.5-mini cemerlang dalam sokongan berbilang bahasa dengan panjang konteks 128K, memberikan prestasi yang setanding dengan model yang lebih besar. PHI-3.5-Vision adalah model multimodal ringan yang mahir dalam pemahaman imej berbilang bingkai. PHI-3.5-MOE, dengan 16 pakar dan parameter 6.6 bilion, menawarkan ciri-ciri keselamatan yang tinggi dan kukuh.

Tutorial memberi tumpuan kepada menggunakan Phi-3.5-mini-Instruct.

mengakses dan menggunakan phi-3.5-mini-instruct

Bahagian ini membimbing anda melalui memuatkan model dan melakukan kesimpulan pada platform kaggle.

bermula dengan sesi kaggle yang dibolehkan T4X2 GPU.

Pasang pakej python yang diperlukan:
2. dan

   . transformers accelerate

Muatkan model dan tokenizer menggunakan perpustakaan
3. . Paip generasi teks kemudiannya dibuat.

   transformers

Kesimpulan ditunjukkan dengan pertanyaan sampel ("Apakah bangunan tertinggi di dunia?"). Tindak balas model adalah tepat dan terperinci.
Contoh Prompt Custom mempamerkan keupayaan model untuk mengklasifikasikan interaksi pelanggan dalam tetapan pusat panggilan, dengan berkesan mengenal pasti aktiviti penipuan.
Untuk bantuan dengan persediaan Kaggle, rujuk kepada buku nota Kaggle yang disediakan.

Fine-Tuning Phi-3.5-Mini-Instruct untuk klasifikasi e-dagang

Bahagian ini memperincikan penalaan model untuk klasifikasi produk e-dagang.

Sediakan buku nota kaggle dengan pecutan GPU, muka yang memeluk, dan kekunci API yang dikonfigurasi.

Pasang pakej yang diperlukan:

,

,
2. , bitsandbytes, dan transformers. Integrasi Berat & Bias juga dikonfigurasikan. accelerate peft trl
3. beban dan pra-proses dataset e-dagang (deskripsi produk dan kategori). Dataset digerakkan dan subset digunakan untuk latihan yang lebih cepat.



4. Muatkan model dan tokenizer kuantitatif 4-bit.

5. Model ini dinilai

   sebelum penalaan halus untuk menubuhkan prestasi asas.



LORA dikonfigurasikan untuk menyempurnakan lapisan model tertentu, meningkatkan kecekapan latihan. Hyperparameter ditetapkan untuk proses latihan.
Pelatih penalaan halus (SFT) yang diawasi diasaskan.
Model ini dilatih menggunakan fungsi
8. . Kerugian latihan dipantau melalui berat & bias.

   trainer.train()

penilaian selepas latihan menunjukkan peningkatan ketepatan yang signifikan.

model dan tokenizer yang diselaraskan dengan baik.

10. Untuk alternatif penalaan halus yang lebih mudah, rujuk kepada tutorial yang dicadangkan.

11. menggabungkan dan mengeksport model halus

Bahagian ini menerangkan menggabungkan LORA dengan model asas dan menolaknya untuk memeluk wajah.

Notebook Kaggle baru dicipta, dan buku nota yang disimpan yang mengandungi model halus ditambah sebagai input.

Kunci API muka yang memeluk ditetapkan sebagai pemboleh ubah persekitaran. Pakej yang diperlukan dipasang.

2. model asas dan halus dimuatkan.

3. LORA digabungkan dengan model asas menggunakan

   dan

   .

4. PeftModel.from_pretrained() Model yang digabungkan diuji untuk mengesahkan fungsi. model.merge_and_unload()

5. Model dan tokenizer yang digabungkan diselamatkan secara tempatan dan kemudian ditolak ke hab muka yang memeluk.

Untuk bantuan dengan penggabungan dan eksport model, rujuk kepada buku nota Kaggle yang disediakan.



Kesimpulan

7. Tutorial ini mempamerkan kecekapan dan keupayaan model PHI-3.5 Microsoft, terutamanya PHI-3.5-mini-instruct, menunjukkan peningkatan prestasi yang signifikan melalui penyesuaian penalaan dan LORA. Proses menggunakan model yang disempurnakan untuk memeluk muka juga terperinci, menjadikan model mudah diakses untuk kegunaan yang lebih luas. Tutorial ini menyimpulkan dengan mencadangkan idea -idea projek LLM selanjutnya.

Atas ialah kandungan terperinci Fine-penalaan Phi-3.5 pada dataset klasifikasi e-dagang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!