Penalaan halus LLAMA atau Klasifikasi Teks dengan Sumber Terhad

Baru-baru ini saya perlu mengklasifikasikan ayat untuk kes penggunaan tertentu di tempat kerja. Mengingati Pelajaran 4 Jeremy Howard: Bermula dengan NLP untuk pemula mutlak, saya mula-mula menyesuaikan buku notanya untuk memperhalusi DEBERTA.

Ia berkesan, tetapi tidak memuaskan hati saya, jadi saya ingin tahu apa yang akan berlaku jika saya menggunakan LLM seperti LLAMA 3. Masalahnya? Sumber GPU terhad. Saya hanya mempunyai akses kepada contoh Tesla/Nvidia T4.

Penyelidikan membawa saya ke QLORA. Tutorial ini tentang Penalaan Halus LLama 3 LLM untuk Klasifikasi Teks Sentimen Saham menggunakan QLoRA ini amat berguna. Untuk lebih memahami tutorial, saya menyesuaikan Pelajaran 4 ke dalam buku nota tutorial QLORA.

QLORA menggunakan dua teknik utama:

1. Kuantisasi: Mengurangkan ketepatan model, menjadikannya lebih kecil.
2. LORA (Penyesuaian Peringkat Rendah): Menambah lapisan kecil yang boleh dilatih dan bukannya memperhalusi keseluruhan model.

Ini membolehkan saya melatih LLAMA 3 8B pada 16GB VRAM T4, menggunakan kira-kira 12GB VRAM. Hasilnya sangat baik, dengan ketepatan ramalan melebihi 90%.

Confusion Matrix:
[[83  4]
[ 4  9]]
Classification Report:
              precision    recall  f1-score   support
         0.0       0.95      0.95      0.95        87
         1.0       0.69      0.69      0.69        13
    accuracy                           0.92       100
   macro avg       0.82      0.82      0.82       100
weighted avg       0.92      0.92      0.92       100
Balanced Accuracy Score: 0.8231653404067196
Accuracy Score: 0.92

Berikut ialah buku nota iPython yang memperincikan prosesnya.

Pendekatan ini menunjukkan kemungkinan untuk berfungsi dengan model bahasa besar pada perkakasan terhad. Bekerja dengan kekangan selalunya membawa kepada penyelesaian masalah dan peluang pembelajaran yang kreatif. Dalam kes ini, batasan mendorong saya untuk meneroka dan melaksanakan teknik penalaan halus yang lebih cekap.

Atas ialah kandungan terperinci Penalaan halus LLAMA atau Klasifikasi Teks dengan Sumber Terhad. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!