Gemma 2 penalaan halus dan menggunakannya secara tempatan

Tutorial ini menunjukkan penalaan model Gemma 2 Google yang baik pada dataset perbualan pesakit-doktor dan menggunakannya untuk kegunaan luar talian. Kami akan meliputi penyediaan model, penalaan halus dengan LORA, penggabungan model, kuantisasi, dan penggunaan tempatan dengan aplikasi Jan.

Memahami Gemma 2

Gemma 2, Model Bahasa Besar Sumber Terbuka (LLM) terbaru Google, menawarkan versi parameter 9B dan 27B di bawah lesen permisif. Senibina yang lebih baik memberikan kesimpulan yang lebih cepat merentasi pelbagai perkakasan, mengintegrasikan dengan lancar dengan memeluk Transformers Face, Jax, Pytorch, dan Tensorflow. Ciri -ciri keselamatan yang dipertingkatkan dan alat penempatan AI etika juga disertakan.

Mengakses dan menjalankan Gemma 2

Bahagian ini butiran memuat turun dan menjalankan kesimpulan dengan kuantisasi 4-bit (diperlukan untuk kecekapan memori pada perkakasan pengguna).

1. Pasang pakej:

   Pasang , , dan bitsandbytes. transformers accelerate

2. Pengesahan muka memeluk:

   Gunakan token muka pelukan (diperoleh dari akaun muka pelukan anda) untuk mengesahkan.

3. Model beban dan tokenizer:

   Muatkan model menggunakan kuantisasi 4-bit dan pemetaan peranti yang sesuai. google/gemma-2-9b-it

4. kesimpulan:

   Buat prompt, tokenize itu, menghasilkan respons, dan menyahkodkannya.

Gemma Fine-Tuning 2 dengan LORA

Bahagian ini membimbing anda melalui Gemma 2 penalaan yang baik pada dataset penjagaan kesihatan menggunakan LORA (penyesuaian rendah peringkat) untuk latihan yang cekap.

persediaan:

Pasang pakej yang diperlukan (

,
1. ,

   , , , transformers, datasets). Mengesahkan dengan memeluk muka dan berat & bias. accelerate peft trl bitsandbytes wandb Model dan pemuatan tokenizer:

   beban Gemma 2 (9b-it) dengan kuantisasi 4-bit, menyesuaikan jenis data dan pelaksanaan perhatian berdasarkan keupayaan GPU anda. Konfigurasikan parameter lora.

2. Loading dataset:

   Beban dan pra -proses Dataset
, membuat format sembang yang sesuai untuk model.

4. Latihan: Tetapkan argumen latihan (laraskan hyperparameters seperti yang diperlukan) dan melatih model menggunakan SFTTrainer. Pantau kemajuan latihan dengan berat & bias.

5. Penilaian:

   Selesaikan berat & bias dijalankan untuk menghasilkan laporan penilaian.

6. Menyimpan model:

   Simpan penyesuai LORA yang disesuaikan secara tempatan dan tolak ke hab muka yang memeluk.

menggabungkan model penyesuai dan asas

Langkah ini menggabungkan penyesuai LORA yang disesuaikan dengan model asas Gemma 2 untuk satu model yang boleh dikeluarkan. Ini dilakukan pada CPU untuk menguruskan kekangan memori.

Persediaan:

Buat buku nota baru (berasaskan CPU), pasang pakej yang diperlukan, dan sahkan dengan muka yang memeluk.

1. Beban dan gabungan:

   Muatkan model asas dan penyesuai yang disimpan, kemudian bergabung dengan mereka menggunakan
.

2. PeftModel.merge_and_unload() Simpan dan tolak:

   Simpan model yang digabungkan dan tokenizer secara tempatan dan tolak mereka ke hab muka yang memeluk.
mengira dengan ruang muka yang memeluk

Gunakan GGUF Repo My Repo memeluk ruang muka untuk dengan mudah menukar dan mengukur model ke format GGUF untuk penggunaan tempatan yang optimum.

menggunakan model halus di dalam negara dengan Jan

Muat turun dan pasang aplikasi Jan.

Muat turun model kuantitatif dari hab muka yang memeluk.

1. Muatkan model pada Jan, laraskan parameter (berhenti urutan, penalti, token max, arahan), dan berinteraksi dengan model yang disempurnakan.

3. Kesimpulan

Tutorial ini menyediakan panduan yang komprehensif untuk menyempurnakan dan menggunakan Gemma 2. Ingatlah untuk menyesuaikan hiperparameter dan tetapan berdasarkan perkakasan dan dataset anda. Pertimbangkan untuk meneroka Keras 3 untuk latihan dan kesimpulan yang berpotensi lebih cepat.

Atas ialah kandungan terperinci Gemma 2 penalaan halus dan menggunakannya secara tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!