Cara menjalankan alpaca-lora pada peranti anda

Sebagai generatif AI terus menjadi popular, pemaju di seluruh dunia telah merebut peluang untuk membina aplikasi yang menarik menggunakan bahasa semula jadi. Baru -baru ini, alat yang dipanggil Chatgpt telah sangat menarik.

ChatGPT adalah model bahasa yang dibangunkan oleh OpenAI untuk bertindak sebagai chatbot berkuasa AI yang mampu perbualan seperti manusia. Walaupun ia adalah alat yang sangat berguna, ia bukan tanpa masalah. ChatGPT bukan sumber terbuka, yang bermaksud kod sumber tidak boleh diakses dan tidak boleh diubah suai. Ia juga sangat intensif sumber, yang menjadikan bangunan anda sendiri sebagai penyelesaian yang buruk.

Isu-isu ini telah menghasilkan pelbagai alternatif untuk chatgpt, seperti alpaca-lora, yang boleh berjalan seperti chatgpt tetapi mempunyai lesen sumber terbuka dan keperluan sumber yang kurang.

Dalam tutorial ini, kami akan memberi tumpuan kepada Alpaca-Lora. Kami akan merangkumi apa itu, prasyarat yang diperlukan untuk menjalankannya pada peranti anda, dan langkah -langkah untuk melaksanakannya.

Apa itu Alpaca Lora?

Awal Mac 2023, Eric J. Wang mengeluarkan projek Alpaca-Lora. Ini adalah projek yang mengandungi kod untuk menghasilkan semula hasil Standford Alpaca menggunakan Parameter Eficial Fine Tweak (PEFT);

Penyesuaian Rendah-Rank (LORA) untuk model bahasa yang besar adalah kaedah yang digunakan untuk mempercepatkan proses latihan model yang besar sambil mengurangkan penggunaan memori.

ia berfungsi seperti berikut:

• Beku berat yang sedia ada . Fikirkan model sebagai rangkaian kompleks nod yang saling berkaitan (mereka adalah "berat"). Biasanya, anda menyesuaikan semua nod ini semasa latihan untuk memperbaiki model. "Jangan sentuh ini; mari kita simpan seperti itu."
• Tambah berat baru . Lora kemudian menambah beberapa sambungan baru yang lebih mudah (berat baru) ke rangkaian ini.
• hanya melatih berat baru . Daripada menyesuaikan keseluruhan rangkaian kompleks, fokus pada peningkatan sambungan baru ini.

Dengan melakukan ini, anda boleh menjimatkan masa dan memori komputer semasa masih membuat model anda melakukan lebih baik dalam tugas.

kelebihan lora

Kelebihan Lora termasuk:

• Porability - Matriks berat penguraian pangkat mengandungi parameter yang lebih sedikit dilatih daripada model asal;
• Kebolehcapaian -LORA telah ditunjukkan dengan ketara mengurangkan penggunaan memori GPU berbanding dengan penalaan halus tradisional;

Alpaca: Model Sumber Terbuka

Sebaliknya, alpaca adalah arahan sumber terbuka yang menyempurnakan model bahasa AI berdasarkan model bahasa yang besar Meta AI (LLAMA). Ia telah dibangunkan oleh sekumpulan penyelidik di Stanford University untuk membuat model bahasa besar (LLMS) lebih mudah diakses.

Ini membawa kepada alpaca-lora.

Model Alpaca-Lora adalah versi yang kurang memakan sumber dari model Stanford Alpaca, yang menggunakan LORA untuk mempercepatkan proses latihan sambil memakan memori yang kurang.

prasyarat Alpaca-Lora

Untuk menjalankan model Alpaca-Lora secara tempatan, anda mesti mempunyai GPU. Ia boleh menjadi GPU spec rendah, seperti Nvidia T4, atau GPU gred pengguna seperti 4090. Menurut Eric J. Wang, pencipta projek, model "mengambil jam untuk berjalan pada RTX 4090."

** NOTA: Arahan dalam artikel ini ikuti arahan yang disediakan oleh Eric J. Wang dalam pangkalan kod Alpaca-Lora. *

kaedah untuk menjalankan alpaca-lora dalam empat langkah

Langkah 1: Buat persekitaran maya (pilihan)

Persekitaran maya adalah bekas terpencil untuk menyimpan kebergantungan yang berkaitan dengan python yang diperlukan oleh projek tertentu. Ini membantu memisahkan kebergantungan yang diperlukan oleh projek yang berbeza, menjadikannya lebih mudah untuk berkongsi projek dan mengurangkan konflik pergantungan.

menggunakannya untuk menjalankan model Alpaca-Lora tidak wajib, tetapi ia disyorkan.

untuk mewujudkan persekitaran maya di command prompt pada sistem operasi Windows, jalankan arahan berikut:

<code>py -m venv venv</code>

Ini akan mewujudkan persekitaran maya yang dipanggil VENV dalam direktori kerja semasa anda.

** NOTA: Anda boleh menggantikan venv kedua dengan nama yang anda inginkan untuk nama pilihan anda. *

anda mesti mengaktifkan persekitaran maya sebelum memasang sebarang kebergantungan. Jalankan arahan berikut untuk mengaktifkan persekitaran maya anda:

<code>venv\Scripts\activate.bat</code>

Apabila anda tidak lagi menggunakan persekitaran maya, jalankan arahan berikut untuk menyahaktifkannya:

<code>deactivate</code>

Sekarang anda boleh mula menjalankan Alpaca-Lora.

Langkah 2: Tetapkan

Langkah pertama dalam menjalankan model Alpaca-Lora adalah untuk mengklonkan pangkalan kod dari GitHub dan memasang kebergantungan yang diperlukan untuk dilaksanakan.

Pasang asas kod GitHub dengan arahan berikut:

<code>git clone https://github.com/tloen/alpaca-lora.git</code>

kemudian gunakan arahan berikut untuk menavigasi ke alpaca-lora codebase yang baru anda pasang:

<code>cd alpaca-lora</code>

dan jalankan arahan berikut untuk memasang kebergantungan:

<code>pip install -r requirements.txt</code>

Langkah 3: Fine-Tune model (pilihan)

Pangkalan kod alpaca-lora mengandungi fail bernama Finetune.py. Finetune.py mengandungi aplikasi mudah untuk parameter yang cekap-penalaan (PEFT) untuk digunakan untuk model Llama, antara lain.

Jika anda ingin menyesuaikan hiperparameter model, anda mesti melaksanakan fail ini, tetapi ini bukan keperluan wajib. Menurut pengarang codebase, "Tiada penalaan hiperparameter diperlukan, model LORA menghasilkan output yang setanding dengan model Stanford Alpaca. Penalaan lebih lanjut dapat mencapai prestasi yang lebih baik ..."

Berikut adalah contoh cara menggunakan fail finetune.py:

<code>python -m finetune.py \
    --base_model 'decapoda-research/llama-7b-hf' \
    --data_path 'yahma/alpaca-cleaned' \
    --output_dir './lora-alpaca' \
    --batch_size 128 \
    --micro_batch_size 4 \
    --num_epochs 3 \
    --learning_rate 1e-4 \
    --cutoff_len 512 \
    --val_set_size 2000 \
    --lora_r 8 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[q_proj,v_proj]' \
    --train_on_inputs \
    --group_by_length</code>

Langkah 4: Jalankan model/kesimpulan

Pangkalan kod alpaca-lora juga mempunyai fail yang dipanggil Generate.py. Penjanaan pelaksanaan.py akan melakukan perkara berikut:

• baca model asas dari memeluk Pusat Model Face
• baca berat model dari tloen/alpaca-lora-7b
• Melancarkan antara muka Gradio di mana kesimpulan dilakukan pada input yang ditentukan.

Pada masa penulisan, penyesuai Alpaca-Lora terkini yang digunakan untuk melatih model adalah Alpaca-Lora-7b. Ini dilakukan pada 26 Mac, 2023 dengan perintah berikut:

<code>py -m venv venv</code>

Jika anda ingin menggunakan penyesuai yang berbeza, anda boleh melakukannya dengan menjalankan fail Generate.py dengan pautan ke sasaran penyesuai pilihan anda.

<code>venv\Scripts\activate.bat</code>

Ringkasan

Alpaca-Lora adalah versi yang kurang memakan sumber dari model Stanford Alpaca. Ia mencapai ini dengan memanfaatkan penyesuaian peringkat rendah (LORA) model bahasa yang besar, yang mempercepat proses latihan sambil memakan memori yang kurang daripada model Alpaca yang asal.

Ketahui lebih lanjut mengenai model bahasa besar (LLMS) dan AI generatif dengan tutorial berikut:

• Pengenalan kepada meta ai llama
• Cara Melatih LLM dengan Pytorch: Panduan Langkah demi Langkah

Atas ialah kandungan terperinci Cara menjalankan alpaca-lora pada peranti anda. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!