Penalaan Llama 2: Panduan Langkah demi Langkah untuk Menyesuaikan Model Bahasa Besar

Llama Meta mencetuskan lonjakan dalam pembangunan model bahasa besar (LLM), yang bertujuan untuk menyaingi model seperti GPT-3.5. Komuniti sumber terbuka dengan cepat menghasilkan model yang semakin kuat, tetapi kemajuan ini tidak tanpa cabaran. Banyak LLM sumber terbuka mempunyai lesen yang ketat (penggunaan penyelidikan sahaja), memerlukan belanjawan besar untuk penalaan halus, dan mahal untuk digunakan.

lelaran baru Llama menangani isu-isu ini dengan lesen komersial dan kaedah baru yang membolehkan penalaan halus pada GPU gred pengguna dengan memori terhad. Ini demokrasi AI, yang membolehkan organisasi yang lebih kecil membuat model yang disesuaikan.

Panduan ini menunjukkan penalaan Llama-2 di Google Colab, menggunakan teknik yang cekap untuk mengatasi kekangan sumber. Kami akan meneroka metodologi yang meminimumkan penggunaan memori dan mempercepatkan latihan.

imej yang dihasilkan oleh pengarang menggunakan dall-e 3

Fine-Tuning Llama-2: Panduan Langkah demi Langkah

Tutorial ini Fine-sees parameter 7 bilion model Llama-2 pada T4 GPU (tersedia di Google Colab atau Kaggle). VRAM 16GB T4 memerlukan penalaan halus yang cekap parameter, khususnya menggunakan Qlora (ketepatan 4-bit). Kami akan menggunakan ekosistem muka yang memeluk (Transformers, Mempercepatkan, PEFT, TRL, Bitsandbytes).

1. Persediaan:

Pasang perpustakaan yang diperlukan:

<code>%%capture
%pip install accelerate peft bitsandbytes transformers trl</code>

Modul Import:

<code>import os
import torch
from datasets import load_dataset
from transformers import (
    AutoModelForCausalLM,
    AutoTokenizer,
    BitsAndBytesConfig,
    TrainingArguments,
    pipeline,
    logging,
)
from peft import LoraConfig
from trl import SFTTrainer</code>

2. Pemilihan Model & Dataset:

Kami akan menggunakan NousResearch/Llama-2-7b-chat-hf (setara dengan mudah diakses dengan Llama-2 rasmi) sebagai model asas dan mlabonne/guanaco-llama2-1k sebagai dataset latihan kami yang lebih kecil.

<code>base_model = "NousResearch/Llama-2-7b-chat-hf"
guanaco_dataset = "mlabonne/guanaco-llama2-1k"
new_model = "llama-2-7b-chat-guanaco"</code>

Imej

yang menggambarkan model muka dan dataset yang memeluk disertakan di sini, sama seperti asal.

3. Memuatkan Data & Model:

Muatkan dataset:

<code>dataset = load_dataset(guanaco_dataset, split="train")</code>

Konfigurasi kuantisasi 4-bit menggunakan qlora:

<code>compute_dtype = getattr(torch, "float16")
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=compute_dtype,
    bnb_4bit_use_double_quant=False,
)</code>

Muatkan model Llama-2 dengan kuantisasi 4-bit:

<code>model = AutoModelForCausalLM.from_pretrained(
    base_model,
    quantization_config=quant_config,
    device_map={"": 0}
)
model.config.use_cache = False
model.config.pretraining_tp = 1</code>

Muatkan tokenizer:

<code>tokenizer = AutoTokenizer.from_pretrained(base_model, trust_remote_code=True)
tokenizer.pad_token = tokenizer.eos_token
tokenizer.padding_side = "right"</code>

imej yang menggambarkan qlora disertakan di sini, sama seperti asal.

4. Konfigurasi PEFT:

Tentukan parameter PEFT untuk penalaan halus yang cekap:

<code>peft_params = LoraConfig(
    lora_alpha=16,
    lora_dropout=0.1,
    r=64,
    bias="none",
    task_type="CAUSAL_LM",
)</code>

5. Parameter Latihan:

Tetapkan Hyperparameters Latihan (direktori output, zaman, saiz batch, kadar pembelajaran, dan lain -lain). Butiran sama dengan yang asal.

6. Fine-penalaan dengan SFT:

Gunakan SFTTrainer dari perpustakaan TRL untuk penalaan halus yang diselia:

<code>trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    peft_config=peft_params,
    dataset_text_field="text",
    max_seq_length=None,
    tokenizer=tokenizer,
    args=training_params,
    packing=False,
)

trainer.train()
trainer.model.save_pretrained(new_model)
trainer.tokenizer.save_pretrained(new_model)</code>

Tangkapan skrin

menunjukkan kemajuan latihan dan penjimatan model disertakan di sini, sama seperti asal.

7. Evaluasi:

Gunakan saluran paip transformers untuk menguji model halus. Contoh disediakan, sama seperti asal.

8. Visualisasi Tensorboard:

Pelancaran Tensorboard untuk memantau metrik latihan.

<code>%%capture
%pip install accelerate peft bitsandbytes transformers trl</code>

tangkapan skrin Tensorboard dimasukkan di sini, sama seperti asal.

Kesimpulan:

Panduan ini mempamerkan penalaan halus Llama-2 yang cekap pada perkakasan terhad. Penggunaan QLORA dan teknik lain menjadikan LLM canggih dapat diakses oleh khalayak yang lebih luas. Sumber -sumber dan laluan pembelajaran selanjutnya disebut pada akhirnya, sama seperti yang asal, tetapi tanpa panggilan pemasaran untuk tindakan.

Atas ialah kandungan terperinci Penalaan Llama 2: Panduan Langkah demi Langkah untuk Menyesuaikan Model Bahasa Besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!