Llama.cpp Tutorial: Panduan Lengkap untuk Kesimpulan dan Pelaksanaan LLM yang cekap

llama.cpp: alternatif yang ringan dan mudah alih untuk kesimpulan model bahasa yang besar

Model Bahasa Besar (LLMS) sedang mengubah industri, menggunakan aplikasi dari chatbots perkhidmatan pelanggan ke alat analisis data canggih. Walau bagaimanapun, penggunaannya yang meluas sering dihalang oleh keperluan untuk perkakasan yang kuat dan masa tindak balas yang cepat. Model-model ini biasanya menuntut perkakasan yang canggih dan kebergantungan yang luas, menjadikan mereka mencabar untuk digunakan dalam persekitaran yang terkawal sumber. Llama.cpp (atau llama c) menawarkan penyelesaian, memberikan alternatif yang lebih ringan dan lebih mudah alih untuk kerangka yang lebih berat.

logo llama.cpp (sumber)

Dibangunkan oleh Georgi Gerganov, llama.cpp dengan cekap melaksanakan seni bina Llama Meta di C/C. Ia mempunyai komuniti sumber terbuka yang bersemangat dengan lebih daripada 900 penyumbang, 69,000 bintang GitHub, dan 2,600 siaran.

Kelebihan utama llama.cpp untuk kesimpulan LLM

Keserasian Universal:

Reka bentuk CPU-First memudahkan integrasi di pelbagai persekitaran dan platform pengaturcaraan.
• Kekayaan ciri:
Semasa memberi tumpuan kepada fungsi tahap rendah teras, ia mencerminkan keupayaan peringkat tinggi Langchain, memperkemas perkembangan (walaupun skalabilitas mungkin menjadi pertimbangan masa depan).
• Pengoptimuman yang disasarkan:
menumpukan pada seni bina Llama (menggunakan format seperti GGML dan GGUF) menghasilkan keuntungan kecekapan yang signifikan.
• Tutorial ini membimbing anda melalui contoh penjanaan teks menggunakan llama.cpp, bermula dengan asas -asas, alur kerja, dan aplikasi industri.

Llama.cpp Architecture

Llama.cpp's Foundation adalah model Llama yang asal, berdasarkan seni bina pengubah. Pemaju menggabungkan beberapa penambahbaikan dari model seperti Palm:

Perbezaan seni bina antara Transformers dan Llama (oleh Umar Jamil)

perbezaan seni bina utama termasuk:

pra-normalization (gpt3):

Meningkatkan kestabilan latihan menggunakan RMSNorm.

Fungsi pengaktifan swiglu (sawit): menggantikan relu untuk peningkatan prestasi.
• embeddings rotary (gpt-neo):
Menambah tali selepas mengeluarkan endi mutlak.
• menyediakan persekitaran
• Prasyarat:
  • python (untuk pip)
  • llama-cpp-python (Python mengikat untuk llama.cpp)

  Membuat persekitaran maya

  Untuk mengelakkan konflik pemasangan, buat persekitaran maya menggunakan conda:

  conda create --name llama-cpp-env
  conda activate llama-cpp-env

  Pasang perpustakaan:

  pip install llama-cpp-python  # or pip install llama-cpp-python==0.1.48

  Sahkan pemasangan dengan membuat skrip python mudah (llama_cpp_script.py) dengan: from llama_cpp import Llama dan menjalankannya. Ralat import menunjukkan masalah.

  Memahami Asas Llama.cpp

  Kelas Core Llama mengambil beberapa parameter (lihat dokumentasi rasmi untuk senarai lengkap):

  • model_path: jalan ke fail model.
  • prompt: input prompt.
  • device: cpu atau gpu.
  • max_tokens: token maksimum yang dihasilkan.
  • stop: Senarai rentetan untuk menghentikan generasi.
  • temperature: mengawal rawak (0-1).
  • top_p: Mengawal kepelbagaian ramalan.
  • echo: Sertakan prompt dalam output (benar/palsu).

  Contoh instantiation:

  from llama_cpp import Llama
  
  my_llama_model = Llama(model_path="./MY_AWESOME_MODEL")
  
  # ... (rest of the parameter definitions and model call) ...

  projek llama.cpp pertama anda

  Projek ini menggunakan versi GGUF Zephyr-7b-beta dari muka yang memeluk.

  

  model zephyr dari muka memeluk (sumber)

  Struktur Projek: [Imej menunjukkan struktur projek]
  Model Loading:

  from llama_cpp import Llama
  
  my_model_path = "./model/zephyr-7b-beta.Q4_0.gguf"
  CONTEXT_SIZE = 512
  
  zephyr_model = Llama(model_path=my_model_path, n_ctx=CONTEXT_SIZE)

  Fungsi Generasi Teks:

  def generate_text_from_prompt(user_prompt, max_tokens=100, temperature=0.3, top_p=0.1, echo=True, stop=["Q", "\n"]):
      # ... (model call and response handling) ...

  Pelaksanaan Utama:

  if __name__ == "__main__":
      my_prompt = "What do you think about the inclusion policies in Tech companies?"
      response = generate_text_from_prompt(my_prompt)
      print(response) # or print(response["choices"][0]["text"].strip()) for just the text

  llama.cpp Aplikasi dunia nyata
  Contoh: ETP4Africa menggunakan llama.cpp untuk aplikasi pendidikannya, mendapat manfaat daripada kemudahalihan dan kelajuan, yang membolehkan bantuan pengekodan masa nyata.
  Kesimpulan
  Tutorial ini menyediakan panduan yang komprehensif untuk menubuhkan dan menggunakan llama.cpp untuk kesimpulan LLM. Ia meliputi persediaan persekitaran, penggunaan asas, contoh penjanaan teks, dan senario aplikasi dunia sebenar. Penjelajahan lanjut Langchain dan Pytorch digalakkan.
  FAQS

  (Soalan Lazim tetap sama seperti dalam input asal, hanya diformat untuk kebolehbacaan yang lebih baik)

Atas ialah kandungan terperinci Llama.cpp Tutorial: Panduan Lengkap untuk Kesimpulan dan Pelaksanaan LLM yang cekap. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!