Memeluk Face '

memanfaatkan kuasa memeluk kesimpulan generasi teks muka (TGI): pelayan LLM tempatan anda

Model bahasa yang besar (LLMs) merevolusi AI, terutamanya dalam penjanaan teks. Ini telah membawa kepada lonjakan alat yang direka untuk memudahkan penggunaan LLM. Memeluk Kesimpulan Generasi Teks Face (TGI) menonjol, menawarkan rangka kerja yang kuat dan siap pengeluaran untuk menjalankan LLMs secara tempatan sebagai perkhidmatan. Panduan ini meneroka keupayaan TGI dan menunjukkan cara memanfaatkannya untuk penjanaan teks AI yang canggih.

memahami pelukan muka tgi

TGI, kerangka karat dan Python, membolehkan penempatan dan penyediaan LLMS pada mesin tempatan anda. Berlesen di bawah HFoilv1.0, ia sesuai untuk kegunaan komersil sebagai alat tambahan. Kelebihan utamanya termasuk:

Generasi teks berprestasi tinggi:
• TGI mengoptimumkan prestasi menggunakan paralelisme tensor dan batching dinamik untuk model seperti Starcoder, Bloom, GPT-Neox, Llama, dan T5. Penggunaan sumber yang cekap:
Kod batch dan optimum yang berterusan meminimumkan penggunaan sumber semasa mengendalikan pelbagai permintaan secara serentak.
• fleksibiliti:
Ia menyokong ciri keselamatan dan keselamatan seperti watermarking, logit warping untuk kawalan bias, dan berhenti urutan.
• TGI menawarkan arsitektur yang dioptimumkan untuk pelaksanaan LLM yang lebih cepat seperti Llama, Falcon7b, dan Mistral (lihat dokumentasi untuk senarai lengkap).

mengapa memilih memeluk wajah tgi?

Hugging Face adalah hab pusat untuk LLMs sumber terbuka. Sebelum ini, banyak model terlalu intensif sumber untuk kegunaan tempatan, yang memerlukan perkhidmatan awan. Walau bagaimanapun, kemajuan seperti QLORA dan GPTQ kuantisasi telah membuat beberapa LLM boleh diurus pada mesin tempatan.

TGI menyelesaikan masalah masa permulaan LLM. Dengan mengekalkan model siap, ia memberikan respons segera, menghapuskan masa tunggu yang panjang. Bayangkan mempunyai titik akhir yang mudah diakses dengan pelbagai model bahasa peringkat atas.

kesederhanaan TGI patut diberi perhatian. Ia direka untuk penempatan lancar arkitek model yang diperkemas dan kuasa beberapa projek langsung, termasuk:

Hugging Chat

OpenAssistant

• nat.dev
• Nota Penting:
TGI kini tidak serasi dengan MAC GPU berasaskan lengan (M1 dan kemudian).

Menyediakan pelukan wajah tgi Dua kaedah dibentangkan: dari awal dan menggunakan Docker (disyorkan untuk kesederhanaan).

Kaedah 1: Dari awal (lebih kompleks)

1. Pasang karat: curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
2. Buat Persekitaran Maya Python: conda create -n text-generation-inference python=3.9 && conda activate text-generation-inference
3. Pasang Protok (versi 21.12 disyorkan): (Memerlukan sudo) Arahan yang ditinggalkan untuk keringkasan, rujuk teks asal.
4. klon repositori github: git clone https://github.com/huggingface/text-generation-inference.git
5. Pasang TGI: cd text-generation-inference/ && BUILD_EXTENSIONS=False make install

Kaedah 2: Menggunakan Docker (disyorkan)

1. Pastikan Docker dipasang dan berjalan.
2. (semak keserasian terlebih dahulu) Jalankan arahan Docker (contohnya menggunakan Falcon-7b): volume=$PWD/data && sudo docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data ghcr.io/huggingface/text-generation-inference:0.9 --model-id tiiuae/falcon-7b-instruct --num-shard 1 --quantize bitsandbytes Gantikan "all" dengan "0" jika menggunakan GPU tunggal.

menggunakan TGI dalam aplikasi

selepas melancarkan TGI, berinteraksi dengannya menggunakan permintaan pos ke titik akhir /generate (atau /stream untuk streaming). Contoh menggunakan python dan curl disediakan dalam teks asal. Perpustakaan Python text-generation (pip install text-generation) memudahkan interaksi.

petua praktikal dan pembelajaran selanjutnya

• Memahami Fundamental LLM: Biasakan diri anda dengan tokenisasi, mekanisme perhatian, dan seni bina pengubah.
• Pengoptimuman model: Ketahui cara menyediakan dan mengoptimumkan model, termasuk memilih model yang betul, menyesuaikan tokenizers, dan penalaan halus.
• strategi penjanaan: meneroka strategi penjanaan teks yang berbeza (carian tamak, carian rasuk, pensampelan atas-k).

Kesimpulan

memeluk wajah TGI menawarkan cara yang mesra pengguna untuk menggunakan dan menjadi tuan rumah LLMs secara tempatan, memberikan faedah seperti privasi data dan kawalan kos. Walaupun memerlukan perkakasan yang kuat, kemajuan baru -baru ini menjadikannya layak bagi banyak pengguna. Penjelajahan lanjut mengenai konsep dan sumber LLM maju (disebutkan dalam teks asal) sangat disyorkan untuk pembelajaran berterusan.

Atas ialah kandungan terperinci Memeluk Face '. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!