Cara Membina Aplikasi LLM Dengan Tutorial Langchain

Keupayaan model bahasa besar (LLMS) seperti OpenAI's GPT-3, Google Bert, dan Llama Meta mengubah pelbagai industri dengan membolehkan penjanaan pelbagai jenis teks, mulai dari kandungan pemasaran dan kod sains data ke puisi. Walaupun CHATGPT telah mendapat perhatian yang ketara kerana antara muka sembang yang mesra pengguna, banyak kemungkinan yang belum diterokai untuk memanfaatkan LLM dengan mengintegrasikannya ke dalam aplikasi perisian yang berbeza. Di sini, kami meneroka Langchain - rangka kerja Python sumber terbuka untuk membina aplikasi berdasarkan model bahasa yang besar seperti Gpt.

Ketahui lebih lanjut mengenai membina aplikasi AI dengan Langchain dalam aplikasi AI Multimodal Building kami dengan Langchain & Openai API AI Code bersama-sama

di mana anda akan mengetahui cara menyalin kandungan video YouTube dengan AI yang berbisik-ke-teks AI dan kemudian gunakan GPT untuk bertanya mengenai kandungan.

Apakah Model Bahasa Besar (LLMS)? Model Bahasa Besar (LLMS) merujuk kepada sistem kecerdasan buatan maju yang direka untuk memahami dan menjana teks seperti manusia. Model -model ini dilatih dengan banyak data, membolehkan mereka memahami corak kompleks, memahami nuansa bahasa, dan menghasilkan respons yang koheren. LLMS mempunyai keupayaan untuk melaksanakan pelbagai tugas yang berkaitan dengan bahasa, termasuk terjemahan bahasa, penyelesaian teks, ringkasan, dan bahkan terlibat dalam interaksi perbualan. GPT adalah contoh LLM.

LLM adalah sejenis AI generatif. Jika anda ingin belajar tentang AI generatif dan bagaimana ia dapat meningkatkan kreativiti anda, semak blog kami menggunakan AI generatif untuk meningkatkan kreativiti dan podcast kami, di dalam Revolusi AI Generatif. Anda juga boleh mendaftar untuk kursus yang akan datang pada konsep model bahasa yang besar.

Pengenalan kepada Langchain

Langchain adalah rangka kerja sumber terbuka yang direka untuk memudahkan perkembangan aplikasi yang dikuasakan oleh model bahasa besar (LLMS). Ia menawarkan suite alat, komponen, dan antara muka yang memudahkan pembinaan aplikasi LLM-centric. Dengan Langchain, ia menjadi mudah untuk menguruskan interaksi dengan model bahasa, dengan lancar menghubungkan komponen yang berbeza, dan menggabungkan sumber seperti API dan pangkalan data. Anda boleh membaca lebih lanjut mengenai Langchain untuk aplikasi kejuruteraan data dan data dalam artikel berasingan. 

Platform Langchain dilengkapi dengan koleksi API yang boleh dibenamkan oleh pemaju dalam aplikasi mereka, memperkasakan mereka untuk menanam keupayaan pemprosesan bahasa tanpa perlu membina segala -galanya dari bawah. Oleh itu, Langchain dengan cekap memudahkan proses membuat aplikasi berasaskan LLM, menjadikannya sesuai untuk pemaju merentasi spektrum kepakaran.

Aplikasi seperti chatbots, pembantu maya, utiliti terjemahan bahasa, dan alat analisis sentimen adalah semua contoh aplikasi berkuasa LLM. Pemaju memanfaatkan Langchain untuk membuat aplikasi berasaskan model bahasa yang dipesan dengan keperluan khusus.

Dengan kemajuan yang berterusan dan penggunaan pemprosesan bahasa semulajadi yang lebih luas, aplikasi potensi teknologi ini dijangka hampir tidak terbatas. Berikut adalah beberapa ciri penting Langchain:

1. Arahan yang boleh disesuaikan untuk memenuhi keperluan khusus anda

2. Membina komponen pautan rantai untuk senario penggunaan lanjutan

3. Mengintegrasikan model untuk pembesaran data dan mengakses keupayaan model bahasa terkemuka, seperti GPT dan HUBGFACE HUB.

4. Komponen serba boleh yang membolehkan pencampuran dan sepadan untuk keperluan spesifik

5. Memanipulasi konteks untuk menubuhkan dan membimbing konteks untuk ketepatan dan kepuasan pengguna yang dipertingkatkan

Menyediakan Langchain di Python

Memasang Langchain di Python cukup mudah. Anda boleh memasangnya dengan Pip atau Conda.

Pasang menggunakan PIP

pip install langchain

Pasang Menggunakan Conda

install langchain -c conda-forge

Ini akan menubuhkan keperluan asas Langchain. Kebanyakan kegunaan Langchain direalisasikan apabila ia diintegrasikan dengan penyedia model yang pelbagai, kedai data, dan sebagainya.

Secara lalai, kebergantungan yang diperlukan untuk integrasi ini tidak termasuk dalam pemasangan. Untuk memasang semua kebergantungan, anda boleh menjalankan arahan berikut:

pip install langchain[all]

Pilihan akhir adalah untuk membina perpustakaan dari sumber. Dalam kes itu, anda boleh mengklonkan projek dari repo githubnya.

Persediaan Alam Sekitar

Menggunakan Langchain biasanya memerlukan integrasi dengan pelbagai pembekal model, kedai data, API, dan komponen yang serupa. Seperti mana -mana integrasi, kita mesti menyediakan kunci API yang sesuai dan relevan untuk berfungsi Langchain. Terdapat dua cara untuk mencapai ini:

1. Menyediakan kunci sebagai pemboleh ubah persekitaran

OPENAI_API_KEY="..."

Jika anda lebih suka tidak menetapkan pembolehubah persekitaran, anda boleh lulus kunci secara langsung melalui parameter yang dinamakan OpenAI_API_KEY apabila memulakan kelas OpenAI LLM:

2. Sediakan kunci secara langsung dalam kelas yang berkaitan

pip install langchain

Komponen utama Langchain

Langchain menonjol kerana penekanannya terhadap fleksibiliti dan modulariti. Ia membongkar saluran paip pemprosesan bahasa semulajadi ke dalam komponen yang berasingan, membolehkan pemaju menyesuaikan aliran kerja mengikut keperluan mereka. Kesesuaian ini menjadikan Langchain sesuai untuk membina aplikasi AI di pelbagai senario dan sektor.

Komponen dan rantai

Di Langchain, komponen adalah modul yang melaksanakan fungsi tertentu dalam saluran paip pemprosesan bahasa. Komponen ini boleh dikaitkan dengan "rantai" untuk aliran kerja yang disesuaikan, seperti rantaian chatbot perkhidmatan pelanggan dengan analisis sentimen, pengiktirafan niat, dan modul penjanaan tindak balas.

templat prompt

Templat prompt boleh diguna semula yang telah ditetapkan semula di rantaian. Templat ini boleh menjadi dinamik dan boleh disesuaikan dengan memasukkan "nilai" tertentu. Sebagai contoh, segera meminta nama pengguna boleh diperibadikan dengan memasukkan nilai tertentu. Ciri ini bermanfaat untuk menjana arahan berdasarkan sumber dinamik.

kedai vektor

Ini digunakan untuk menyimpan dan mencari maklumat melalui embeddings, pada dasarnya menganalisis perwakilan berangka makna dokumen. Vectorstore berfungsi sebagai kemudahan penyimpanan untuk embeddings ini, yang membolehkan carian yang cekap berdasarkan persamaan semantik.

indeks dan pengambilan

Indeks bertindak sebagai pangkalan data menyimpan butiran dan metadata mengenai data latihan model, sementara pengambilan dengan cepat mencari indeks ini untuk maklumat khusus. Ini meningkatkan tindak balas model dengan menyediakan konteks dan maklumat yang berkaitan.

parsers output

parser output dimainkan untuk mengurus dan memperbaiki respons yang dihasilkan oleh model. Mereka boleh menghapuskan kandungan yang tidak diingini, menyesuaikan format output, atau menambah data tambahan kepada respons. Oleh itu, parser output membantu mengekstrak hasil berstruktur, seperti objek JSON, dari respons model bahasa.

Contoh pemilih

Contoh pemilih di Langchain berfungsi untuk mengenal pasti contoh yang sesuai dari data latihan model, dengan itu meningkatkan ketepatan dan pertaruhan respons yang dihasilkan. Pemilih ini boleh diselaraskan untuk memihak kepada jenis contoh tertentu atau menapis yang tidak berkaitan, memberikan respons AI yang disesuaikan berdasarkan input pengguna.

ejen

Ejen adalah contoh Langchain yang unik, masing -masing dengan petikan, memori, dan rantai tertentu untuk kes penggunaan tertentu. Mereka boleh digunakan di pelbagai platform, termasuk web, mudah alih, dan chatbots, yang memenuhi khalayak yang luas.

bagaimana membina aplikasi model bahasa di langchain

Langchain menyediakan kelas LLM yang direka untuk interfacing dengan pelbagai pembekal model bahasa, seperti OpenAI, Cohere, dan Hugging Face. Fungsi yang paling asas dari LLM menghasilkan teks. Ia sangat mudah untuk membina aplikasi dengan langchain yang mengambil rentetan rentetan dan mengembalikan output.

pip install langchain

output :

& gt; & gt; & gt; "Apa yang anda dapat apabila anda bermain dengan data? Saintis Data!"

Dalam contoh di atas, kami menggunakan model Text-Ada-001 dari OpenAI. Jika anda ingin menukarnya untuk mana-mana model sumber terbuka dari Huggingface, itu adalah perubahan yang mudah:

install langchain -c conda-forge

anda boleh mendapatkan id token hub muka pelukan dari akaun HF anda.

Jika anda mempunyai banyak arahan, anda boleh menghantar senarai arahan sekaligus menggunakan kaedah penjanaan:

pip install langchain[all]

output :

Ini adalah aplikasi yang paling mudah yang boleh anda buat menggunakan Langchain. Ia memerlukan segera, menghantarnya ke model bahasa pilihan anda, dan mengembalikan jawapannya. Terdapat banyak parameter yang boleh anda kendalikan, seperti `suhu`. Parameter suhu menyesuaikan rawak output, dan ia ditetapkan kepada 0.7 secara lalai.

Menguruskan Templat Prompt untuk LLMS di Langchain

LLMs mempunyai API yang pelik. Walaupun ia mungkin kelihatan intuitif kepada input input dalam bahasa semulajadi, ia sebenarnya memerlukan beberapa pelarasan prompt untuk mencapai output yang dikehendaki dari LLM. Proses pelarasan ini dikenali sebagai kejuruteraan segera. Sebaik sahaja anda mempunyai arahan yang baik, anda mungkin mahu menggunakannya sebagai templat untuk tujuan lain.

Prompttemplate di Langchain membolehkan anda menggunakan templating untuk menghasilkan petikan. Ini berguna apabila anda ingin menggunakan garis besar yang sama di beberapa tempat tetapi dengan nilai tertentu berubah.

OPENAI_API_KEY="..."

output :

1. Mendaki Menara Eiffel dan ambil pemandangan bandar yang menakjubkan

2. Nikmati pelayaran romantis di sepanjang Sungai Seine dan mengagumi seni bina yang indah di sepanjang tebing sungai

3. Terokai Louvre dan mengagumi karya seni yang terkenal di dunia yang dipamerkan

Jika anda kini ingin menggunakan semula ini untuk bandar yang berbeza, anda hanya perlu menukar pembolehubah user_input. Saya kini telah mengubahnya dari Paris ke Cancun, Mexico. Lihat bagaimana output diubah:

output :

1. Bersantai di pantai: Nikmati pantai pasir putih dan perairan yang jelas di Laut Caribbean.

2. Terokai Runtuhan Maya: Lawati tapak arkeologi kuno seperti Chichen Itza, Tulum, dan Coba untuk mengetahui sejarah dan budaya Maya. 3. Mengambil Jelajah Makanan: Rasakan Rasa Tradisional dan pelajari tentang masakan tempatan dengan mengambil lawatan makanan Cancun.

Menggabungkan LLM dan arahan dalam aliran kerja pelbagai langkah

Chaining dalam konteks Langchain merujuk kepada tindakan mengintegrasikan LLM dengan unsur -unsur lain untuk membina permohonan. Beberapa contoh termasuk:

• secara berurutan menggabungkan pelbagai LLM dengan menggunakan output LLM pertama sebagai input untuk LLM kedua (rujuk bahagian ini)
• Mengintegrasikan LLM dengan templat prompt
• menggabungkan LLM dengan data luaran, seperti untuk menjawab soalan
• menggabungkan LLM dengan memori jangka panjang, seperti sejarah sembang

mari kita lihat contoh senario pertama di mana kita akan menggunakan output dari LLM pertama sebagai input ke LLM kedua.

pip install langchain

output :

Dalam contoh ini, kami membuat rantai dengan dua komponen. Komponen pertama bertanggungjawab untuk mengenal pasti bandar yang paling popular yang sepadan dengan negara tertentu sebagai input oleh pengguna. Sebaliknya, komponen kedua memberi tumpuan kepada menyediakan maklumat mengenai tiga aktiviti atau tarikan teratas yang tersedia untuk pelancong yang melawat bandar tertentu.

Jika anda ingin mempelajari konsep yang lebih maju untuk membina aplikasi di Langchain, lihat kursus langsung ini untuk membina aplikasi AI dengan Langchain dan GPT di DataCamp.

kesimpulan dan pembelajaran selanjutnya

Hanya beberapa saat yang lalu, kami sangat kagum dengan keupayaan yang mengagumkan dari Chatgpt. Walau bagaimanapun, landskap telah berkembang pesat, dan kini kami mempunyai akses kepada alat pemaju baru seperti Langkhain yang memberi kuasa kepada kami untuk mencipta prototaip yang sama yang luar biasa pada komputer riba peribadi kami dalam masa beberapa jam.

Langchain, rangka kerja Python sumber terbuka, membolehkan individu membuat aplikasi yang dikuasakan oleh LLMS (model model bahasa). Rangka kerja ini menawarkan antara muka yang serba boleh kepada pelbagai model asas, memudahkan pengurusan segera dan berfungsi sebagai hab pusat bagi komponen lain seperti templat segera, LLM tambahan, data luaran, dan alat lain melalui ejen (pada masa penulisan).

Jika anda cuba bersaing dengan semua kemajuan dalam generatif AI dan LLM, periksa aplikasi AI kami dengan webinar Langchain dan GPT. Di sini, anda akan mempelajari asas -asas menggunakan Langchain untuk membangunkan aplikasi AI, serta cara menyusun aplikasi AI dan bagaimana untuk membenamkan data teks untuk prestasi tinggi. Anda juga boleh melihat lembaran cheat kami pada landskap alat AI generatif untuk meneroka pelbagai kategori alat AI generatif, aplikasi mereka, dan pengaruh mereka dalam pelbagai sektor. Akhirnya, lihat senarai LLM sumber terbuka kami untuk mengetahui tentang alat yang berkuasa lain.

Atas ialah kandungan terperinci Cara Membina Aplikasi LLM Dengan Tutorial Langchain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!