


Siapa yang tidak mahu jawapan segera daripada dokumen mereka? Itulah yang dilakukan oleh bot sembang RAG—menggabungkan pengambilan semula dengan penjanaan AI untuk respons yang cepat dan tepat!
Dalam panduan ini, saya akan menunjukkan kepada anda cara membuat chatbot menggunakan Retrieval-Augmented Generation (RAG) dengan LangChain dan Streamlit. Chatbot ini akan menarik maklumat yang berkaitan daripada pangkalan pengetahuan dan menggunakan model bahasa untuk menjana respons.
Saya akan membimbing anda melalui setiap langkah, menyediakan berbilang pilihan untuk penjanaan respons, sama ada anda menggunakan OpenAI, Gemini atau Bunga Bunga—memastikan fleksibel dan penyelesaian kos efektif.
Apakah itu Penjanaan Dipertingkatkan (RAG)?
RAG ialah kaedah yang menggabungkan pendapatan semula dan penjanaan untuk menyampaikan respons chatbot yang lebih tepat dan peka konteks. Proses mendapatkan semula menarik dokumen yang berkaitan daripada pangkalan pengetahuan, manakala proses penjanaan menggunakan model bahasa untuk mencipta respons yang koheren berdasarkan kandungan yang diambil. Ini memastikan chatbot anda boleh menjawab soalan menggunakan data terbaharu, walaupun model bahasa itu sendiri belum dilatih secara khusus mengenai maklumat tersebut.
Bayangkan anda mempunyai pembantu peribadi yang tidak selalu tahu jawapan kepada soalan anda. Jadi, apabila anda bertanya soalan, mereka melihat melalui buku dan mencari maklumat yang relevan (pendapatan semula), kemudian mereka meringkaskan maklumat itu dan memberitahunya kembali kepada anda dalam perkataan mereka sendiri (generasi). Ini pada asasnya cara RAG berfungsi, menggabungkan yang terbaik dari kedua-dua dunia.
Dalam proses RAG Carta Alir akan kelihatan seperti ini:
Sekarang, mari kita mulakan, dan dapatkan chatbot kita sendiri!
Menyediakan Persekitaran Projek
Kami akan menggunakan Python kebanyakannya dalam TUTO ini, jika anda ketua JS, anda boleh mengikuti penjelasan dan meneliti dokumentasi langchain js.
Pertama, kita perlu menyediakan persekitaran projek kita. Ini termasuk mencipta direktori projek, memasang kebergantungan dan menyediakan kunci API untuk model bahasa yang berbeza.
1. Cipta Folder Projek dan Persekitaran Maya
Mulakan dengan mencipta folder projek dan persekitaran maya:
mkdir rag-chatbot cd rag-chatbot python -m venv venv source venv/bin/activate
2. Pasang Ketergantungan
Seterusnya, buat fail requirements.txt untuk menyenaraikan semua kebergantungan yang diperlukan:
langchain==0.0.329 streamlit==1.27.2 faiss-cpu==1.7.4 python-dotenv==1.0.0 tiktoken==0.5.1 openai==0.27.10 gemini==0.3.1 fireworks==0.4.0 sentence_transformers==2.2.2
Sekarang, pasang kebergantungan ini:
pip install -r requirements.txt
3. Menyediakan Kekunci API
Kami akan menggunakan OpenAI, Gemini atau Bunga Api untuk penjanaan respons chatbot. Anda boleh memilih mana-mana daripada ini berdasarkan keutamaan anda.
Jangan risau jika anda sedang bereksperimen, Fireworks menyediakan kunci API bernilai $1 secara percuma, dan model gemini-1.5-flash juga percuma sedikit sebanyak!
Sediakan fail .env untuk menyimpan kunci API untuk model pilihan anda:
mkdir rag-chatbot cd rag-chatbot python -m venv venv source venv/bin/activate
Pastikan anda mendaftar untuk perkhidmatan ini dan dapatkan kunci API anda. Kedua-dua Gemini dan Bunga Api menawarkan peringkat percuma, manakala OpenAI mengenakan caj berdasarkan penggunaan.
Pemprosesan dan Pecahan Dokumen
Untuk memberikan konteks chatbot, kami perlu memproses dokumen dan membahagikannya kepada bahagian yang boleh diurus. Ini penting kerana teks yang besar perlu dipecahkan untuk dibenamkan dan pengindeksan.
1. Cipta document_processor.py
Buat skrip Python baharu yang dipanggil document_processor.py untuk mengendalikan pemprosesan dokumen:
langchain==0.0.329 streamlit==1.27.2 faiss-cpu==1.7.4 python-dotenv==1.0.0 tiktoken==0.5.1 openai==0.27.10 gemini==0.3.1 fireworks==0.4.0 sentence_transformers==2.2.2
Skrip ini memuatkan fail teks dan membahagikannya kepada ketulan yang lebih kecil iaitu kira-kira 1000 aksara dengan pertindihan kecil untuk memastikan tiada konteks hilang antara ketulan. Setelah diproses, dokumen sedia untuk dibenamkan dan diindeks.
Mencipta Pembenaman dan Pengindeksan
Sekarang dokumen kami telah dipotong, langkah seterusnya ialah menukarnya kepada benam (pewakilan berangka teks) dan mengindeksnya untuk mendapatkan semula dengan pantas. (kerana mesin memahami nombor lebih mudah daripada perkataan)
1. Cipta embedding_indexer.py
Buat skrip lain yang dipanggil embedding_indexer.py:
pip install -r requirements.txt
Dalam skrip ini, benam dibuat menggunakan model Muka Memeluk (semua-MiniLM-L6-v2). Kami kemudian menyimpan pembenaman ini dalam kedai vektor FAISS, yang membolehkan kami mendapatkan semula potongan teks yang serupa dengan cepat berdasarkan pertanyaan.
Melaksanakan Retrieval dan Penjanaan Respons
Inilah bahagian yang menarik: menggabungkan pencarian semula dengan penjanaan bahasa! Anda kini akan membuat rantaian RAG yang mengambil bahagian yang berkaitan daripada kedai vektor dan menjana respons menggunakan model bahasa. (vectorstore ialah pangkalan data tempat kami menyimpan data kami ditukar kepada nombor sebagai vektor)
1. Cipta rag_chain.py
Mari buat fail rag_chain.py:
# Uncomment your API key # OPENAI_API_KEY=your_openai_api_key_here # GEMINI_API_KEY=your_gemini_api_key_here # FIREWORKS_API_KEY=your_fireworks_api_key_here
Di sini, kami memberi anda pilihan antara OpenAI, Gemini atau Bunga Api berdasarkan kunci API yang anda berikan. Rantaian RAG akan mendapatkan semula 3 dokumen paling relevan teratas dan menggunakan model bahasa untuk menjana respons.
Anda boleh bertukar antara model bergantung pada belanjawan atau pilihan penggunaan anda—Gemini dan Bunga Bunga adalah percuma, manakala OpenAI mengenakan caj berdasarkan penggunaan.
Membina Antara Muka Chatbot
Kini, kami akan membina antara muka bot sembang yang mudah untuk mengambil input pengguna dan menjana respons menggunakan rantaian RAG kami.
1. Cipta chatbot.py
Buat fail baharu yang dipanggil chatbot.py:
mkdir rag-chatbot cd rag-chatbot python -m venv venv source venv/bin/activate
Skrip ini mencipta antara muka chatbot baris perintah yang mendengar input pengguna secara berterusan, memprosesnya melalui rantai RAG dan mengembalikan respons yang dijana.
Mencipta UI Streamlit
Sudah tiba masanya untuk menjadikan bot sembang anda lebih mesra pengguna dengan membina antara muka web menggunakan Streamlit. Ini akan membolehkan pengguna berinteraksi dengan chatbot anda melalui penyemak imbas.
1. Cipta app.py
Buat app.py:
langchain==0.0.329 streamlit==1.27.2 faiss-cpu==1.7.4 python-dotenv==1.0.0 tiktoken==0.5.1 openai==0.27.10 gemini==0.3.1 fireworks==0.4.0 sentence_transformers==2.2.2
2. Jalankan Apl Streamlit
Untuk menjalankan apl Streamlit anda, hanya gunakan:
pip install -r requirements.txt
Ini akan melancarkan antara muka web di mana anda boleh memuat naik fail teks, bertanya soalan dan menerima jawapan daripada chatbot.
Mengoptimumkan Prestasi
Untuk prestasi yang lebih baik, anda boleh bereksperimen dengan saiz ketulan dan bertindih apabila membelah teks. Ketulan yang lebih besar memberikan lebih banyak konteks, tetapi ketulan yang lebih kecil boleh membuat pengambilan lebih cepat. Anda juga boleh menggunakan Streamlit caching untuk mengelak daripada mengulangi operasi yang mahal seperti menjana benam.
Jika anda ingin mengoptimumkan kos, anda boleh bertukar antara OpenAI, Gemini atau Bunga Api bergantung pada kerumitan pertanyaan—gunakan OpenAI untuk soalan yang rumit dan Gemini atau Bunga Bunga untuk soalan yang lebih mudah untuk mengurangkan kos.
Membungkus
Tahniah! Anda telah berjaya mencipta chatbot berasaskan RAG anda sendiri. Kini, kemungkinannya tidak berkesudahan:
- Buat rakan belajar peribadi anda sendiri.
- Tiada lagi melalui dokumentasi yang panjang—hanya "RAG it out" untuk jawapan yang cepat dan tepat!
Perjalanan bermula di sini, dan potensinya tidak terhad!
Anda boleh mengikuti kerja saya di GitHub. Jangan ragu untuk menghubungi—DM saya sentiasa terbuka di X dan LinkedIn.
Atas ialah kandungan terperinci Cipta AI RAG Chatbot Anda Sendiri: Panduan Python dengan LangChain. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Untuk memaksimumkan kecekapan pembelajaran Python dalam masa yang terhad, anda boleh menggunakan modul, masa, dan modul Python. 1. Modul DateTime digunakan untuk merakam dan merancang masa pembelajaran. 2. Modul Masa membantu menetapkan kajian dan masa rehat. 3. Modul Jadual secara automatik mengatur tugas pembelajaran mingguan.

Python cemerlang dalam permainan dan pembangunan GUI. 1) Pembangunan permainan menggunakan pygame, menyediakan lukisan, audio dan fungsi lain, yang sesuai untuk membuat permainan 2D. 2) Pembangunan GUI boleh memilih tkinter atau pyqt. TKInter adalah mudah dan mudah digunakan, PYQT mempunyai fungsi yang kaya dan sesuai untuk pembangunan profesional.

Python sesuai untuk sains data, pembangunan web dan tugas automasi, manakala C sesuai untuk pengaturcaraan sistem, pembangunan permainan dan sistem tertanam. Python terkenal dengan kesederhanaan dan ekosistem yang kuat, manakala C dikenali dengan keupayaan kawalan dan keupayaan kawalan yang mendasari.

Anda boleh mempelajari konsep pengaturcaraan asas dan kemahiran Python dalam masa 2 jam. 1. Belajar Pembolehubah dan Jenis Data, 2.

Python digunakan secara meluas dalam bidang pembangunan web, sains data, pembelajaran mesin, automasi dan skrip. 1) Dalam pembangunan web, kerangka Django dan Flask memudahkan proses pembangunan. 2) Dalam bidang sains data dan pembelajaran mesin, numpy, panda, scikit-learn dan perpustakaan tensorflow memberikan sokongan yang kuat. 3) Dari segi automasi dan skrip, Python sesuai untuk tugas -tugas seperti ujian automatik dan pengurusan sistem.

Anda boleh mempelajari asas -asas Python dalam masa dua jam. 1. Belajar pembolehubah dan jenis data, 2. Struktur kawalan induk seperti jika pernyataan dan gelung, 3 memahami definisi dan penggunaan fungsi. Ini akan membantu anda mula menulis program python mudah.

Bagaimana Mengajar Asas Pengaturcaraan Pemula Komputer Dalam masa 10 jam? Sekiranya anda hanya mempunyai 10 jam untuk mengajar pemula komputer beberapa pengetahuan pengaturcaraan, apa yang akan anda pilih untuk mengajar ...

Cara mengelakkan dikesan semasa menggunakan fiddlerevery di mana untuk bacaan lelaki-dalam-pertengahan apabila anda menggunakan fiddlerevery di mana ...


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Penyesuai Pelayan SAP NetWeaver untuk Eclipse
Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.

Muat turun versi mac editor Atom
Editor sumber terbuka yang paling popular

ZendStudio 13.5.1 Mac
Persekitaran pembangunan bersepadu PHP yang berkuasa

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa