Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit

Helo, Komuniti Dev! ?

Hari ini, saya teruja untuk membimbing anda melalui projek saya: EzioDevIo RAG (Retrieval-Augmented Generation). Sistem ini membolehkan pengguna memuat naik dokumen PDF, bertanya soalan berdasarkan kandungan mereka dan menerima jawapan masa nyata yang dijana oleh model OpenAI GPT-3.5 Turbo. Ini amat berguna untuk menavigasi dokumen besar atau mengekstrak maklumat yang berkaitan dengan cepat. ??

Anda boleh mendapatkan kod lengkap pada GitHub saya: Projek RAG EzioDevIo. Mari selami projek dan pecahkan setiap langkah!

? Selami pangkalan kod penuh dan arahan persediaan dalam Repositori GitHub Projek RAG EzioDevIo!

Gambaran Keseluruhan Projek

Apa yang Anda Akan Pelajari

1. Cara untuk menyepadukan model bahasa OpenAI dengan pengambilan dokumen PDF.
2. Cara mencipta antara muka mesra pengguna menggunakan Streamlit.
3. Cara memuatkan aplikasi dengan Docker untuk penggunaan mudah. Ciri Projek

• Muat naik PDF dan dapatkan maklumat daripadanya.
• Tanya soalan berdasarkan kandungan PDF yang dimuat naik.
• Respons masa nyata yang dijana oleh model gpt-3.5-turbo OpenAI.
• Pengaturan mudah dengan Docker untuk kebolehskalaan.

*Berikut ialah struktur akhir direktori projek kami: *

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Langkah 1: Menyediakan Projek

Prasyarat

Pastikan anda mempunyai perkara berikut:

• Python 3.8 : Untuk menjalankan aplikasi secara setempat.
• Kunci API OpenAI: Anda memerlukan ini untuk mengakses model OpenAI. Daftar di OpenAI API untuk mendapatkan kunci anda.
• Docker: Pilihan, tetapi disyorkan untuk menyimpan aplikasi untuk penempatan.

Langkah 2: Klon Repositori dan Sediakan Persekitaran Maya

2.1. Klon Repositori
Mulakan dengan mengklonkan repositori projek daripada GitHub dan menavigasi ke dalam direktori projek.

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2. Sediakan Persekitaran Maya
Untuk mengasingkan kebergantungan projek, cipta dan aktifkan persekitaran maya. Ini membantu mengelakkan konflik dengan pakej projek lain.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3. Pasang Ketergantungan
Pasang perpustakaan Python yang diperlukan yang disenaraikan dalam requirements.txt. Ini termasuk OpenAI untuk model bahasa, Streamlit untuk UI, PyMuPDF untuk pengendalian PDF dan FAISS untuk carian persamaan yang cekap.

pip install -r requirements.txt

2.4. Konfigurasikan Kunci API OpenAI Anda
Cipta fail .env dalam direktori akar projek. Fail ini akan menyimpan kunci API OpenAI anda dengan selamat. Tambahkan baris berikut pada fail, menggantikan your_openai_api_key_here dengan kunci API sebenar anda:

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

? Petua: Pastikan .env ditambahkan pada fail .gitignore anda untuk mengelak daripada mendedahkan kunci API anda jika anda menolak projek anda ke repositori awam.

Langkah 3: Memahami Struktur Projek
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:
Berikut ialah gambaran keseluruhan ringkas struktur direktori untuk membantu anda menavigasi kod:

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

Setiap fail mempunyai peranan tertentu:

• app.py: Mengurus antara muka Streamlit, membenarkan pengguna memuat naik fail dan bertanya soalan.
• document_loader.py: Mengendalikan pemuatan dan pemprosesan PDF menggunakan PyMuPDF.
• retriever.py: Menggunakan FAISS untuk mengindeks teks dokumen dan mendapatkan semula bahagian yang berkaitan berdasarkan pertanyaan pengguna.
• main.py: Menghubungkan segala-galanya, termasuk memanggil API OpenAI untuk menjana respons.

Langkah 4: Membina Kod Teras
Sekarang, mari kita selami komponen utama projek.

4.1. Memuatkan Dokumen (document_loader.py)
Fail document_loader.py bertanggungjawab untuk mengekstrak teks daripada PDF. Di sini, kami menggunakan pustaka PyMuPDF untuk memproses setiap halaman dalam PDF dan menyimpan teks.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Penjelasan: Fungsi ini membaca semua fail PDF dalam folder tertentu, mengekstrak teks daripada setiap halaman dan menambah teks pada senarai kamus. Setiap kamus mewakili dokumen dengan teks dan nama failnya.

4.2. Pengindeksan dan Pengambilan Dokumen (retriever.py)
FAISS (Facebook AI Similarity Search) membantu kami melakukan carian persamaan. Kami menggunakannya untuk membuat indeks pembenaman dokumen, yang membolehkan kami mendapatkan semula bahagian yang berkaitan apabila pengguna bertanya soalan.

pip install -r requirements.txt

Penjelasan:

create_index: Menukar teks dokumen kepada pembenaman menggunakan OpenAIEmbeddings dan mencipta indeks dengan FAISS.
retrieve_documents: Mencari bahagian dokumen yang berkaitan berdasarkan pertanyaan pengguna.

4.3. Menjana Respons (main.py)
Modul ini memproses pertanyaan pengguna, mendapatkan semula dokumen yang berkaitan dan menjana jawapan menggunakan model bahasa OpenAI.

OPENAI_API_KEY=your_openai_api_key_here

Penjelasan:

generate_response: Mencipta gesaan dengan konteks daripada dokumen yang diambil dan pertanyaan pengguna, kemudian menghantarnya ke API OpenAI. Jawapan kemudiannya dikembalikan sebagai jawapan.

Langkah 5: Mencipta Antara Muka Streamlit (app.py)
Streamlit menyediakan bahagian hadapan interaktif, memudahkan pengguna memuat naik fail dan bertanya soalan.

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Penjelasan:

• Kod ini mencipta UI ringkas dengan Streamlit, membolehkan pengguna memuat naik PDF dan menaip soalan.
• Apabila pengguna mengklik "Dapatkan Jawapan", apl itu mendapatkan semula dokumen yang berkaitan dan menjana jawapan.

Langkah 6: Melabuhkan Aplikasi
Docker membenarkan anda membungkus apl ke dalam bekas, menjadikannya mudah untuk digunakan.

Fail Docker

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Penjelasan:

Kami menggunakan binaan berbilang peringkat untuk memastikan imej akhir ramping.
Aplikasi ini berjalan sebagai pengguna bukan root untuk keselamatan.

Menjalankan Kontena Docker

1. Bina Imej Docker:

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. Jalankan Bekas:

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Langkah 7: Menyediakan CI/CD dengan GitHub Actions
Untuk kesediaan pengeluaran, tambah saluran paip CI/CD untuk membina, menguji dan mengimbas imej Docker. Anda boleh menemui fail .github/workflows dalam repositori untuk persediaan ini.

Pemikiran Akhir
Projek ini menggabungkan keupayaan model bahasa OpenAI dengan pengambilan dokumen untuk mencipta alat yang berfungsi dan interaktif. Jika anda menikmati projek ini, sila bintangkan repositori GitHub dan ikuti saya di sini di Komuniti Dev. Mari kita bina lebih banyak projek yang menakjubkan bersama-sama! ?

? Lihat Repositori GitHub ? Repositori GitHub Projek EzioDevIo RAG!

Atas ialah kandungan terperinci Membina Sistem Pengambilan Dokumen & Soal Jawab dengan OpenAI dan Streamlit. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!