Aufbau eines Dokumentenabruf- und Frage-und-Antwort-Systems mit OpenAI und Streamlit

Hallo Entwickler-Community! ?

Heute freue ich mich, Sie durch mein Projekt zu führen: EzioDevIo RAG (Retrieval-Augmented Generation). Dieses System ermöglicht es Benutzern, PDF-Dokumente hochzuladen, Fragen basierend auf ihrem Inhalt zu stellen und Echtzeit-Antworten zu erhalten, die vom GPT-3.5 Turbo-Modell von OpenAI generiert werden. Dies ist besonders nützlich, um in großen Dokumenten zu navigieren oder relevante Informationen schnell zu extrahieren. ??

Den vollständigen Code finden Sie auf meinem GitHub: EzioDevIo RAG Project. Lassen Sie uns in das Projekt eintauchen und jeden Schritt aufschlüsseln!

? Tauchen Sie ein in die vollständige Codebasis und die Einrichtungsanweisungen im GitHub-Repository des EzioDevIo RAG-Projekts!

Projektübersicht

Was Sie lernen werden

1. So integrieren Sie die Sprachmodelle von OpenAI in den Abruf von PDF-Dokumenten.
2. So erstellen Sie eine benutzerfreundliche Oberfläche mit Streamlit.
3. So Containerisieren Sie die Anwendung mit Docker für eine einfache Bereitstellung. Projektfunktionen

• Laden Sie PDFs hoch und erhalten Sie Informationen daraus.
• Stellen Sie Fragen basierend auf dem Inhalt der hochgeladenen PDFs.
• Echtzeitantworten, generiert durch das gpt-3.5-turbo-Modell von OpenAI.
• Einfache Bereitstellung mit Docker für Skalierbarkeit.

*Hier ist die endgültige Struktur unseres Projektverzeichnisses: *

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Schritt 1: Einrichten des Projekts

Voraussetzungen

Stellen Sie sicher, dass Sie Folgendes haben:

• Python 3.8: Um die Anwendung lokal auszuführen.
• OpenAI-API-Schlüssel: Sie benötigen diesen, um auf die Modelle von OpenAI zuzugreifen. Melden Sie sich bei OpenAI API an, um Ihren Schlüssel zu erhalten.
• Docker: Optional, aber empfohlen für die Containerisierung der Anwendung für die Bereitstellung.

Schritt 2: Klonen Sie das Repository und richten Sie die virtuelle Umgebung ein

2.1. Klonen Sie das Repository
Klonen Sie zunächst das Projekt-Repository von GitHub und navigieren Sie in das Projektverzeichnis.

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

2.2. Richten Sie eine virtuelle Umgebung ein
Um Projektabhängigkeiten zu isolieren, erstellen und aktivieren Sie eine virtuelle Umgebung. Dies hilft, Konflikte mit den Paketen anderer Projekte zu vermeiden.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

2.3. Abhängigkeiten installieren
Installieren Sie die erforderlichen Python-Bibliotheken, die in „requirements.txt“ aufgeführt sind. Dazu gehören OpenAI für das Sprachmodell, Streamlit für die Benutzeroberfläche, PyMuPDF für die PDF-Verarbeitung und FAISS für eine effiziente Ähnlichkeitssuche.

pip install -r requirements.txt

2.4. Konfigurieren Sie Ihren OpenAI-API-Schlüssel
Erstellen Sie eine .env-Datei im Projektstammverzeichnis. In dieser Datei wird Ihr OpenAI-API-Schlüssel sicher gespeichert. Fügen Sie der Datei die folgende Zeile hinzu und ersetzen Sie your_openai_api_key_here durch Ihren tatsächlichen API-Schlüssel:

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

? Tipp: Stellen Sie sicher, dass .env zu Ihrer .gitignore-Datei hinzugefügt wird, um zu vermeiden, dass Ihr API-Schlüssel offengelegt wird, wenn Sie Ihr Projekt in ein öffentliches Repository verschieben.

Schritt 3: Die Projektstruktur verstehen
Hier ist ein kurzer Überblick über die Verzeichnisstruktur, der Ihnen beim Navigieren im Code hilft:
Hier ist ein kurzer Überblick über die Verzeichnisstruktur, der Ihnen beim Navigieren im Code hilft:

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

Jede Datei hat eine bestimmte Rolle:

• app.py: Verwaltet die Streamlit-Schnittstelle und ermöglicht Benutzern das Hochladen von Dateien und das Stellen von Fragen.
• document_loader.py: Verwaltet das Laden und Verarbeiten von PDFs mit PyMuPDF.
• retriever.py: Verwendet FAISS, um Dokumenttext zu indizieren und relevante Abschnitte basierend auf Benutzeranfragen abzurufen.
• main.py: Bindet alles zusammen, einschließlich des Aufrufs der OpenAI-API, um Antworten zu generieren.

Schritt 4: Erstellen des Kerncodes
Lassen Sie uns nun auf die Hauptkomponenten des Projekts eingehen.

4.1. Laden von Dokumenten (document_loader.py)
Die Datei document_loader.py ist für das Extrahieren von Text aus PDFs verantwortlich. Hier verwenden wir die PyMuPDF-Bibliothek, um jede Seite im PDF zu verarbeiten und den Text zu speichern.

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Erklärung: Diese Funktion liest alle PDF-Dateien in einem angegebenen Ordner, extrahiert den Text von jeder Seite und fügt den Text einer Liste von Wörterbüchern hinzu. Jedes Wörterbuch repräsentiert ein Dokument mit seinem Text und Dateinamen.

4.2. Indexierung und Abruf von Dokumenten (retriever.py)
FAISS (Facebook AI Similarity Search) hilft uns bei der Durchführung von Ähnlichkeitssuchen. Wir verwenden es, um einen Index der Dokumenteinbettungen zu erstellen, der es uns ermöglicht, relevante Abschnitte abzurufen, wenn Benutzer Fragen stellen.

pip install -r requirements.txt

Erklärung:

create_index: Konvertiert Dokumenttext mithilfe von OpenAIEmbeddings in Einbettungen und erstellt einen Index mit FAISS.
Recover_Documents: Sucht basierend auf der Benutzerabfrage nach relevanten Dokumentabschnitten.

4.3. Antworten generieren (main.py)
Dieses Modul verarbeitet Benutzeranfragen, ruft relevante Dokumente ab und generiert Antworten mithilfe des Sprachmodells von OpenAI.

OPENAI_API_KEY=your_openai_api_key_here

Erklärung:

generate_response: Erstellt eine Eingabeaufforderung mit Kontext aus abgerufenen Dokumenten und der Benutzeranfrage und sendet sie dann an die OpenAI-API. Die Antwort wird dann als Antwort zurückgegeben.

Schritt 5: Erstellen der Streamlit-Schnittstelle (app.py)
Streamlit bietet ein interaktives Frontend, das es Benutzern erleichtert, Dateien hochzuladen und Fragen zu stellen.

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Erklärung:

• Dieser Code erstellt eine einfache Benutzeroberfläche mit Streamlit, die es Benutzern ermöglicht, PDFs hochzuladen und Fragen einzugeben.
• Wenn Benutzer auf „Antwort erhalten“ klicken, ruft die App relevante Dokumente ab und generiert eine Antwort.

Schritt 6: Dockerisieren der Anwendung
Mit Docker können Sie die App in einen Container packen und so die Bereitstellung vereinfachen.

Docker-Datei

RAG-project/
├── .env                       # Environment variables (API key)
├── app.py                     # Streamlit app for the RAG system
├── document_loader.py         # Code for loading and processing PDF documents
├── retriever.py               # Code for indexing and retrieving documents
├── main.py                    # Main script for RAG pipeline
├── requirements.txt           # List of required libraries
├── Dockerfile                 # Dockerfile for containerizing the app
├── .gitignore                 # Ignore sensitive and unnecessary files
├── data/
│   └── uploaded_pdfs/         # Folder to store uploaded PDFs
└── images/
    └── openai_api_setup.png   # Example image for OpenAI API setup instructions

Erklärung:

Wir verwenden einen mehrstufigen Aufbau, um das endgültige Bild schlank zu halten.
Aus Sicherheitsgründen wird die Anwendung als Nicht-Root-Benutzer ausgeführt.

Docker-Container ausführen

1. Erstellen Sie das Docker-Image:

git clone https://github.com/EzioDEVio/RAG-project.git
cd RAG-project

1. Führen Sie den Container aus:

python -m venv venv
source venv/bin/activate  # On Windows, use `venv\Scripts\activate`

Schritt 7: Einrichten von CI/CD mit GitHub-Aktionen
Für die Produktionsbereitschaft fügen Sie eine CI/CD-Pipeline hinzu, um Docker-Images zu erstellen, zu testen und zu scannen. Sie finden die Datei .github/workflows im Repository für dieses Setup.

Abschließende Gedanken
Dieses Projekt kombiniert die Sprachmodellfunktionen von OpenAI mit dem Abrufen von Dokumenten, um ein funktionales und interaktives Tool zu erstellen. Wenn Ihnen dieses Projekt gefallen hat, markieren Sie bitte das GitHub-Repository und folgen Sie mir hier in der Dev Community. Lassen Sie uns gemeinsam weitere tolle Projekte aufbauen! ?

? GitHub-Repository ansehen? EzioDevIo RAG Project GitHub Repository!

Das obige ist der detaillierte Inhalt vonAufbau eines Dokumentenabruf- und Frage-und-Antwort-Systems mit OpenAI und Streamlit. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!