Deepseek-R1 Rag Chatbot mit Chroma, Ollama und Gradio

Dieses Tutorial zeigt, dass ein Chatbot (Abruf Augmented Generation) mit Deepseek-R1 und Langchain aufgebaut wird. Der Chatbot beantwortet Fragen auf der Grundlage einer Wissensbasis, in diesem Fall ein Buch über die Grundlagen von LLMs. Der Prozess nutzt die effiziente Vektorsuche von Deepseek-R1 nach genauen und kontextbezogenen Antworten, die über eine benutzerfreundliche Gradio-Schnittstelle geliefert werden.

Die Stärken von Deepseek-R1, einschließlich Hochleistungs-Abruf, feinkörniger Relevanzranking, Kosteneffizienz (aufgrund der lokalen Ausführung), einfacher Integration in Chroma und Offline-Funktionen, machen Sie es ideal für diese Anwendung.

Das Tutorial ist in klare Schritte unterteilt:

1. Voraussetzungen: Sicherstellen, dass die erforderlichen Bibliotheken (Langchain, Chromadb, Gradio, Ollama, Pymupdf) installiert sind.

2. Laden des PDF: Verwenden Sie Pymupdfloader aus Langchain, um Text aus den "Foundations of LLMs" PDF zu extrahieren.

3. Text -Chunking: Aufteilen des extrahierten Textes in kleinere, überlappende Stücke mit RecursiveCharacterTextSplitter für eine verbesserte Kontextabnahme.

4. Einbettung der Erzeugung: Erzeugen von Einbettungen für jeden Chunk mit Ollamaembeding mit Deepseek-R1. Die Parallelisierung über ThreadPoolExecutor beschleunigt diesen Prozess. Hinweis: In der Tutorial wird die Möglichkeit erwähnt, verschiedene Deepseek-R1-Modellgrößen (7b, 8b, 14b usw.) anzugeben.

5. Speichern von Einbettungen in Chroma: Speichern der Einbettungen und entsprechenden Textbrocken in einer Chroma -Vektor -Datenbank zum effizienten Abrufen. Das Tutorial zeigt, dass die Sammlung erstellt und/oder löscht, um Konflikte zu verhindern.

6. Retriever-Initialisierung: Einrichten des Chroma Retriever unter Verwendung von Deepseek-R1-Einbettungen für die Abfrageverarbeitung.

7. RAG -Pipeline (Kontextabnahme): Eine Funktion retrieve_context ruft relevante Textbrocken basierend auf der Frage eines Benutzers ab.

8. Abfragen von Deepseek-R1: Die Funktion query_deepseek formatiert die Frage des Benutzers und den abgerufenen Kontext, sendet sie über Ollama an Deepseek-R1 und reinigt die Antwort für die Präsentation.

9. Gradio -Schnittstelle: Erstellen einer interaktiven Schnittstelle mit Gradio, sodass Benutzer Fragen eingeben und Antworten aus der RAG -Pipeline erhalten.

Optimierungen: Das Tutorial schlägt mehrere Optimierungen vor, einschließlich der Anpassung der Chunk-Größe, der Verwendung kleinerer Deepseek-R1-Modelle, der Integration von FAISS für größere Datensätze und der Batch-Verarbeitung für die Einbettungserzeugung.

Schlussfolgerung: Das Tutorial zeigt erfolgreich, einen funktionalen lokalen Lag-Chatbot zu erstellen, der die Kraft von Deepseek-R1 für ein effizientes und genaues Informationsabruf zeigt. Links zu weiteren Deepseek -Ressourcen werden bereitgestellt.

Das obige ist der detaillierte Inhalt vonDeepseek-R1 Rag Chatbot mit Chroma, Ollama und Gradio. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!