Chatbot de chiffon Deepseek-R1 avec Chroma, Olllama et Gradio

Ce tutoriel montre la construction d'un chatbot de génération augmentée (RAG) de récupération à l'aide de Deepseek-R1 et Langchain. Le chatbot répond aux questions basées sur une base de connaissances, dans ce cas, un livre sur les fondements de LLMS. Le processus exploite la recherche de vecteurs efficaces de Deepseek-R1 pour des réponses précises et contextuellement pertinentes, livrées via une interface Gradio conviviale.

Les forces de Deepseek-R1, y compris la récupération haute performance, le classement de pertinence à grains fins, la rentabilité (en raison de l'exécution locale), l'intégration facile avec le chroma et les capacités hors ligne, le rendent idéal pour cette application.

Le tutoriel est divisé en étapes claires:

1. Prérequis: Assurer que les bibliothèques nécessaires (Langchain, Chromadb, Gradio, Ollama, PYMUPDF) sont installées.

2. Chargement du pdf: en utilisant pyMupdfloader de Langchain pour extraire le texte des "fondations de LLMS" PDF.

3. Chunking de texte: Fractionnement du texte extrait en morceaux plus petits et chevauchants en utilisant RecursiveCharacterTextSplitter pour améliorer la récupération de contexte.

4. Génération d'intégration: Génération d'incorporation pour chaque morceau à l'aide d'Ollamaembedddings avec Deepseek-R1. La parallélisation via ThreadPoolExecutor accélère ce processus. Remarque: Le tutoriel mentionne la possibilité de spécifier différentes tailles de modèle Deepseek-R1 (7b, 8b, 14b, etc.).

5. Stockage des intérêts dans le chroma: Stockage des intérêts et des morceaux de texte correspondants dans une base de données vectorielle de chroma pour une récupération efficace. Le tutoriel met en évidence la création et / ou la suppression de la collection pour éviter les conflits.

6. Retriever Initialisation: Configuration du chroma Retriever, en utilisant des intégres Deepseek-R1 pour le traitement des requêtes.

7. Pipeline de chiffon (Récupération de contexte): Une fonction retrieve_context récupère des morceaux de texte pertinents en fonction de la question d'un utilisateur.

8. Interroger Deepseek-R1: La fonction query_deepseek Formats la question de l'utilisateur et le contexte récupéré, l'envoie à Deepseek-R1 via Olllama et nettoie la réponse de la présentation.

9. Interface Gradio: Création d'une interface interactive à l'aide de Gradio, permettant aux utilisateurs de saisir des questions et de recevoir des réponses du pipeline de chiffon.

Optimisations: Le tutoriel suggère plusieurs optimisations, notamment en ajustant la taille du morceau, en utilisant des modèles Deepseek-R1 plus petits, l'intégration de FAIS pour les ensembles de données plus grands et le traitement par lots pour la génération d'intégration.

Conclusion: Le tutoriel démontre avec succès la construction d'un chatbot de chiffon local fonctionnel, présentant la puissance de Deepseek-R1 pour une récupération efficace des informations. Des liens vers d'autres ressources en profondeur sont fournis.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!