Comment construire un système de chiffon en utilisant Deepseek R1?

J'ai beaucoup lu sur les agents des chiffons et de l'IA, mais avec la sortie de nouveaux modèles comme Deepseek V3 et Deepseek R1, il semble que la possibilité de construire des systèmes de chiffon efficaces a considérablement amélioré, offrant une meilleure précision de récupération, des capacités de raisonnement améliorées et des architectures plus évolutives pour des applications réelles. L'intégration de mécanismes de récupération plus sophistiqués, des options de réglage fin améliorées et des capacités multimodales modifient la façon dont les agents de l'IA interagissent avec les données. Il soulève des questions sur le fait que les approches traditionnelles de chiffon sont toujours la meilleure voie à suivre ou si les architectures plus récentes peuvent fournir des solutions plus efficaces et plus conscientes.

Les systèmes de génération (RAG) de la récupération (RAG) ont révolutionné la façon dont les modèles d'IA interagissent avec les données en combinant des approches basées sur la récupération et génératives pour produire des réponses plus précises et respectueuses du contexte. Avec l'avènement de Deepseek R1 , un modèle open source connu pour son efficacité et sa rentabilité, la construction d'un système de chiffon efficace est devenue plus accessible et pratique. Dans cet article, nous construisons un système de chiffon en utilisant Deepseek R1.

Table des matières

• Qu'est-ce que Deepseek R1?
• Avantages de l'utilisation des étapes Deepseek R1 pour le système
• pour construire un système RAG en utilisant Deepseek R1
• Code pour construire un système de chiffon en utilisant Deepseek R1
• Conclusion

Qu'est-ce que Deepseek R1?

Deepseek R1 est un modèle d'IA open source développé dans le but de fournir des capacités de raisonnement et de récupération de haute qualité à une fraction du coût des modèles propriétaires comme les offres d'Openai. Il dispose d'une licence MIT, ce qui le rend commercialement viable et adapté à un large éventail d'applications. De plus, ce modèle puissant, vous permet de voir le COT, mais les Openai O1 et O1-Mini ne montrent aucun jeton de raisonnement. 

Savoir comment Deepseek R1 conteste le modèle Openai O1: Deepseek R1 vs Openai O1: Lequel est plus rapide, moins cher et plus intelligent? 

Avantages d'utiliser Deepseek R1 pour le système de chiffon

Construire un système de génération (RAG) de récupération (RAG) utilisant Deepseek-R1 offre plusieurs avantages notables:

1. Capacités de raisonnement avancé : Deepseek-R1 émule le raisonnement humain en analysant et en traitement des informations étape par étape avant de tirer des conclusions. Cette approche améliore la capacité du système à gérer les requêtes complexes, en particulier dans les domaines nécessitant une inférence logique, un raisonnement mathématique et des tâches de codage.

2. Accessibilité open source : Libéré sous la licence MIT, Deepseek-R1 est entièrement open-source, permettant aux développeurs un accès sans restriction à son modèle. Cette ouverture facilite la personnalisation, le réglage fin et l'intégration dans diverses applications sans les contraintes souvent associées aux modèles propriétaires.

3. Performances compétitives : Les tests de référence indiquent que Deepseek-R1 fonctionne à égalité avec ou même dépasse les modèles de tête comme O1 d'Openai dans les tâches impliquant le raisonnement, les mathématiques et le codage. Ce niveau de performance garantit qu'un système de chiffon construit avec Deepseek-R1 peut offrir des réponses précises et précises à travers des requêtes diverses et difficiles.

4. Transparence dans le processus de réflexion : Deepseek-R1 utilise une méthodologie de «chaîne de réflexion», rendant ses étapes de raisonnement visibles pendant l'inférence. Cette transparence aide à déboguer et à affiner le système tout en renforçant la confiance des utilisateurs en fournissant des informations claires sur le processus décisionnel.

5. Efficacité : La nature open source de Deepseek-R1 élimine les frais de licence, et son architecture efficace réduit les exigences de ressources informatiques. Ces facteurs contribuent à une solution plus rentable pour les organisations qui cherchent à mettre en œuvre des systèmes de chiffons sophistiqués sans encourir de dépenses importantes.

L'intégration de Deepseek-R1 dans un système de chiffon fournit une puissante combinaison de capacités de raisonnement avancé, de transparence, de performance et de rentabilité, ce qui en fait un choix convaincant pour les développeurs et les organisations visant à améliorer leurs capacités d'IA.

étapes pour construire un système de chiffon en utilisant Deepseek R1

Le script est un pipeline de génération (RAG) de la récupération qui:

• Charge et traite un document PDF en le divisant en pages et en extraitant du texte.
• stocke les représentations vectorisées du texte dans une base de données (chromadb).
• récupère le contenu pertinent en utilisant la recherche de similitude lorsqu'une requête est posée.
• utilise un LLM (modèle Deepseek) pour générer des réponses basées sur le texte récupéré.

Installez les conditions préalables

• Télécharger Ollama: Cliquez ici pour télécharger
• pour les utilisateurs de Linux: Exécutez la commande suivante dans votre terminal:

curl -fsSL https://ollama.com/install.sh | sh

Après cela, tirez le profondeur R1: 1.5b en utilisant:

ollama pull deepseek-r1:1.5b

Cela prendra un moment pour télécharger:

ollama pull deepseek-r1:1.5b

pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 

Après avoir fait cela, ouvrez votre cahier Jupyter et commencez par la pièce de codage:

1. Installer les dépendances

Avant d'exécuter, le script installe les bibliothèques Python requises:

• Langchain → A Framework pour créer des applications à l'aide de modèles de langage grand (LLMS).
• Langchain-openai → fournit une intégration avec les services Openai.
• Langchain-Community → Ajoute la prise en charge de divers chargeurs de documents et utilitaires.
• Langchain-chroma → permet l'intégration avec ChromAdB, une base de données vectorielle.

2. Entrez la clé de l'API Openai

Pour accéder au modèle d'intégration d'OpenAI, le script invite l'utilisateur à en toute sécurité saisir sa clé API à l'aide de getPass (). Cela empêche d'exposer des informations d'identification en texte brut.

3. Configurer des variables d'environnement

Le script stocke la clé API en tant que variable d'environnement. Cela permet à d'autres parties du code d'accéder aux services OpenAI sans les informations d'identification de codage rigide , ce qui améliore la sécurité.

4. Initialiser les incorporations Openai

Le script initialise un modèle d'intégration OpenAI appelée "Text-Embedding-3-Small". Ce modèle convertit le texte en intégres vectoriels , qui sont des représentations numériques de haute dimension de la signification du texte. Ces intérêts sont plus tard utilisés pour comparer et récupérer un contenu similaire .

5. Chargez et divisez un document PDF

Un fichier PDF (agenticai.pdf) est chargé et divisé en pages . Le texte de chaque page est extrait, ce qui permet des morceaux de texte plus petits et plus gérables au lieu de traiter l'ensemble du document en tant qu'unité.

6. Créer et stocker une base de données vectorielle

• Le texte extrait du PDF est converti en intégres vectoriels .
• Ces intérêts sont stockés dans ChromAdB , une base de données vectorielle à haute performance .
• La base de données utilise similitude du cosinus , assurant une récupération efficace du texte avec un degré élevé de similitude sémantique.

7. Récupérez des textes similaires en utilisant un seuil de similitude

a retriever est créé à l'aide de chromadb, qui:

• Recherche les 3 principaux documents les plus similaires basés sur une requête donnée.
• filtre les résultats sur la base d'un seuil de similitude de 0,3, ce qui signifie que les documents doivent avoir au moins 30% de similitude avec les qualifications pertinentes.

8. Requête pour des documents similaires

Deux requêtes de test sont utilisées:

1. "Quelle est l'ancienne capitale de l'Inde?"
   • Aucun résultat n'a été trouvé , ce qui indique que les documents stockés ne contiennent pas d'informations pertinentes.
2. "Qu'est-ce que l'agentique AI?"
   • récupère avec succès le texte pertinent , démontrant que le système peut récupérer un contexte significatif.

9. Construisez une chaîne de chiffon (génération auprès de la récupération)

Le script met en place un pipeline de chiffon , ce qui garantit que:

• Retrievale de texte se produit avant de générer une réponse.
• La réponse du modèle est basée strictement sur le contenu récupéré , empêchant les hallucinations.
• a modèle d'invite est utilisé pour instruire le modèle de générer des réponses structurées.

10. Chargez une connexion à un LLM (modèle Deepseek)

Au lieu du GPT d'Openai, le script charge Deepseek-R1 (paramètres 1.5b) , un puissant LLM optimisé pour les tâches basées sur la récupération.

11. Créer une chaîne à base de chiffon

le module de récupération de Langchain est utilisé pour:

• Reprendre le contenu pertinent à partir de la base de données vectorielle.
• Format une réponse structurée en utilisant un modèle d'invite.
• Générez une réponse concise avec le modèle Deepseek.

12. Testez la chaîne de chiffon

Le script exécute une requête de test:
"Dites aux perspectives des dirigeants sur l'agentique AI"

le LLM génère une réponse basée sur des faits strictement en utilisant le contexte récupéré.

Le système récupère les informations pertinentes de la base de données .

Code pour construire un système de chiffon en utilisant Deepseek R1

voici le code:

Installez les dépendances Openai et Langchain

curl -fsSL https://ollama.com/install.sh | sh

Entrez la clé API AI ouverte

ollama pull deepseek-r1:1.5b

Configuration des variables d'environnement

ollama pull deepseek-r1:1.5b

pulling manifest
pulling aabd4debf0c8... 100% ▕████████████████▏ 1.1 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling a85fe2a2e58e... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 

Modèles d'intégration d'IA ouverts

!pip install langchain==0.3.11
!pip install langchain-openai==0.2.12
!pip install langchain-community==0.3.11
!pip install langchain-chroma==0.1.4

Créer un Vector DB et persister sur le disque

from getpass import getpass
OPENAI_KEY = getpass('Enter Open AI API Key: ')

similitude avec la récupération de seuil

import os
os.environ['OPENAI_API_KEY'] = OPENAI_KEY

from langchain_openai import OpenAIEmbeddings
openai_embed_model = OpenAIEmbeddings(model='text-embedding-3-small')

from langchain_community.document_loaders import PyPDFLoader
loader = PyPDFLoader('AgenticAI.pdf')
pages = loader.load_and_split()
texts = [doc.page_content for doc in pages]

from langchain_chroma import Chroma
chroma_db = Chroma.from_texts(
texts=texts,
collection_name='db_docs',
collection_metadata={"hnsw:space": "cosine"}, # Set distance function to cosine
embedding=openai_embed_model
)

Construisez une chaîne de chiffon

similarity_threshold_retriever = chroma_db.as_retriever(search_type="similarity_score_threshold",search_kwargs={"k": 3,"score_threshold": 0.3})

query = "what is the old capital of India?"
top3_docs = similarity_threshold_retriever.invoke(query)
top3_docs

Chargez la connexion à LLM

[]

Syntaxe de Langchain pour la chaîne de chiffon

query = "What is Agentic AI?"
top3_docs = similarity_threshold_retriever.invoke(query)
top3_docs

Découvrez nos articles détaillés sur le travail en profondeur et la comparaison avec des modèles similaires:

• Deepseek R1 - Le plus grand concurrent O1 d'Openai est ici!
• Building AI Application avec Deepseek-V3
• Deepseek-v3 vs gpt-4o vs llama 3.3 70b
• Deepseek v3 vs gpt-4o: quel est le meilleur?
• Deepseek R1 vs Openai O1: Lequel est le meilleur?
• Comment accéder à Deepseek Janus Pro 7b?

Conclusion

Construire un système de chiffon utilisant Deepseek R1 fournit un moyen rentable et puissant d'améliorer la récupération des documents et la génération de réponse. Avec sa nature open source et ses fortes capacités de raisonnement, c'est une excellente alternative aux solutions propriétaires. Les entreprises et les développeurs peuvent tirer parti de sa flexibilité pour créer des applications axées sur l'IA adaptées à leurs besoins.

Vous souhaitez créer des applications à l'aide de Deepseek? Découvrez notre cours Deepseek gratuit aujourd'hui!

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!