Comment déployer facilement un moteur de recherche génératif local à l'aide de Verifai

Cet article détaille une mise à jour significative du projet Verifai, un moteur de recherche générateur open source. Auparavant axé sur les données biomédicales (Verifai Biomed, accessible à https://www.php.cn/link/ae8e20f2c7accb995afbe0f507856c17 ), Verifai propose désormais une fonctionnalité de base (Verifai Core) permettant aux utilisateurs de créer leur propre recherche généative moteur des fichiers locaux. Cela permet aux individus, aux organisations et aux entreprises de créer des solutions de recherche personnalisées.

Caractéristiques clés et architecture:

L'architecture de Verifai Core comprend trois composants principaux:

1. Indexation: Utilise OpenSesearch pour l'indexation lexicale et QDRANT pour l'indexation sémantique (en utilisant des modèles d'intégration de visage étreintes). Cette double approche assure une représentation complète des documents. Le script d'indexation prend en charge divers types de fichiers (PDF, Word, PowerPoint, Text, Markdown).

2. GÉNÉRATION AUGUMENTAIRE (RAG): combine les résultats de la recherche lexicale d'OpenSearch et de la recherche sémantique de QDRANT (en utilisant la similitude du produit DOT). Les résultats fusionnés éclairent une invite pour le modèle de grande langue (LLM) choisi. Le LLM par défaut est une version localement déployée et affinée de Mistral, mais les utilisateurs peuvent en spécifier d'autres (API OpenAI, API Azure, etc., via Vllm, Olllama ou Nvidia NIMS).

3. Moteur de vérification: un composant crucial qui vérifie la réponse générée par rapport aux documents source, minimisant les hallucinations.

Configuration et installation:

1. Clone Le référentiel: git clone https://github.com/nikolamilosevic86/verifAI.git

2. Créer un environnement python: python -m venv verifai; source verifai/bin/activate

3. Installer les dépendances: pip install -r verifAI/backend/requirements.txt

4. Configurer Verifai: Configurez le fichier .env (basé sur .env.local.example) Spécification des informations d'identification de la base de données (PostgreSQL), OpenSearch, QDrant, LLM Détails (Chemin, clé API, nom de déploiement), modèle d'embellissement du modèle et noms d'index.

5. Installez les dataStores: python install_datastores.py (nécessite docker).

6. Fichiers d'index: python index_files.py <path-to-directory-with-files></path-to-directory-with-files> (par exemple, python index_files.py test_data).

7. Exécutez le backend: python main.py

8. Exécutez le frontend: naviguez vers client-gui/verifai-ui, exécutez npm install, puis npm start.

Contribution et développement futur:

Verifai est un projet open source accueillant des contributions. Le projet a été initialement financé par le projet de recherche sur Internet de prochaine génération (Union européenne) et développé en collaboration avec l'Institute for Artificial Intelligence Research and Development de la Serbie et de Bayer A.G. Un développement ultérieur est en cours, en mettant l'accent sur l'élargissement de ses capacités et de sa convivialité. Les contributions sont encouragées via des demandes de traction, des rapports de bogues et des demandes de fonctionnalités. Visitez https://www.php.cn/link/d16c19f1f2ab8361fda1f625ce3ff26a pour plus d'informations.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!