Verifaiを使用してローカル生成検索エンジンを簡単に展開する方法

この記事では、オープンソース生成検索エンジンであるVerifaiプロジェクトの重要な更新について詳しく説明しています。 以前は生物医学データ（verifai Biomed、https://www.php.cn/link/ae8e20f2c7accb995afbe0f507856c17にアクセス可能）に焦点を当てていました。ローカルファイルからのエンジン。これにより、個人、組織、および企業がカスタム検索ソリューションを構築することができます。

主要な機能とアーキテクチャ：

Verifai Coreのアーキテクチャは、3つの主要なコンポーネントで構成されています

インデックス作成：
1. セマンティックインデックス（ハギングフェイス埋め込みモデルを使用）に語彙インデックスとQDRANTのOpenSearchを使用します。 このデュアルアプローチにより、包括的なドキュメント表現が保証されます。 インデックス作成スクリプトは、さまざまなファイルタイプ（PDF、Word、PowerPoint、テキスト、マークダウン）をサポートしています。

検索された生成（rag）：
2. opensearchの語彙検索とQdrantのセマンティック検索（DOT製品の類似性を使用）の結果を組み合わせます。 マージされた結果は、選択した大手言語モデル（LLM）のプロンプトを通知します。 デフォルトのLLMは、ミストラルのローカルに展開された微調整されたバージョンですが、ユーザーは他の人（openai API、Azure APIなど、VLLM、Ollama、またはNvidia Nimsを介して）を指定できます。
   検証エンジン：
ソースドキュメントに対して生成された回答をチェックし、幻覚を最小限に抑える重要なコンポーネント。

セットアップとインストール：

リポジトリをクローンします：

1. git clone https://github.com/nikolamilosevic86/verifAI.gitPython環境を作成する：

2. python -m venv verifai; source verifai/bin/activate依存関係をインストール：

3. pip install -r verifAI/backend/requirements.txtverifai：

   データベース資格情報を指定する
ファイル（
4. >に基づいて）を構成する（postgresql）、opensearch、qdrant、llm details（path、api key、deployment name）、埋め込みモデルモデル、およびインデックス名。

   .env.env.local.exampleデータストアをインストールする：

（dockerが必要）。

5. python install_datastores.pyインデックスファイル：

（例えば、
6. ）。

   python index_files.py <path-to-directory-with-files></path-to-directory-with-files>python index_files.py test_dataバックエンドを実行します：

8. フロントエンドを実行します：client-gui/verifai-uiに移動し、npm install、npm start。

   を実行します。

貢献と将来の開発：

Verifaiは、貢献を歓迎するオープンソースプロジェクトです。 このプロジェクトは当初、次世代のインターネット検索プロジェクト（欧州連合）によって資金提供され、セルビアおよびバイエルA.G.の人工知能研究開発研究所と協力して開発されました。 貢献は、プルリクエスト、バグレポート、および機能リクエストを介して奨励されます。 詳細については、https://www.php.cn/link/d16c19f1f2ab8361fda1f625ce3ff26a>にアクセスしてください。

以上がVerifaiを使用してローカル生成検索エンジンを簡単に展開する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。