Weaviateチュートリアル：ベクター検索のパワーのロックを解除します

weaviate：非構造化データのオープンソースベクトル検索エンジン

Weaviateは、テキスト、画像、オーディオなどの非構造化データを処理するために設計された強力でオープンソースベクトル検索エンジンです。 このチュートリアルでは、直感的なGraphQLインターフェイスを使用して、そのコアコンセプト、セットアップ、データ管理、クエリをガイドします。また、最適なパフォーマンスのためにPython統合とベストプラクティスについても調べます。

織りは何ですか？

Weaviateは、オブジェクトストレージとベクトル検索をユニークに組み合わせて、強力な類似性ベースのクエリを可能にします。クラウドネイティブおよびリアルタイムアーキテクチャはスケーラビリティを保証し、オプションのモジュールはさまざまなデータ型（テキスト、画像など）に対応します。 このモジュール性により、特定のニーズに基づいてカスタマイズが可能になります。

埋め込みとベクトルデータベースの理解

従来のデータベースは、構造化されていないデータと格闘しています。 Weaviateは、埋め込みを活用することでこれを解決します。これは、機械学習モデルによって生成された非構造化データの数値表現です。 これらの埋め込みにより、セマンティック検索や質問応答などのタスクには、効率的な類似性の比較が可能になります。 ベクトルデータベースは、従来のリレーショナルデータベースとは異なり、これらのベクトル表現の保存とクエリに最適化されています。

テキスト埋め込みモデル - 画像ソース

画像ソース

Pineconeは説得力のある代替品を提供します。詳細については、「Pineconeを使用したマスタリングベクトルデータベース」チュートリアルをご覧ください。

weaviate

のセットアップ

Weaviateは、Docker Compose（推奨）または手動インストールを介して簡単にインストールできます。 インストール後、単純なクエリで機能を確認します。 dockerの作曲：

その他の展開オプションには、WeaviateのマネージドクラウドサービスとAWSマーケットプレイスが含まれます。 Pythonクライアントは、PIP：

を使用してインストールされています

docker compose up -d

core織り概念

pip install -U weaviate-client

• データオブジェクト：「クラス」に整理されたデータ項目、それぞれが定義された「プロパティ」を備えています。 各オブジェクトは、ベクトルで表されます。
• モジュール：Weaviateの機能（ベクトル化、バックアップなど）を拡張します。 コアエンジンは、モジュールがなくてもベクトルデータベースとして機能します。
ストレージ：
• 障害の堅牢な処理を伴うリアルタイムの信頼できるデータの持続性を提供します。 クエリは、IDだけでなく、完全なデータオブジェクトを返します。 フィルタリングは、正確な結果カウントのベクトル検索の前に
graphql：
• Weaviateの主要なインターフェイス。休憩と比較して効率的で柔軟なデータアクセスを提供します。 そのグラフベースの性質は、相互参照データで優れています

画像ソース

クラスとオブジェクトの作成

クラスは、データの構造を定義します。 それらを手動で作成するか、WeaviateのAutoschema機能を使用できます。 これは、手動クラス作成のPythonの例です

ベクトル化と特性を含む、より包括的な例：

docker compose up -d

オブジェクトがクラスに追加されます。 ベクトルは、Weaviateによって明示的に提供または生成できます

pip install -U weaviate-client

エンドツーエンドのpython例

class_name = "Item description"
class_object = {"class": class_name}
client.schema.create_class(class_object)

この例は、クラスの作成とPythonクライアントを使用してオブジェクトを追加することを示しています。 クライアントをインストールする（

）を忘れずに、weaviateインスタンス（クラウドまたは埋め込み）を実行することを忘れないでください。

pip install -U weaviate-client

{
  "class": "Article",
  "vectorizer": "text2vec-cohere",
  "vectorIndexConfig": {
    "distance": "cosine"
  },
  "moduleConfig": {
    "generative-openai": {}
  },
  "properties": [
    // ... property definitions ...
  ]
}

データソース（クレジット：weaviate公式）

ベストプラクティス

スキーマデザイン：

一意の識別子とセマンティックタイプを備えた柔軟でスケーラブルなスキーマ。 データのインポート：

効率のためにバッチインポートを使用し、自動化にREST APIを使用します。 サポートされているフォーマット（JSON、CSV）を使用しています

• クエリの最適化：最適なパフォーマンスのためにGraphQL、ページネーション、およびキャッシュをレバレッジ。
ChromAdbは、別の優れたオープンソースベクトルデータベースオプションを提供します。詳細については、ChromADBチュートリアルをご覧ください
• 結論
• Weaviateは、非構造化データを管理およびクエリするための堅牢で柔軟なソリューションを提供します。そのベクトルベースのアプローチは、ユーザーフレンドリーなGraphQLインターフェイスとPythonクライアントと組み合わせて、さまざまな機械学習とAIアプリケーションに理想的な選択肢となります。 「PythonでWeaviateを使用したデータサイエンス用のベクトルデータベース」に関するウェビナーを探索して、知識をさらに強化してください。

以上がWeaviateチュートリアル：ベクター検索のパワーのロックを解除しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。