Comment se connecter aux clusters AWS OpenSearch ou Elasticsearch à l'aide de Python

La connexion à un service OpenSearch (ES) exécuté sur AWS à l'aide de Python est pénible. La plupart des exemples que je trouve en ligne ne fonctionnent pas ou sont obsolètes, ce qui me laisse constamment résoudre les mêmes problèmes. Pour gagner du temps et éviter toute frustration, voici une collection d'extraits de code fonctionnels, mis à jour en décembre 2024.

• Connectez-vous à l'aide de la bibliothèque opensearch-py (OpenSearch ElasticSearch)
• Connectez-vous à l'aide de la bibliothèque elasticsearch (ElasticSearch uniquement)
  • elasticsearch>= 8
  • elasticsearch < 8

---

Connectez-vous à l'aide de la bibliothèque opensearch-py (OpenSearch ElasticSearch)

C'est mon moyen préféré de me connecter à une instance ES gérée par AWS. Cela fonctionne à la fois pour les clusters ElasticSearch et OpenSearch, et l'authentification peut tirer parti des profils AWS.

Installez opensearch-py et boto3 (pour l'authentification) :

pip install opensearch-py boto3

Au moment de la rédaction, cela installe opensearch-py==2.8.0 et boto3==1.35.81.

Maintenant, vous pouvez créer un client en utilisant ce qui suit :

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

Notez que boto3.Session prend en charge différentes manières de créer une session : en utilisant un profil, des variables d'environnement, etc. Je vous laisse y jeter un œil !

Une fois que vous l'avez, vérifiez la connexion en utilisant :

client.ping() # should return True
client.info() # use this to get a proper error message if ping fails

Pour vérifier les indices :

# List all indices
client.cat.indices()
client.indices.get("*")

# Check the existence of an indice
client.indices.exists("my-index")

---

Connectez-vous à l'aide de la bibliothèque elasticsearch (ElasticSearch uniquement)

? Cela ne fonctionne que pour les clusters ElasticSearch ! La connexion à un cluster OpenSearch augmente

UnsupportedProductError : Le client a remarqué que le serveur n'est pas Elasticsearch et nous ne prenons pas en charge ce produit inconnu

recherche élastique >= 8

La plupart des extraits font toujours référence à RequestsHttpConnection, une classe qui a été supprimée dans elasticsearch 8.X. Si vous recherchiez sur Google l'erreur Impossible d'importer le nom « RequestsHttpConnection » à partir de « elasticsearch », vous êtes au bon endroit !

Installez elasticsearch (cela devrait également installer elastic-transport) et request_aws4auth . Ce dernier, en fonction des requêtes, est requis pour gérer l'authentification auprès d'AWS :

pip install elasticsearch requests-aws4auth

Au moment de la rédaction, cela installe elastic-transport==8.15.1, elasticsearch==8.17.0 et requêtes-aws4auth==1.3.1.

Maintenant, vous pouvez créer un client en utilisant ce qui suit :

from elastic_transport import RequestsHttpNode
from elasticsearch import Elasticsearch
from requests_aws4auth import AWS4Auth

es_endpoint = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

es = Elasticsearch(
    f"https://{es_host}",
    http_auth=AWS4Auth(
        aws_access_key, 
        aws_secret_key, 
        region,
        "es",
    ),
    verify_certs=True,
    node_class=RequestsHttpNode,
)

Une fois que vous l'avez, vérifiez la connexion en utilisant :

es.ping() # should return True
es.info() # use this to get a proper error message if ping fails

recherche élastique < 8

Si vous êtes encore sur une ancienne version d'elasticsearch :

pip install "elasticsearch<8" requests-aws4auth

Actuellement elasticsearch==7.17.12, requêtes-aws4auth==1.3.1.

Maintenant, vous pouvez créer un client en utilisant ce qui suit :

pip install opensearch-py boto3

Vérifiez la connexion :

import boto3

from opensearchpy import (
    AWSV4SignerAuth,
    OpenSearch,
    RequestsHttpConnection,
)

es_host = "search-my-aws-esdomain-5k2baneoyj4vywjseocultv2au.eu-central-1.es.amazonaws.com"
aws_access_key = "AKIAXCUEGTAF3CV7GYKA"
aws_secret_key = "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"
region = "eu-central-1"

# Note: you can also use boto3.Session(profile_name="my-profile") or other ways
session = boto3.Session(
    aws_access_key_id=aws_access_key,
    aws_secret_access_key=aws_secret_key,
    region_name=region,
)

client = OpenSearch(
    hosts=[{"host": es_host, "port": 443}],
    http_auth=AWSV4SignerAuth(session.get_credentials(), region, "es"),
    connection_class=RequestsHttpConnection,
    use_ssl=True,
)

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!