ChatGPT를 사용하여 ElasticSearch dsl을 빠르게 시작하세요

SQL 플레이어로서 ElasticSearch를 접한 후 어떤 시나리오에서 bool 필터를 중첩해야 하는지, 언제 bool 쿼리가 필요한지, 언제 사용할 수 있는지 등 dsl의 이상한 쓰기 방식에 고민했습니다. 제거됩니다. 문제를 해결할 때 dsl을 직접 작성하는 것은 불가피하며 ES 오류가 자주 발생합니다.

이 문제를 해결하기 위해 ChatGPT에서 번역을 시켜봤는데 효과가 꽤 좋았습니다. 시나리오대로 살펴보자.

시나리오 1: 목록 퍼지 쿼리

B측 백엔드 시스템의 목록 페이지에서는 일반적으로 많은 필터 상자를 볼 수 있습니다. 제품 관리자는 종종 "더 나은 사용자 경험"이라는 필터 상자에 ID 및 이름별 퍼지 일치 기능을 넣습니다. SQL로 작성하면 매우 간단합니다.

select * from user where client_id = 123 anduser_id like '%张三%' or user_name like '%张三%';

MySQL에 저장하는 경우 client_id 인덱스를 추가하면 필터링되는 데이터의 양을 크게 줄일 수 있으며 성능도 크게 나쁘지 않습니다.

데이터 양이 너무 많으면 ES를 사용하세요. ChatGPT에 다음과 같이 물어볼 수 있습니다.

질문 시작:

ES 인덱스 이름 "user", 세 개의 필드

1. user_id string
2. user_name string
3. client_id 정수

client_id = 123 및 (user_name = 'Zhang San' 또는 user_id = 'Zhang San') 조건으로 레코드를 쿼리하고 싶습니다. DSL을 어떻게 작성해야 합니까?

응답 시작:

다음 조건을 충족하는 "user" 인덱스의 레코드를 쿼리하려면 client_id = 123 및 (user_name = 'Zhang San' 또는 user_id = 'Zhang San')을 수행하면 됩니다. 달성하기 위해 용어 쿼리와 결합된 부울 쿼리를 사용합니다. 다음은 해당 DSL 쿼리의 예입니다.

GET /user/_search{"query": {"bool": {"filter": [{"term": {"client_id": 123}},{"bool": {"should": [{"term": {"user_name": "张三"}},{"term": {"user_id": "张三"}}]}}]}}}

이 쿼리에서는 부울 쿼리를 사용하여 지정된 기준이 문서를 필터링하는 데 사용되는지 확인합니다.

filter 절에는 두 가지 조건이 있습니다. 하나는 쿼리라는 용어를 사용하여 "client_id" 필드의 값이 123인 조건입니다. 두 번째 조건은 should 절이 포함된 중첩된 bool 쿼리입니다. should 절에는 두 개의 용어 쿼리가 포함되어 있습니다. 하나는 "user_name" 필드에 대한 것이고 다른 하나는 "user_id" 필드에 대한 것입니다. 두 쿼리 모두 값이 "Zhang San"인지 확인합니다. should 절을 사용하면 조건 중 하나라도 일치해야 함을 나타냅니다.

이 DSL 쿼리는 client_id가 123이고 사용자 이름이 "Zhang San"이거나 사용자 ID가 "Zhang San"인 문서 레코드를 반환합니다.

답변 끝:

ChatGPT는 답변을 제공했을 뿐만 아니라 설명도 제공했습니다. 비즈니스의 인덱스를 약간 수정하면 됩니다.

시나리오 2: 집계 결과를 기준으로 필터링

위의 사용자 테이블을 기반으로 처리된 작업 주문을 나타내는 ticket_id 필드를 추가하여 100개 이상의 작업 주문을 처리한 사용자를 찾고 싶습니다. SQL은 다음과 같이 작성할 수 있습니다.

select user_id, max(user_name) as user_name,count(ticket_id) as ticket_cnt from user where client_id = 123having count(ticket_id) > 100;

Ask ChatGPT:

질문 시작:

ES 인덱스 이름 "user", 다음 필드 포함:

1. user_id string
2. user_ 이름 string
3. client_id int
4. ticket_id

user_id에 따른 집계, count(ticket_id) > 100의 user_id, user_id

에 해당하는 user_name을 쿼리합니다. 답글 시작:
팔로우하려면 "user_id" 필드 집계, 조건 count(ticket_id) > 100을 충족하는 "user_id"를 쿼리하고 해당 "user_name"은 집계 쿼리에서 용어 집계 및 bucket_selector 파이프라인 집계를 사용하여 구현할 수 있습니다. 해당 DSL 쿼리 예는 다음과 같습니다.

GET /user/_search{"size": 0,"aggs": {"users": {"terms": {"field": "user_id","size": 10,"min_doc_count": 101// 设置最小文档数，只返回 count(ticket_id) > 100 的聚合结果},"aggs": {"user_name": {"terms": {"field": "user_name","size": 1}},"ticket_count": {"value_count": {"field": "ticket_id"}},"bucket_filter": {"bucket_selector": {"buckets_path": {"count": "ticket_count"},"script": "params.count > 100"// 仅保留 count(ticket_id) > 100 的聚合桶}}}}}}

在这个查询中，我们使用了 terms 聚合对 "user_id" 字段进行分组，并在聚合结果中嵌套了 user_name 字段的 terms 聚合和 ticket_id 字段的 value_count 聚合。

在 terms 聚合中，我们设置了 min_doc_count 参数为 101，以仅返回满足 count(ticket_id) > 100 的聚合桶。这样可以过滤掉不满足条件的聚合结果。

最终，我们使用 bucket_selector 管道聚合来进行桶过滤，仅保留满足条件 params.count > 100 的聚合桶。这样，最终的聚合结果中将只包含满足条件的 "user_id" 和对应的 "user_name"。

请注意，根据您的具体需求，您可能需要根据实际情况调整聚合查询中的参数和设置，如设置合适的 size 值来控制返回的聚合桶数量等。

回复结束。

场景三: 聚合以后取topK

向ChatGPT提问：

提问开始：

ES index 名字 "user"，包含以下字段：

1. user_id string
2. user_name string
3. client_id int
4. ticket_id

我要查询处理ticket数量top10 的 user_id 以及对应的user_name

回复开始：
要查询处理 ticket 数量排名前 10 的 "user_id"，以及对应的 "user_name"，可以使用 terms 聚合和 top_hits 子聚合来实现。以下是相应的 DSL 查询示例：

GET /user/_search{"size": 0,"aggs": {"top_users": {"terms": {"field": "user_id","size": 10,"order": {"ticket_count": "desc"}},"aggs": {"user_name": {"terms": {"field": "user_name","size": 1}},"ticket_count": {"value_count": {"field": "ticket_id"}},"top_user_hits": {"top_hits": {"size": 1}}}}}}

在这个查询中，我们使用了 terms 聚合对 "user_id" 字段进行分组，并按照 "ticket_count" 字段的降序对分组结果进行排序。

在 terms 聚合中，我们设置了 size 参数为 10，以仅返回前 10 个处理 ticket 数量最多的 "user_id"。

在每个聚合桶中，我们还嵌套了 user_name 字段的 terms 聚合和 ticket_id 字段的 value_count 聚合，分别用于获取对应的 "user_name" 和计算 ticket 数量。

此外，我们使用了 top_hits 子聚合来获取每个聚合桶中的匹配文档的详细信息。在这里，我们设置了 size 参数为 1，以仅获取每个聚合桶中的一条文档信息。

最终，聚合查询的结果将包含处理 ticket 数量排名前 10 的 "user_id"，对应的 "user_name"，以及每个用户最新的一条文档信息。

请注意，根据实际情况，您可能需要根据具体需求调整聚合查询中的参数和设置，如设置合适的 size 值来控制返回的聚合桶数量，以及添加其他的聚合或过滤条件等。

回复结束。

本着快速出活/快速解决问题的心态，ChatGPT确实提升了工作效率。不过在解决需求之后，还是要补补课，了解下ElasticSearch的用法和工作机制。因为ChatGPT是语言模型，一旦逻辑复杂起来，ChatGPT就开始瞎说了。

위 내용은 ChatGPT를 사용하여 ElasticSearch dsl을 빠르게 시작하세요의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!