Elasticsearch 无法使用字母数字混合搜索的解决方案

雨敏酱_7364

雨敏酱_7364

2025-08-13

417人浏览

原创

elasticsearch 无法使用字母数字混合搜索的解决方案

本文将详细介绍 Elasticsearch 中字母数字混合字符串搜索失效的常见原因以及相应的解决方案。正如摘要所说,问题的根源往往在于索引时使用了会移除数字的分析器。

问题分析

在 Elasticsearch 中,分析器(Analyzer)负责将文本分解成一个个的词元(Token)。不同的分析器采用不同的规则,有些分析器会移除标点符号、停止词,甚至数字。当你在索引时使用了会移除数字的分析器,例如 simple 分析器,那么包含数字的字符串在索引中将不会被正确存储,导致无法通过数字进行搜索。

解决方案

要解决这个问题,你需要选择一个能够保留数字的 Tokenizer。以下是两种常见的解决方案:

  1. 使用 standard 分析器:

    standard 分析器是 Elasticsearch 默认的分析器,它能够处理字母和数字,适用于大多数场景。如果你的 default 字段没有特别的需求,可以直接使用 standard 分析器。

    "default" : {
      "type" : "text",
      "analyzer" : "standard",
      "search_analyzer" : "standard"
    }

    修改 mapping 之后,需要重新索引数据才能生效。

  2. 使用 edge-ngram Tokenizer:

    edge-ngram Tokenizer 适用于前缀搜索的场景。它会将字符串分解成从开头开始的 N-gram 词元。例如,对于字符串 "AA111",使用 edge-ngram Tokenizer (min_gram=1, max_gram=5) 会生成以下词元: "A", "AA", "AA1", "AA11", "AA111"。

    要使用 edge-ngram Tokenizer,你需要首先创建一个自定义分析器:

    {
      "settings": {
        "analysis": {
          "analyzer": {
            "my_edge_ngram_analyzer": {
              "type": "custom",
              "tokenizer": "my_edge_ngram_tokenizer"
            }
          },
          "tokenizer": {
            "my_edge_ngram_tokenizer": {
              "type": "edge_ngram",
              "min_gram": 1,
              "max_gram": 10
            }
          }
        }
      },
      "mappings": {
        "properties": {
          "default": {
            "type": "text",
            "analyzer": "my_edge_ngram_analyzer",
            "search_analyzer": "standard"
          }
        }
      }
    }

    在这个例子中,我们定义了一个名为 my_edge_ngram_analyzer 的自定义分析器,它使用 my_edge_ngram_tokenizer 作为 Tokenizer。min_gram 和 max_gram 分别指定了 N-gram 的最小和最大长度。search_analyzer 指定了搜索时使用的分析器,通常设置为 standard。

    然后,将 default 字段的 analyzer 设置为 my_edge_ngram_analyzer。同样,修改 mapping 之后,需要重新索引数据才能生效。

示例代码

以下是一个完整的示例,展示了如何使用 edge-ngram Tokenizer 创建索引、添加文档并进行搜索:

from elasticsearch import Elasticsearch

# 连接到 Elasticsearch
es = Elasticsearch([{'host': 'localhost', 'port': 9200}])

# 定义索引名称
index_name = 'my_index'

# 定义 mapping
mapping = {
  "settings": {
    "analysis": {
      "analyzer": {
        "my_edge_ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_edge_ngram_tokenizer"
        }
      },
      "tokenizer": {
        "my_edge_ngram_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 1,
          "max_gram": 10
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "my_edge_ngram_analyzer",
        "search_analyzer": "standard"
      }
    }
  }
}

# 创建索引
if es.indices.exists(index=index_name):
    es.indices.delete(index=index_name)
es.indices.create(index=index_name, body=mapping)

# 添加文档
documents = [
  {"name": "AA111"},
  {"name": "111AA"},
  {"name": "AA-111"},
  {"name": "AAAA"},
  {"name": "1111"}
]

for i, doc in enumerate(documents):
  es.index(index=index_name, id=i, body=doc)

# 刷新索引
es.indices.refresh(index=index_name)

# 搜索
query = {
  "query": {
    "match": {
      "name": "111"
    }
  }
}

result = es.search(index=index_name, body=query)

# 打印结果
print(result)

注意事项

  • 在修改 mapping 之后,必须重新索引数据。否则,之前的索引仍然使用旧的 mapping,搜索结果可能不正确。
  • edge-ngram Tokenizer 会生成大量的词元,可能会影响索引的大小和搜索性能。请根据实际情况选择合适的 min_gram 和 max_gram 值。
  • 对于更复杂的字母数字混合字符串搜索需求,可能需要结合使用多个分析器和 Tokenizer,或者使用更高级的搜索技术,例如正则表达式查询。

总结

解决 Elasticsearch 无法使用字母数字混合字符串进行搜索的问题,关键在于选择合适的 Tokenizer。standard 分析器适用于大多数场景,而 edge-ngram Tokenizer 适用于前缀搜索的场景。通过选择合适的 Tokenizer,并重新索引数据,你可以有效地解决这个问题,实现字母数字混合字符串的有效搜索。

PHP速学视频免费教程(入门到精通)
PHP速学视频免费教程(入门到精通)

PHP怎么学习?PHP怎么入门?PHP在哪学?PHP怎么学才快?不用担心,这里为大家提供了PHP速学教程(入门到精通),有需要的小伙伴保存下载就能学习啦!

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

2023.06.20

5196

8

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

2023.07.05

3621

4

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

2023.07.05

10162

9

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

2023.08.11

832

5

正则表达式空格
正则表达式空格

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.31

540

5

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

2023.11.13

713

12

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“\s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

2023.11.17

406

3

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

2023.12.06

739

7

php正则表达式有哪些
php正则表达式有哪些

php正则表达式有"/pattern/"、"^"、"$"、"."、"[]"、"[^]"、"[a-z]"、"[A-Z]"、"[0-9]"、"\d"、"\D"、"\w"、"\W"、&a

2024.02.23

332

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习