首頁  >  文章  >  資料庫  >  mysql全文索引是什麼

mysql全文索引是什麼

青灯夜游
青灯夜游原創
2023-04-23 19:03:243632瀏覽

在mysql中,全文索引是將儲存於資料庫中的整本書或整篇文章中的任意資訊找到的技術。透過數值比較、範圍過濾等就可以完成絕大多數我們需要的查詢,但是,如果希望透過關鍵字的匹配來進行查詢過濾,那麼就需要基於相似度的查詢,而不是原來的精確數值比較;而全文索引就是為這種場景設計的。

mysql全文索引是什麼

本教學操作環境:windows7系統、mysql8版本、Dell G3電腦。

引入



##全文索引(Full-Text Search)是將儲存於資料庫中的整本書或整篇文章中的任意資訊找到的技術。它可以根據需要獲得全文中有關章、節、段、句、詞等信息,也可以進行各種統計和分析。全文索引一般是透過倒排索引來實現的。

透過數值比較、範圍過濾等就可以完成絕大多數我們需要的查詢,但是,如果希望透過關鍵字的匹配來進行查詢過濾,那麼就需要基於相似度的查詢,而不是原來的精確數值比較。全文索引就是為這種場景設計的。

你可能會說,用 like % 就可以實現模糊匹配了,為什麼還要全文索引? like % 在文字比較少時是合適的,但是對於大量的文字資料檢索,是不可想像的。全文索引在大量的資料面前,能比 like % 快 N 倍,速度不是一個數量級,但全文索引可能有精確度問題。
  1. 你可能沒有註意過全文索引,不過至少應該對一種全文索引技術比較熟悉:各種的搜尋引擎。雖然搜尋引擎的索引對像是超大量的數據,通常其背後都不是關係型資料庫,不過全文索引的基本原理是一樣的。
  2. 版本支援

開始之前,先說一下全文索引的版本、儲存引擎、資料類型的支援情況

MySQL 5.6 先前的版本,只有MyISAM 儲存引擎支援全文索引;


MySQL 5.6 及以後的版本,MyISAM 和InnoDB 儲存引擎都支援全文索引;


只有欄位的資料類型為char、varchar、text 及其係列才可以建立全文索引。

測試或使用全文索引時,請先看一下自己的 MySQL 版本、儲存引擎和資料類型是否支援全文索引。 操作全文索引

  1. 索引的操作隨便一搜都是,這裡還是再囉嗦一遍。
建立

在建立表格時建立全文索引

create table fulltext_test (
    id int(11) NOT NULL AUTO_INCREMENT,
    content text NOT NULL,
    tag varchar(255),    PRIMARY KEY (id),
    FULLTEXT KEY content_tag_fulltext(content,tag)  // 创建联合全文索引列
) ENGINE=MyISAM DEFAULT CHARSET=utf8;
在已存在的表上建立全文索引

create fulltext index content_tag_fulltext    on fulltext_test(content,tag);

透過SQL 語句ALTER TABLE 建立全文索引

alter table fulltext_test    add fulltext index content_tag_fulltext(content,tag);
##修改

  1. 修改個O,直接刪掉重建。
  1. 刪除

直接使用DROP INDEX 刪除全文索引

drop index content_tag_fulltext    on fulltext_test;

透過SQL語句ALTER TABLE 刪除全文索引

alter table fulltext_test    drop index content_tag_fulltext;

使用全文索引

和常用的模糊匹配使用like % 不同,全文索引有自己的語法格式,使用match 和against 關鍵字,例如

select * from fulltext_test 
    where match(content,tag) against('xxx xxx');
注意: match() 函數中指定的列必須和全文索引中指定的列完全相同,否則就會報錯,無法使用全文索引,這是因為全文索引不會記錄關鍵字來自哪一列。如果想要對某一欄位使用全文索引,請單獨為該欄位建立全文索引。

測試全文索引

新增測試資料

有了上面的知識,就可以測試一下全文索引了。

先建立測試表,插入測試資料

create table test (
    id int(11) unsigned not null auto_increment,
    content text not null,    primary key(id),
    fulltext key content_index(content)
) engine=MyISAM default charset=utf8;insert into test (content) values ('a'),('b'),('c');insert into test (content) values ('aa'),('bb'),('cc');insert into test (content) values ('aaa'),('bbb'),('ccc');insert into test (content) values ('aaaa'),('bbbb'),('cccc');
依照全文索引的使用語法執行下面查詢

select * from test where match(content) against('a');select * from test where match(content) against('aa');select * from test where match(content) against('aaa');

根據我們的慣性思維,應該會顯示4 筆記錄才對,然而結果是1 筆記錄也沒有,只有在執行下面的查詢時

select * from test where match(content) against('aaaa');

才會搜到

aaaa### 這1 筆記錄。 ######為什麼?這個問題有很多原因,其中最常見的是 ###最小搜尋長度### 導致的。另外插一句,使用全文索引時,測試表裡至少要有 4 筆以上的記錄,否則,會出現意想不到的結果。 ######MySQL 中的全文索引,有兩個變量,最小搜尋長度和最大搜尋長度,對於長度小於最小搜尋長度和大於最大搜尋長度的詞語,都不會被索引。通俗點就是說,想對一個詞語使用全文索引搜索,那麼這個詞語的長度必須在以上兩個變數的區間內。 ######這兩個的預設值可以使用以下命令查看###
show variables like '%ft%';

可以看到这两个变量在 MyISAM 和 InnoDB 两种存储引擎下的变量名和默认值

// MyISAM
ft_min_word_len = 4;
ft_max_word_len = 84;

// InnoDB
innodb_ft_min_token_size = 3;
innodb_ft_max_token_size = 84;

可以看到最小搜索长度 MyISAM 引擎下默认是 4,InnoDB 引擎下是 3,也即,MySQL 的全文索引只会对长度大于等于 4 或者 3 的词语建立索引,而刚刚搜索的只有 aaaa 的长度大于等于 4。

配置最小搜索长度

全文索引的相关参数都无法进行动态修改,必须通过修改 MySQL 的配置文件来完成。修改最小搜索长度的值为 1,首先打开 MySQL 的配置文件 /etc/my.cnf,在 [mysqld] 的下面追加以下内容

[mysqld]innodb_ft_min_token_size = 1ft_min_word_len = 1

然后重启 MySQL 服务器,并修复全文索引。注意,修改完参数以后,一定要修复下索引,不然参数不会生效。

两种修复方式,可以使用下面的命令修复

repair table test quick;

或者直接删掉重新建立索引,再次执行上面的查询,a、aa、aaa 就都可以查出来了。

但是,这里还有一个问题,搜索关键字 a 时,为什么 aa、aaa、aaaa 没有出现结果中,讲这个问题之前,先说说两种全文索引。

两种全文索引


自然语言的全文索引

默认情况下,或者使用 in natural language mode 修饰符时,match() 函数对文本集合执行自然语言搜索,上面的例子都是自然语言的全文索引。

自然语言搜索引擎将计算每一个文档对象和查询的相关度。这里,相关度是基于匹配的关键词的个数,以及关键词在文档中出现的次数。在整个索引中出现次数越少的词语,匹配时的相关度就越高。相反,非常常见的单词将不会被搜索,如果一个词语的在超过 50% 的记录中都出现了,那么自然语言的搜索将不会搜索这类词语。上面提到的,测试表中必须有 4 条以上的记录,就是这个原因。

这个机制也比较好理解,比如说,一个数据表存储的是一篇篇的文章,文章中的常见词、语气词等等,出现的肯定比较多,搜索这些词语就没什么意义了,需要搜索的是那些文章中有特殊意义的词,这样才能把文章区分开。

布尔全文索引

在布尔搜索中,我们可以在查询中自定义某个被搜索的词语的相关性,当编写一个布尔搜索查询时,可以通过一些前缀修饰符来定制搜索。

MySQL 内置的修饰符,上面查询最小搜索长度时,搜索结果 ft_boolean_syntax 变量的值就是内置的修饰符,下面简单解释几个,更多修饰符的作用可以查手册

  • + 必须包含该词
  • - 必须不包含该词
  • > 提高该词的相关性,查询的结果靠前
  • < 降低该词的相关性,查询的结果靠后
  • (*)星号 通配符,只能接在词后面

对于上面提到的问题,可以使用布尔全文索引查询来解决,使用下面的命令,a、aa、aaa、aaaa 就都被查询出来了。

select * test where match(content) against(&#39;a*&#39; in boolean mode);

总结


好了,差不多写完了,又到了总结的时候。

MySQL 的全文索引最开始仅支持英语,因为英语的词与词之间有空格,使用空格作为分词的分隔符是很方便的。亚洲文字,比如汉语、日语、汉语等,是没有空格的,这就造成了一定的限制。不过 MySQL 5.7.6 开始,引入了一个 ngram 全文分析器来解决这个问题,并且对 MyISAM 和 InnoDB 引擎都有效。

事实上,MyISAM 存储引擎对全文索引的支持有很多的限制,例如表级别锁对性能的影响、数据文件的崩溃、崩溃后的恢复等,这使得 MyISAM 的全文索引对于很多的应用场景并不适合。所以,多数情况下的建议是使用别的解决方案,例如 Sphinx、Lucene 等等第三方的插件,亦或是使用 InnoDB 存储引擎的全文索引。

几个注意点

  1. 使用全文索引前,搞清楚版本支持情况;
  2. 全文索引比 like + % 快 N 倍,但是可能存在精度问题;
  3. 如果需要全文索引的是大量数据,建议先添加数据,再创建索引;
  4. 对于中文,可以使用 MySQL 5.7.6 之后的版本,或者第三方插件。

【相关推荐:mysql视频教程

以上是mysql全文索引是什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn