SQL JOIN模糊匹配时如何提升性能

风宇酱_5122

风宇酱_5122

2026-08-15

476人浏览

原创

on中用like '%xxx%'或regexp会触发全表扫描,因左通配/中缀/正则无法走索引,驱动表每行都需被驱动表全扫匹配,1万×1万达1亿次比对;应改用前缀匹配、子查询预过滤、全文索引或预计算映射。

sql join模糊匹配时如何提升性能

直接在 ON 子句里写 LIKE '%xxx%' 或 RLIKE 做关联,性能基本不可控——不是“慢一点”,而是数据量过万就卡死。根本原因不是写法不对,而是数据库引擎压根没法为这类动态、非等值条件选索引路径。

为什么 ON 里用 LIKE/REGEXP 会触发全表扫描

数据库优化器只对等值或前缀范围条件(如 name LIKE 'abc%')能下推索引;一旦出现左通配('%abc')、中缀('%abc%')或正则(name RLIKE t2.pattern),就必须对驱动表的每一行,都完整扫描被驱动表所有数据做字符串比对。

  • 1万 × 1万 = 1亿次比对,CPU 和 I/O 都扛不住
  • EXPLAIN 里看到 type: ALL、Using join buffer (Block Nested Loop) 就是典型信号
  • 哪怕 name 字段有索引,只要被函数包裹(如 UPPER(name))或开头带 %,索引就失效
  • MySQL 的 REGEXP 每次都要重编译模式,PostgreSQL 的 ~ 同样无缓存,开销远高于 LIKE

把模糊逻辑从 ON 挪到子查询预过滤

这是最简单、最通用、效果最稳的绕过方式:先用索引快速筛出右表候选集,再 JOIN。不依赖版本特性,MySQL 5.7 也能跑。

  • 写法示例:
    SELECT o.*, u.name FROM orders o JOIN ( SELECT id, name FROM users WHERE name LIKE '张%' ) u ON o.user_id = u.id
  • 关键点:子查询里用 LIKE '张%' 可走索引,右表只扫几百行,而非几万行
  • 如果必须中缀匹配(如 '%丽%' ),MySQL 8.0+ 可改用全文索引:MATCH(name) AGAINST('丽' IN NATURAL LANGUAGE MODE),但字段得是 TEXT 或 VARCHAR,且需提前建 FULLTEXT 索引
  • PostgreSQL 用户优先启用 pg_trgm 扩展:CREATE EXTENSION pg_trgm,再建 GIN 索引:CREATE INDEX idx_name_trgm ON users USING GIN (name gin_trgm_ops),之后 WHERE name LIKE '%丽%' 自动命中索引

LEFT JOIN 场景下 ON 和 WHERE 放模糊条件的区别

这不只是性能问题,更是语义陷阱:放错位置会让 LEFT JOIN 退化成 INNER JOIN,悄无声息丢数据。

  • 写在 ON 里:LEFT JOIN users u ON o.user_id = u.id AND u.name LIKE '%北京%' → 若某订单没匹配到北京用户,该订单记录仍保留,u.* 全为 NULL
  • 写在 WHERE 里:LEFT JOIN users u ON o.user_id = u.id WHERE u.name LIKE '%北京%' → 先完成所有关联,再过滤;不满足条件的订单整行被剔除,LEFT JOIN 失效
  • 更危险的是动态关键词:ON u.name LIKE CONCAT('%', t2.keyword, '%'),若 t2.keyword 是 NULL,CONCAT 返回 NULL,整个条件判为 UNKNOWN,该行直接不参与关联(LEFT JOIN 下也丢)
  • 务必加 COALESCE(t2.keyword, '') 防空,但空字符串会导致 LIKE '%%',全匹配——要加长度判断:AND LENGTH(COALESCE(t2.keyword, '')) > 0

真正需要模糊关联时,优先用预计算映射代替运行时匹配

硬扛字符串运算永远是最差解。业务上绝大多数“模糊”需求,本质是别名归一、简称标准化、品牌合并,完全可前置固化。

  • 建一张 alias_map 表:canonical_name(标准名)和 variant(别名),例如 ('Apple', '苹果公司')、('Apple', 'AAPL')
  • JOIN 改为等值:JOIN alias_map am ON u.company_name = am.variant,速度提升百倍以上
  • 短文本相似度(如地址、人名)可用 SOUNDEX()(MySQL)或 levenshtein()(PostgreSQL),但必须加 WHERE LENGTH(u.name) BETWEEN 2 AND 20 限制长度,否则计算开销爆炸
  • MySQL 5.7 不支持函数索引,但可冗余字段:ALTER TABLE users ADD COLUMN name_md5 CHAR(32) AS (MD5(name)) STORED,再建索引,JOIN 时用 = 匹配

最容易被忽略的点是字符集和排序规则不一致:比如左表用 utf8mb4_unicode_ci,右表用 utf8mb4_general_ci,JOIN 时 MySQL 会隐式调用 CONVERT(),索引直接作废。查 SHOW FULL COLUMNS 确认两边字段 collation 完全相同,比调优更优先。

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3943

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5781

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2723

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5760

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7621

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1050

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.4万人学习