如何在SQL中根据正则表达式的结果进行分组?

陌强君_2462

陌强君_2462

2026-06-23

283人浏览

原创

直接用正则函数返回值分组可行,但需注意结果稳定性、null处理及方言差异;hive/spark必须显式声明别名,oracle需nvl防null误聚,mysql可用regexp_replace清洗后分组。

如何在sql中根据正则表达式的结果进行分组?

直接用 regexp_extract(Hive/HQL)或 REGEXP_SUBSTR(Oracle)、REGEXP_REPLACE(PostgreSQL/MySQL 8.0+)的返回值做 GROUP BY 是可行的,但必须注意:表达式结果是否稳定、NULL 是否参与分组、以及不同方言对正则函数的支持差异。

使用 regexp_extract 分组时字段别名必须显式声明

Hive 和 Spark SQL 中,regexp_extract 常用于从文本中提取结构化片段。如果在 SELECT 中用了该函数,又想按它分组,不能只写 GROUP BY regexp_extract(...) —— 某些版本会报 “Expression not in GROUP BY key” 错误,尤其当函数参数含列名且未加别名时。

  • ✅ 正确写法:先用 AS 给提取结果起别名,再在 GROUP BY 中引用该别名
  • ❌ 错误写法:在 GROUP BY 中重复写一遍 regexp_extract("地址", '([^0-9]+)'),容易因空格、引号不一致或计算两次导致逻辑错位
  • ⚠️ 注意:Hive 的 regexp_extract 第三个参数是 group index(从 1 开始),写 0 会返回整个匹配,写 1 才返回第一个捕获组 (...) 内容

REGEXP_SUBSTR 在 Oracle 中分组需处理 NULL 和空字符串

Oracle 的 REGEXP_SUBSTR 不像 regexp_extract 那样强制返回非空字符串;若没匹配上,它返回 NULL。而 GROUP BY 会把所有 NULL 归为同一组 —— 这常导致“本该分开的脏数据全挤进一个 NULL 组”。

Crypto Sniper Oracle
Crypto Sniper Oracle

机构级量化市场预言机,提供订单簿失衡(OBI)、VWAP分析、自动化报告及Telegram预警。

下载
  • 建议用 NVL(REGEXP_SUBSTR(col, '([a-zA-Z\u4e00-\u9fa5]+)'), 'unknown') 显式替换 NULL
  • 若正则本意是提取中文,'[\x{4e00}-\x{9fa5}]+'(Unicode 写法)比 [一-龥] 更可靠,后者在部分 Oracle 字符集下可能失效
  • 性能提示:该函数无法走索引,大数据量分组前建议先用 WHERE REGEXP_LIKE(col, '...') 做前置过滤

MySQL 8.0+ 用 REGEXP_REPLACE 实现“清洗后分组”更安全

MySQL 原生不支持 regexp_extract,但 REGEXP_REPLACE 可以反向构造:把不需要的部分替换成空,留下目标内容。例如从“上海市浦东新区238号”中只留“上海市浦东新区”,可写:

REGEXP_REPLACE(address, '([^\x{4e00}-\x{9fa5}]*)([\x{4e00}-\x{9fa5}]+)([^\x{4e00}-\x{9fa5}]*)', '$2')

这个写法依赖捕获组引用 $2,但要注意:

  • MySQL 的正则引擎默认不支持 Unicode 属性类(如 \p{Han}),必须用 \x{4e00}-\x{9fa5} 范围
  • 若原始字段含换行符,需加 REGEXP_REPLACE(..., '[\r\n]+', '') 预清理,否则 $2 可能跨行截断
  • 分组时直接写 GROUP BY REGEXP_REPLACE(...) 是合法的,但每次计算都执行一遍正则,建议建生成列(generated column)并加索引提升后续查询效率

分组结果中 NULL 值的含义容易被忽略

无论用哪种正则函数,只要结果为 NULL,就会在 GROUP BY 后聚合成单独一组。这看起来像“没匹配上的都归一堆”,但实际可能掩盖两类问题:

  • 正则本身写错了(比如漏了 ^ 或 $ 导致部分匹配失败)
  • 源数据存在不可见字符(如零宽空格、BOM 头),导致看似正常的字符串无法被正则命中
  • 真正需要的是“无匹配即丢弃”,那就得加 WHERE col REGEXP '...' IS NOT NULL 或等价条件,不能只靠 HAVING COUNT(*) > 1 来筛

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3983

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

851

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

1029

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5821

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2763

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5800

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7701

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

1050

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

912

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
WEB前端教程【HTML5+CSS3+JS】
WEB前端教程【HTML5+CSS3+JS】

共101课时 | 20.8万人学习

JavaScript正则表达式基础与实战
JavaScript正则表达式基础与实战

共11课时 | 1.7万人学习

布尔教育正则表达式视频教程
布尔教育正则表达式视频教程

共14课时 | 5.1万人学习