如何在SQL中聚合去重后的逗号分隔字符串字段?

酷强吖_8972

酷强吖_8972

2026-09-17

513人浏览

原创

mysql 8.0+ 直接用 group_concat(distinct ...) 实现去重拼接,需注意默认排序、null跳过、长度限制及先拆分再聚合的场景;postgresql 需 string_to_array + unnest + distinct + string_agg;sql server 2017+ 推荐 string_split + 子查询去重 + string_agg。

如何在sql中聚合去重后的逗号分隔字符串字段?

MySQL 8.0+ 用 GROUP_CONCAT(DISTINCT ...) 最直接

如果你用的是 MySQL 8.0 或更新版本,GROUP_CONCAT 支持 DISTINCT 关键字,能天然解决“先去重、再拼接”的需求。注意它默认按字段值排序,且对 NULL 值静默跳过。

常见错误是漏写 DISTINCT 或误以为它会自动拆分字符串——它只对聚合前的行去重,不处理单个字段内部的逗号分隔内容。

  • 假设表 t 有字段 tags(值如 "a,b,c""b,d"),但你想按某组(如 category)聚合所有出现过的独立 tag,就得先 UNION 拆开,再 GROUP_CONCAT(DISTINCT tag)
  • GROUP_CONCAT 默认最大长度是 1024 字符,超长会被截断;需提前设 SET SESSION group_concat_max_len = 1000000;
  • 排序可控:GROUP_CONCAT(DISTINCT tag ORDER BY tag ASC SEPARATOR ',')

PostgreSQL 用 STRING_AGG(DISTINCT ...) + UNNEST(STRING_TO_ARRAY(...))

PostgreSQL 不支持在 STRING_AGG 内直接写 DISTINCT 修饰子查询结果,必须显式展开再去重。核心链路是:字符串 → 数组 → 展开为行 → 去重 → 聚合。

容易踩的坑是忽略 NULL 处理和空字符串干扰。比如 STRING_TO_ARRAY('a,,c', ',') 会生成 {'a', '', 'c'},那个空元素可能被误认为有效 tag。

  • 安全写法:用 NULLIF(trim(elem), '') 过滤空/空白项
  • 完整示例:
    SELECT category, STRING_AGG(DISTINCT elem, ',')  
    FROM t, UNNEST(STRING_TO_ARRAY(tags, ',')) AS elem  
    WHERE elem IS NOT NULL AND trim(elem) != ''  
    GROUP BY category;
  • 性能提示:大量数据时,UNNEST + GROUP BY 可能比 MySQL 的 GROUP_CONCAT(DISTINCT) 更耗资源

SQL Server 需要 STRING_SPLIT + FOR XMLSTRING_AGG(2017+)

SQL Server 2016 引入 STRING_SPLIT,但它返回的是无序表,且不保证去重;2017+ 才有 STRING_AGG。所以老版本只能靠 FOR XML PATH('') 拼接,新版本推荐组合使用。

来画
来画

来画是一款AI文本写作工具,AI漫剧全网内测 创作不再受限。

下载

关键陷阱:默认 STRING_SPLIT 不处理重复值,也不过滤空字符串;且 STRING_AGG 不支持直接 DISTINCT,仍需子查询或 CTE 去重。

  • SQL Server 2017+ 推荐写法:
    SELECT category, STRING_AGG(tag, ',')  
    FROM (  
      SELECT DISTINCT category, TRIM(value) AS tag  
      FROM t  
      CROSS APPLY STRING_SPLIT(tags, ',')  
      WHERE TRIM(value) != ''  
    ) AS dedup  
    GROUP BY category;
  • 旧版兼容方案里,FOR XMLTYPE.value() 调用容易出错,尤其含特殊字符(如 &)时需额外转义

通用思路:别试图在单条 SQL 里“智能解析”嵌套结构

所有方案都基于一个前提:你明确知道字段中逗号是分隔符,且不含转义或嵌套(比如 "a,\"b,c\",d")。一旦出现这种复杂格式,SQL 就不是合适工具——正则解析、CSV 解析逻辑应交给应用层。

另一个常被忽略的点是字符集与排序规则影响去重结果。比如 'café''cafe' 在某些 collation 下可能被判定为相同,导致意外合并。

真正麻烦的从来不是拼接,而是确认“哪些值算重复”。这取决于业务定义,不是数据库能自动猜出来的。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

2023.10.12

3683

8

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.27

771

4

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

2024.02.23

949

5

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

5441

10

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

2024.03.06

2463

4

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

2024.04.07

5440

11

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

2024.04.29

7061

6

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

950

5

sql中删除一列的命令是什么
sql中删除一列的命令是什么

在sql中,使用alter table语句可以删除一列,语法为:alter table table_name drop column column_name。想了解更多sql的相关内容,可以阅读本专题下面的文章。

2024.04.29

852

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.6万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 133.1万人学习